11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
如何合理地表示语言的内在意义?这是自然语言处理业界中长久以来悬而未决的一个命题。 在 2013 年分布式词向量表示(Distributed Representation)出现之前,one-hot是最常用的字词数值表示形式。在这样的词袋模型下,语言被表示为极其稀疏的向量形式,词之间的相互关系完全独立,语言深刻的内在含义被简化成0- 1 关系。 而之后出现的一系列预训练词向量(如Word2Vec、Glove等),在一定程度上解决了词袋模型的稀疏性,对大部分NLP