在NLP中，传统算法通常使用one-hot形式表示一个词，存在以下问题：
1）维度爆炸，词表通常会非常大，导致词向量维度也会非常大。
2）损失语义信息，one hot随机给每个词语进行编号映射，无法表示词语之间的关系。
所以word embeding的优势如下：
1）将词语映射成一个固定维度的向量，节省空间。
2）词向量可能会具备一定的语义信息，将相似的词语放到相近的向量空间（比如香蕉和苹果都是属于水果，苹果又会涉及到歧义问题），可以学习到词语之间的关系（比如经典的 男人-女人=国王-王后）。
2.训练模式
我们通常是通过将词向量用于某些任务中，用这些任务的衡量指标去衡量模型结果。
那么反过来，如果我们想要训练词向量，可以先去训练一个语言模型，然后将模型中对应的参数，作为词向量。从任务形式上看，我们是在训练语言模型，而实际上我们最终的目标是想得到词向量，我们更关心的是这个词向量合不合理。
Word2vec根据上下文之间的出现关系去训练词向量，有两种训练模式，Skip Gram和CBOW（constinuous bags of words），其中Skip Gram根据目标单词预测上下文，CBOW根据上下文预测目标单词，最后使用模型的部分参数作为词向量。
AutoEncoder也可以用于训练词向量，先将one hot映射成一个hidden state，再映射回原来的维度，令输入等于输出，取中间的hidden vector作为词向量，在不损耗原表达能力的前提下压缩向量维度，得到一个压缩的向量表达形式