IComac

COBW-连续词袋

根据上下文预测目标单词，我们需要极大化这个目标单词的出现概率。 

假设词表大小为V，词向量维度为N，上下文单词为x1，x2, …, xc，定义上下文窗口大小为c，对应的目标单词为y，我们将x跟y都表示成one hot形式。这里涉及到两个矩阵参数，W是词向量矩阵，每一行都是某个词的词向量v，W’可以看做是一个辅助矩阵，每一列可以看做是某个词对应的相关向量v’。

前向过程：

x->hidden：对于每个xi，取出对应的词向量vi，再对这些词向量取平均作为hidden vector，相当于通过简单粗暴的叠加，得到这些词语的语义向量。

h->y：将h乘以W’得到一个维度为V的向量u，进行softmax归一化得到概率向量，取概率最大的作为预测单词。

后向过程：

我们需要极大化目标单词的出现概率p(y | x1, x2, … , xc)，也就是极小化负对数似然函数。 

我们需要更新两个矩阵参数特点 
  1. 无隐层 -这些词向量取平均作为hidden vector
  2. 使用双向上下文窗口 
  3. 上下文词序无关 
  4. 输入层直接使用低维稠密表示 
  5. 投影层简化为求和（研究人员尝试过求平均），W和W’，先根据loss对参数求梯度，再使用梯度下降法更新参数。

参考

https://blog.csdn.net/jcsyl_mshot/article/details/80672118