IComac

NNLM - Neural Network language Model

核心思想 ： 用一个固定大小的窗口从后向前滑动，遍历整个语料库求和，预测时，用同样大小的窗口进行预测，做最大似然后作出决定。

步骤如下：

1. 定义一个矩阵C，作为从One-hot到dense的Projection

2. 将window的dense词向量做简单的concate，送入隐层

3. 对隐层进行Softmax分类，传递导数进行更新

4. 然后将中间隐层的结果（算是副产品）作为词的词向量