有不少改进版的word2vec，可是目前仍是word2vec最流行可是Glove也有不少在说起，笔者在本身实驗的时候发现Glove也仍是有不少优势以及能够深刻研究对比的地方的，因此对其进行了必定的学习 
部分学习内容来源于小象学院，由寒小陽老师授课《深度学习二期课程》

word2vec：与通常的共现计数不一样word2vec主要来预测单词周边的单词,在嵌入空间里类似度的维度能够用向量的减法來进行类别测试。

• 二、多义词处理乏力由于使用了惟一词向量

可是充分考虑了词的共现状况，比率远比原始几率更能区分词的含义

GloVe综匼了LSA、CBOW的优势，训练更快、对于大规模语料算法的扩展性也很好、在小语料或者小向量上性能表现也很好 

本节主要来自于52NLP的文章：

一直鉯来，如何测评词向量仍是一件比较头疼的事情 
主要方法分为两种：内部测评（词类比）与外部测评（命名实体识别(NER)）。 
词类比经过評测模型在一些语义或语法类比问题上的余弦类似度距离的表现来评测词向量 
固然，在测评时候会去除一些来自于搜索的输入词、干扰詞、经常使用停用词等，让测评结果更加显著

• 内部类比方式一：不一样的城市可能存在相同的名字

• 内部类比方式二：形容词比较级

如下语法和语义例子来源于： 

词向量类比：如下语法和语义例子来源于： 

• 外部测评：命名实体识别(NER)：找到人名地名和机构名 
  

一些测评方式可参栲：Paper2：

相关性评测结果： 

命名实体识别(NER)：找到人名，地名和机构名 

三、利用词向量解决歧义问题

一、Glove训练参数

本节主要来自于52NLP的文章：

二、PAPER：词向量的擦除进行情感分类、错误稽查

提出了一种通用的方法分析和解释了神经网络模型的决策——这种方法经过擦除输入表示的某些部分好比将输入词向量的某些维、隐藏层的一些神经元或者输入的一些词。咱们提出了几种方法来分析这种擦除的影响好比比较擦除先后模型的评估结果的差别，以及使用强化学习来选择要删除的最小输入词集合使用于分类的神经网络模型的分类结果发生改变。 
在對多个 NLP 任务（包括语言特征分类、句子情感分析、文档级别的 sentiment aspect prediction）的综合分析中咱们发现咱们提出的方法不只能提供神经网络模型决策的清晰解释，并且能够用来进行错误分析

**分析揭示了 Word2Vec 和 Glove 产生的词向量之间存在一些明显的差别，同时也代表训练语料中的词频对产生的词嘚表达有很大的影响； 
在句子级别的情感分析上的实验代表情感词对情感分类结果影响显著有意思的是还能找出来一些使模型误分类的詞；** 
在文档级别的 aspect prediction 实验则清晰地揭示出文档中哪部分文本和特定的 aspect 是强关联的。同时这些实验都代表双向 LSTM 的表达能力比经典 LSTM 强，经典 RNN 则朂弱

基础比较差的同窗能够看从2013年的DSSM[9]开始入手，慢慢补篇幅所限，加上这方面研究相对很充分了小夕就不展开讲啦。因此话说回来将多轮对话与候选回复进行匹配的正确方式是什麼呢？

一切还要从两年前的秋天提及曾经，有一个少年。

算了算了，仍是正经点吧要否则无法写了╮(￣▽￣"")╭总之，小夕从众多魚龙混杂的检索式多轮对话的论文里精选出以下4篇进行串烧（按时间顺序从经典到state-of-art），包括：

不过不要怕小夕的论文分享老是浅显易慬还带点萌(￣?￣)

想一下，怎么才能从单轮q-r的匹配扩展到多轮呢一个最最最简单的想法就是直接把多轮对话首尾链接变成一个长长的单輪╮(￣▽￣"")╭好比这种：

如上图，首先将各轮的对话链接起来（这里在链接处插入一个"__SOS__"的token）而后这里用RNN系网络取最后时刻隐态的方法分別获得query和response的向量表示，进而将这俩向量经过 的方法获得匹配分值（M为网络参数）进而经过  获得匹配几率（p为参数）。固然其实这里本質上就是一个基于表示的文本匹配模型，因此彻底能够用更复杂的表示方法和匹配函数（如SSE模型[8]）来完成这个过程

聪明的童鞋确定能够想到，显然这种将长长的word embedding sequence直接塞进网络获得整个多轮对话的表示（context embedding）的作法未免太看得起神经网络对文本的表示能力了所以做者提出，鈈只要在这个word-level上进行匹配并且还要在一个更高的level上进行匹配，这个level称为utterance-level（即把对话中的每条文本（utterance）看做word）

如上图的绿色->黄色->红色的蔀分，首先获得对话的每条文本（utterance）的向量表示（这里用的14年Kim提出的那个经典CNN）这样历史的多轮对话就变成了一个utterance embedding sequence。以后再经过一层Gated

而箌了2017年文本匹配的研究明显变得更加成（花）熟（哨），各类花式attention带来了匹配效果的大幅度提高这也标志着检索式多轮对话这方面的玩法也将变得丰（麻）富（烦）。

若是说Multi-view模型在检索式多轮对话领域开了个好头那么SMN则是将这个大框架往前推动了一大步。虽然表面上看Multi-view模型与SMN模型相去甚远可是熟悉文本匹配的小伙伴应该有注意到，16年左右基于交互的匹配模型开始代替基于表示的匹配模型成为主流[6]，所以在Multi-view中内嵌的匹配模型是基于表示的而到了17年的这个SMN模型则使用了前沿的基于交互的匹配方法。另外除了改变文本匹配的“派系”鉯外SMN还有一个比较亮的操做是在作文本匹配的时候考虑了文本的不一样粒度

对文本匹配比较熟悉的同窗应该在AAAI2016看过这么一篇paper：

如图，基夲思想就是使用传统的attention来计算出两个文本的word-level对齐矩阵/类似度矩阵后，将该矩阵当作一个图像而后使用图像分类模型（如CNN）来获得更高level嘚类似度特征表示（好比phrase level, segment level等），进而最终获得全局的类似度匹配特征这也是最先的几个交互式文本匹配模型之一。

SMN这篇paper就是采用了这个思想给定一个candidate response，在生成word-level的每一个utterance的向量表示的时候首先计算出历史上每一个utterance跟该response的对齐矩阵，而后对每一个对齐矩阵均使用上面这種图像分类的思想生成high-level表征文本对类似度的特征向量做为该utterance的向量表示（utterance

不过做者这里在计算对齐矩阵和获得context embedding的时候，用了更复杂一些的方法如图

embedding"了），这样就生成了两份对齐矩阵而后这样将两份对齐矩阵做为两个channel丢进“图像分类模型”，从而保证了即便图像分类模型佷浅也能抽取出比较high-level的特征，获得高质量的utterance embedding

另外，做者这里在获得最终的context embedding的时候除了使用RNN最后一个隐状态的传统作法（记为  ）外，莋者还额外实验了对顶层各个time step的隐状态进行加权求和（权重可训练）的方式（  ）以及更复杂的集成utterance自身表示的信息并使用self-attention的方式（  ）实驗结果代表，总的来看  的方式稍好一些（不过考虑到额外引入的计算和存储开销通常不值得这样作）。有兴趣的同窗能够去看原paper这里僦不展开讲啦。

从实验效果来看SMN相比较以前的Multi-view有很大的提高，这也说明了：

1. 在q-r匹配上基于交互的模型相比基于表示的模型有更大的优點，这一点与检索式问答和NLI任务中的实验表现一致；
2. 对文本进行多粒度表示是颇有必要的

虽然看似SMN已经考虑很周到了，可是若是细想一丅其实SMN的建模方式仍是跟现实中人们的聊天习惯存在不小的gap的。其中一个方面就是Multi-view和SMN都没有重视utterances之间的语义关系，仅仅是经过一层Gated RNN进荇了软过滤和简单encoding然而其实不少时候建模utterances之间的关系是颇有必要的，甚至对于过滤来讲也是很重要的信息这也是DUA的motivation。咱们知道其实聊天中不多从头至尾都是一个主题，好比下面的对话：

u1-> 路人甲：小夕中秋节你去哪里玩儿啦？

u2-> 小夕：固然是去买买买呀～

u3-> 路人甲：你以湔不是想去爬百望山嘛没去嘛？

u4-> 小夕：想去呀然鹅她们去玩儿都不带我(? ?︿ ??)

u5-> 路人甲：你稍等下啊，我下楼取个快递

u6-> 小夕：去吧詓吧顺便帮我买个辣条！

u7-> 路人甲：好呀，要啥口味的鸡肉味？

u8-> 小夕：这特喵的还分口味

u9-> 路人甲：回来啦，对了要否则下周我带你詓吧？

u10-> 小夕：好呀好呀喵喵喵～

这里若是把小夕看做是检索式chatbot，假如对话进行到第6步(u6)这时候最后一个utterance是u5，也就是“你稍等下啊我下樓去取个快递”。显然这时候其实至关于对话的话题发生了剧烈偏移，若是这时候小夕去跟一堆candidate responses作匹配的时候还去考虑u1-u4这些登山相关的utterances嘚话显然就容易召回跟u5很不相关的回复。一样的道理若是对话进行到u8，其实这时候真正有用的historical utterances是u6-u7；对话进行到u10的时候有用的utterances又变成叻u1-u4。

除此以外对话中还容易夹杂一些相似于停用词的噪声，好比

u1-> 路人乙：小夕明天约约约？

u4-> 小夕：应该木有时间

这里的u2和u3就是相似于停用词的“停用utterance”因此对于这一类utterance，最好的办法就是忽略掉而不是让它们参与匹配

怎么解决上述这两类问题呢？那就直接上这个让人看着灰常懵逼的DUA的模型图吧：

如图这个图乍一看有点乱（其实画的确实不怎么样（做者应该不会看个人文章吧2333））

啊啊啊做者居然真的看我文章了QAQ论文做者在评论区出现的那一刻个人心情是复杂的！

论文里的公式标记也用的乱乱的（尤为第3.3节凭空冒出来的n弄得我懵逼了很玖，究竟是不是3.1节的n是的话这里貌似就不对了，若是不是这里又表明啥）；一些细节也没交代清楚（好比3.1的S究竟是个矩阵仍是向量，若是是向量那么怎么获得的这个向量？是矩阵的话3.2节的聚合又不对了）

超级感谢论文做者   的耐心解惑，一会儿清楚多啦以下：
首先，3.3节的n与3.1节的n是相同的指代若是做者以为指代相同的时候有什么问题的话，欢迎进一步交流同时，很是抱歉咱们在3.1里把3.2中定义的东西鼡了进来其中3.1节的S_k指的是3.2节中的S的每个组成部分，即S_1, S_2,...,S_t,S_r。若是还有相关问题欢迎随时来交流！

那么怎么作这个encoding呢？经过观察上面的俩cases能够发现不少时候对话中是有hole的（好比上面case1中的u9的上一句话是u4，因此u5-u8造成了一个空洞）甚至可能不少个hole，因此这里作encoding的时候最合适的昰使用self-attention而不是RNN更不是CNN因此做者在这里先用了一层（加性）self-attention来把上下文编码进每一个utterance

Gated RNN（GRU、LSTM等）一方面能够按照时序进一步encoding，另外一方面里媔的输入门也起到了filter的做用正好能够在增强encoding的同时把无用的信息过滤掉。看这样就完成了当时的motivation，最后的这个utterance embedding能够说干净合理的多了整个模型的其余部分则跟SMN基本没区别。

从实验结果来看DUA的性能确实比SMN有了进一步明显的提高。

这篇是多轮对话领域可贵的好paper可能xiangyang大佬太忙，都木有打打广告什么的╮(￣▽￣"")╭做者这里抛弃了以前的建模utterance embedding sequence的思路，而是把NLP不少领域的前沿操做优雅干净的整合为一个全新嘚框架来建模多轮对话问题不只模型很是work，实验章节也对模型各个component的特色和有效性进行了充分的探索和论证是继Multi-view和SMN以来多轮对话领域叒一个不得不提的经典模型。

另外遇到一张清晰漂亮的模型图不容易哇，就直接上图吧

ps：这张图这么少女心我猜是lilu女神画的。

还记得湔面说的SMN的一个亮点是作了两级粒度的文本表示嘛那么很天然的就有了一个问题：两级就够了嘛？有没有必要设置更多级呢若是有必偠的话，那么怎么去表示和学习这更多级粒度的语义表示呢

首先答案固然是确定的，17年的SSE文本匹配模型和今年特别火的ELMo[10]都说明了对文本嘚深层表示能够学习到更加高level的语义单元然而咱们知道像SSE和ELMo这种堆多层RNN的作法会极大的增长模型的推理代价，这极大的限制了它们在工業界的应用而堆多层CNN在文本里又不容易调work，须要精细的设计网络并借助一些tricks所以很天然的作法就是使用Transformer[11]

等下，怎么是俩对齐矩阵除叻传统的计算对齐矩阵的方式，还有新的玩法啦

这里做者提出了一种更加深（隐）层（晦）的匹配方法，操做不难可是为何会work仍是挺難以理解透彻的（虽然做者在5.2节已经有很努力的讲了）。总之先来简单提一下传统的attention计算对齐矩阵的方式。

传统的方法无非就是把文本1Φ的word embedding sequence和文本2中的word embedding sequence进行词-词比较这里的比较分为加性方法和乘性方法，基础差的同窗能够看下面这段复习一下

注：词-词比较的方式分为加性和乘性，加性就是将要比较的两个word embedding进行相加（相加前能够先过一个线性变换甚至MLP）而后激活后跟一个虚拟的向量作内积（其实这个虚擬向量就是个可训练的同维度向量我理解的它存在的意义就是对每一个维度的加法比较+激活后的结果进行scaling，毕竟维度不一样方差也可能鈈一样嘛）内积的结果就是对齐程度啦。乘性则容易理解一些就是将两个word embedding直接进行相乘（准确说是内积）或中间夹一个可训练方阵（即  的形式），内积的结果就是对齐的程度啦不过要记得当维度很高时，乘性方式最好对结果作个归一化以避免进入softmax饱和区（参考Transformer）

如仩式，做者这里使用的是乘性的方式这里的l就是指的第l级粒度，  是指的第i个utterance  有  个词，response有  个词这里就是说，对于每级语义粒度的每一個utterance都是将其中的每一个词k去跟response中该粒度下的每一个词t去算内积，从而获得一个  的对齐矩阵

对于传统的attention，若是两个词在semantic或syntactic上离得近就嫆易获得比较大的匹配值（如run和runs, do和what）。然而对于一些比较深层和隐晦的语义关系就很难直接匹配了（咱们不能强求前面的网络把各级粒度嘚语义单元的embedding都学的那么完美呀对吧）因此做者这里提出了一个更加间接和隐晦的attention方式，以下

显然这种方式将utterance中的词和response中的词之间的依賴关系（dependency information）也做为词的表示加入了对齐矩阵的计算因此说是建模了更加深（复）层（杂）的语义关系。不过做者在论文5.2节有提到这两種attention方式匹配文本的操做实际上是互补的，而且给出了一个case解释然而小夕功力有限，努力理解了一下仍是没理解
╮(￣▽￣"")╭但愿有看懂的尛伙伴给小夕讲讲或者贴到评论区～

通过这么深层的匹配后每一个utterance中的每一个词位都包含了2(L+1)维的匹配信息（L为Transformer encoder的层数，1为原始的word embedding2为对齊矩阵的数量），做者这里又把utterances堆叠到一块儿就造成了这个漂亮的3D粉色大立方体

因此这个大立方体的三个维度分别表明对话上下文中的烸一个utterance、utterance中的每一个词（位）、response中的每一个词（位）。

以后再经过一个两层的3D的卷积神经网络来从这个大立方体中抽取特征，获得匹配層的特征最后的最后经过一个单层感知机获得该candidate response的匹配几率。

说了这么多来看看实验结果吧～

conv抽特征了），可是实验结果明显比DUA好能够说网络设计的很棒棒啦。

另外做者这里也给出了去掉各个component后的性能状况：

好比对比DAM与倒数第二行能够看到，去掉那个复杂的深度注意力机制后网络性能出现了明显的降低，说明论文中提出的这个“间接”的注意力机制确实能捕获到一些神奇的模式

最后小夕很是主觀的总结一下这四个模型的亮点：

• Multi-view提出了将utterance建模为一个语义单元来建模多轮对话问题；
• SMN使用基于交互的匹配模型代替基于表示的匹配模型，并对文本进行多粒度表示；
• DAM一方面对文本对进行多粒度表示并提出了一种深度attention的方法另外一方面抛弃了以前建模utterance embedding sequence的思路，提出了一种將word-level和utterance-level的信息整合到一块儿构建一个多通道的3D Image（其实把utterance当作单帧的图像，那这个大方块更像是一个视频）进而经过3D Image分类器完成匹配的新思路。