20151115

写日志的好处是可以拿日期做title,然后发现时间就这么一点一点的过去了,好多事儿都还没有做。想起来去年
张凯师兄说要回学校早做找工作的准备,没想到一晃我也到了这个时候,比较难过的是,我都不知道准备什么。
研究生果然是啥都没做就过去了。。。也许读个博士的好处是可以慢慢熬,也不用太着急

记得之前扫了一眼Understanding Convolutional Neural Networks for NLP
没认真看,最近有人在CSDN里写了译文(http://www.csdn.net/article/2015-11-11/2826192 ) 因为禁止转载,我就
不原文贴上来了,但是可以说一下自己的感受

CNN在图像领域的应用就不用说了,在nlp的领域,我之前只知道dongli师兄在acl15里的QA的那篇,之后也没太
关注过CNN在nlp的应用,而这篇就比较全面的讲述了cnn在NLP的应用,我觉得可以值得思考的点就是在NLP应用
一定是有word embedding或者是one-hot,必须是将一句话或者一个单元转换为矩阵,每一行是个vector。这是
第一点。第二点是在做卷积的时候,滤波器的宽度也就和输入矩阵的宽度相等 ,滑动窗口可以2~5,其实滑动窗口就有点像n-gram了。

我觉得下面这个图就很好。这是15年的一篇论文,来做文本分类,用到了CNN。其中有convoluttion和pool。我觉得看这个论文的另一个好处,
是对cnn也有了一个认识,比如为什么要做pool,句子的长度不同,作为卷积得到的向量长度不同,如何归一那就用pooling,而且pooling对每个滤波器的输出求最大值,
可以理解为保留了更多特征,很好。而且在文章中还提到CNN的一个好处,就是快,用GPU算起来要更快一些。

Zhang, Y., & Wallace, B. (2015). A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification.

就说这么多吧,明天开始要按照类别刷leetcode了,这个每天也可以写写。