[1] Convolutional Neural Networks for Sentence Classification
Yoon Kim
New York University
EMNLP 2014
http://www.aclweb.org/anthology/D14-1181
这篇文章主要利用CNN基于预训练好的词向量中对句子进行分类。作者发现利用微调来学习任务相关的词向量可以提升模型效果。
网络结构示例如下
目录
引言
第一节 现状：正视现实
第二节 未来：一只乌鸦给我们的启示
第三节 历史：从“春秋五霸”到“战国六雄”
第四节 统一：“小数据、大任务”范式与认知构架
第五节 学科一：计算视觉 --- 从“深”到“暗”
第六节 学科二：认知推理 --- 走进内心世界
第七节 学科三：语言通讯 --- 沟通的认知基础
第八节 学科四：博弈伦理 --- 获取、共享人类的价值观
第九节 学科五：机器人学 --- 构建大任务平台
第十节 学科六：机器学习 --- 学习的终极极限与“停机问题”
第十一节 总结： 智能科学 --- 牛顿与达尔文的统一
概率论只不过是把常识用数学公式表达了出来。 ——拉普拉斯
记得读本科的时候，最喜欢到城里的计算机书店里面去闲逛，一逛就是好几个小时；有一次，在书店看到一本书，名叫贝叶斯方法。当时数学系的课程还没有学到概率统计。我心想，一个方法能够专门写出一本书来，肯定很牛逼。后来，我发现当初的那个朴素归纳推理成立了——这果然是个牛逼的方法。
周末应该是一个好好休息的时间，但是一定会有在默默努力科研的你，由于最近是开学季，很多关注的朋友一直会问“计算机视觉战队平台有基础性的内容吗？”，今天我和大家说一次，我们平台之前有推送很多基础的知识，有兴趣的或者是刚刚接触CV&DL的你，可以去历史消息阅读，在这也感谢所有一直关注和支持我们的您！
今天其实是一个重要的日子！不告诉大家什么事情，但是我会把自己喜悦的心情与大家分享，接下来就和大家说说目标分割的事吧~
[13] Training Deep AutoEncoders for Collaborative Filtering
Oleksii Kuchaiev, Boris Ginsburg
ICLR 2018 Submission
https://arxiv.org/pdf/1708.01715.pdf
这篇文章将6层的深层自编码用于协同过滤。这种网络的训练是端到端的，并且无需预训练。该文作者发现深层自编码比浅层自编码泛化能力更好，正则方法比如dropout对防止过拟合很重要。他们还基于迭代输出重利用提出一种新的训练算法来克服协同过滤中数据的稀疏性，这种新算法可以大幅度提升训练速度，并且可以提升性能。
自编码示例如下