“小数据”激发我们从人类学习本质的角度思考问题. — David 9
如果要得到生成模型或分类模型, 我们可以用GAN或CNN等深度网络. 而对于”小数据“我们往往要换一种思路, 利用RNN的”记忆”能力在图片中反复”琢磨”图像的线条等特征:
通过反复寻求好的”关注点”, 我们用一张样本图片, 就能比较新图片与之差异, 以及和原图片是同一个文字的可能性. 这正是所谓的one shot learning, 即, 从一个样本学习到该样本的整个类. 没错 , “小数据”的泛化能力真是惊人 ! 甚至击败了KNN ，SIAMESE NETWORK等传统相似度比较方式。 继续阅读CVPR 2017之#RNN论文精选, 小数据学习: 基于关注点的循环比较器(Attentive Recurrent Comparators)
An essential [of an inventor] is a logical mind that sees analogies. — Thomas Edison
很难想象如果所有创新工作交给AI去做, 人类存在的意义是什么?
今年KDD2017最佳论文(Accelerating Innovation Through Analogy Mining) 向这个方向迈进了一步. 作者试图从庞大的专利和文献库中, 挑选出可以激发发明者灵感的想法, 呈现给发明者(USPTO上就有900万多的专利).
如对于一个带电池的手机壳的初始idea:
通过”模仿和类别“挖掘, 模型可以搜索并提供下面idea的提示, 呈现给发明者:
上图是一个Flash充电时的卡扣装置, 和一个自带电源的USB插座, 都是对比模仿初始idea从庞大文献中找出的两个类似idea.
最后, 一个发明人看到以上这些启发和提示, 发明出了以下产品:
一个履带式的发电器, 戴在身上, 人体移动时, 就可以发电蓄电. 可见, 模型做出的前两个发明提示对发明者有一定的帮助. (模型给出了不完全相似但是很相关的启发) 继续阅读KDD 2017精选#1 用”模仿和类比”挖掘加速创新 , GRU循环神经网络新用法（Best paper award 最佳论文奖）
无论是机器学习还是人类学习，似乎一个永恒的问题摆在外部指导者的面前：“我究竟做错了什么使得它（他）的学习效果不理想？” — David 9
之前我们提到过，端到端学习是未来机器学习的重要趋势。
可以想象在不久的将来，一切机器学习模型可以精妙到酷似一个“黑盒”，大多数情况下，用户不再需要辛苦地调整超参数，选择损失函数，尝试各种模型架构，而是像老师指导学生一样，越来越关注这样一个问题：我究竟做错了什么使得它的学习效果不理想？是我的训练数据哪里给的不对？
今年来自斯坦福的ICML最佳论文正是围绕这一主题，用影响函数（influence functions）来理解机器模型这一“黑盒”的行为，洞察每个训练样本对模型预测结果的影响。
文章开篇结合影响函数给出单个训练样本 z 对所有模型参数 θ 的影响程度 I 的计算:
其中 ε 是样本 z 相对于其他训练样本的权重, 如果有 n 个样本就可以理解为 1/n 。
是Hessian二阶偏导矩阵, 蕴含所有训练样本(总共 n 个)对模型参数θ 的影响情况.
而梯度
蕴含单个训练样本 z 对模型参数 θ 的影响大小. 继续阅读ICML 2017论文精选#1 用影响函数(Influence Functions)理解机器学习中的黑盒预测（Best paper award 最佳论文奖@斯坦福）
