分类： 机器视觉

吴恩达新书《Machine Learning Yearning》读后感，验证(测试)集怎么选？如何高效分析性能？降低可避免偏差和方差？实操经验总结

如果你要选验证集或测试集，就选那些你预料未来数据的样子（Choose dev and test sets to reflect data you expect to get in the future and want to do well on）— 吴恩达

前不久吴恩达新书“机器学习念想”（Machine Learning Yearning）手稿完工（不知道这样翻译会不会被打。。）David 9 忍不住拜读 ，把读后感总结如下，欢迎指正和交流：

纵观全书分三部分：

  1. 怎么构建验证集和测试集？
  2. 如何构建有效的性能和错误分析机制 ？如何优化模型？
  3. 端到端模型的一些讨论

事实上，上手深度学习（机器学习）项目最先要做的和模型本身关系不大，而是构思性能验证系统和错误分析的有效机制。

艺术品最华丽的可能是最后的润色，但其构思、规划以及推敲往往占据大师平时更多心力：

列奥纳多·达·芬奇《岩间圣母》草图（左）， 和最后完整润色后画作（右）

同样，构建一个高效的深度学习系统，首先要有一个好的验证体系、推敲整理过的数据集、高效的错误分析机制，这样最后的润色（模型优化）才能水到渠成。

1. 谈谈验证(测试)集怎么选？

书中建议是，如果你要选验证集或测试集，就选那些你预料未来数据的样子。因此训练集样本分布不需要和验证集（测试集）相同。用白话说就是以你预料“现场”的样本分布为准。 继续阅读吴恩达新书《Machine Learning Yearning》读后感，验证(测试)集怎么选？如何高效分析性能？降低可避免偏差和方差？实操经验总结

CVPR2018精选#2: 视频分析的非局部(non-local) 神经网络模块，CMU与Facebook AI研究室视频分类识别新贡献

拥有什么，决定了你只能迷恋什么 — David 9

很大程度上，目前的芯片工艺和技术，决定了人类只能迷恋神经网络这样的方案（高于传统机器学习一个计算级别）。就像进入铁器时代，人们才能方便地砍伐森林、挖掘矿山、开垦土地（如果在青铜时代就别想了）。

在铁器时代，对铁器的改进很受欢迎；正如今年CVPR上大神Kaiming He和Xiaolong Wang 的文章试图改进神经网络工具去“开垦”视频分析 这片土地。

我们知道视频和图片的区别无非是多了时间的维度（time，视频的帧）。最直觉的做法是先用cnn，再用擅长时间序列的rnn；或者，直接用3D卷积去做。而实际情况是直接用3D卷积效果不是最好，于是有人用两个cnn去做（一个cnn分析时间，一个cnn分析空间），或者另外用一个分析轨迹（trajectories）的模块去加强时空感。

而非局部(non-local) 模块把非局部感受野的信息提取操作做成一个神经网络模块，方便了端到端的视频分析：

一个可以插入神经网络的non-local模块

这个模块输入x可以理解为32帧的视频（32张图片帧数 T=32，长宽为H×W），输出z也是H×W大小的特征图。有没有注意到最左端的箭头是一个跳层连接？没错，non-local模块就是把视频额外的时空信息提取作为一个残差操作，这样整个模块可以任意插入到一个残差网络resnet中： 继续阅读CVPR2018精选#2: 视频分析的非局部(non-local) 神经网络模块，CMU与Facebook AI研究室视频分类识别新贡献

David9的普及贴：机器视觉中的平均精度(AP), 平均精度均值(mAP), 召回率(Recall), 精确率(Precision), TP，TN，FP，FN

召回率和准确率就像你去赌场要同时带着“票子”和“运气” — David 9

在机器学习面试中，经常会问道“召回率”和“准确率”的区别 。 其实，就像你去赌场下注一样，如果你“票子”很多，可以把钱分摊在不同的赌注上，总有一个赌注会猜对，当你猜对了，就是一次“召回”了； 而“准确率”不关注你下多少注，好似你在赌场碰“运气”，下注越多，越能看出你今天的“运气”。

因此，你猜的次数越多自然有较大的召回，当然最好的情况是，你猜测很少次数就能召回所有。

计算召回率(Recall) 和 精确率(Precision) 时，人们一般会先搬出TP（True positive），TN（True negative），FP（False positive），FN（False negative ）的概念：

                     Condition: A        Not A

  Test says “A”      True positive   |   False positive
                     ----------------------------------
  Test says “Not A”  False negative  |    True negative

然后给出公式：

召回率 Recall = TP / (TP + FN)

准确率 Precision = TP / (TP + FP)

事实上，不用硬背公式。两者的抽样方式就很不同: 召回率的抽样是每次取同一标签中的一个样本，如果预测正确就计一分；准确率的抽样是每次取你已预测为同一类别的一个样本，如果预测正确就计一分。这里一个关键点是：召回率是从数据集的同一标签的样本抽样；而准确率是从已经预测为同一类别的样本抽样。召回率和准确率都可以只针对一个类别。 继续阅读David9的普及贴：机器视觉中的平均精度(AP), 平均精度均值(mAP), 召回率(Recall), 精确率(Precision), TP，TN，FP，FN