一切智能体都在“噪声”中生长，甚至依赖“噪声”滋养 ，它们不是上帝，不可能在虚无中创造—— David 9
1970年，心理学家Richard Warren和他的同事研究了音素恢复在人类语言中的案例。
以“legislatures”这个单词的完整发音为例，是下图第一行的音频，如果在这段音频中切离一部分音频，替换成毫无声音的静音(第二行)音频，或替换成宽音域的噪声(第三行)音频，人类恢复声音的能力是不一样的。对于第三行的宽域噪声，人们可以很好地脑补完整的“legislatures”单词，而对于完全的静音，人们则难以“脑补”整个单词。
这从侧面展示噪声对智能体的作用往往被低估了，智能体善于从噪声中过滤和还原信息，而不是从虚无中。智能体善于快速地“做选择题”。
现在，借助郎之万动力学采样法，扩散生成模型(Diffusion Models) 已经可以生成高像素的人造图像，其多样性也超越了传统GAN。
其核心思想正是从噪声中一步一步还原出新图像：
而与我们 继续阅读在噪声中“生长”：扩散生成模型(Diffusion Models)，score-based models，基于评分的生成模型
“数据驱动”的模型被数据限制，关键在于，它被如何限制？ —— David 9
在上一期“具身智能”的诱惑中我们就提到，智能体不会是孤立的，他处于特定的环境中，他与环境交互并适应环境，塑造环境并与之交融。
同样，在一个数学系统中，有及其相似之处。伯克利最新的研究揭示了（或部分揭示了）神经网络泛化能力的第一性原理（A First-Principles Theory）。
其研究大量依赖于NTK神经正切核的实验，曾经David也在星球中聊过正切核和无限宽网络，其本质上都是构建一个“核系统”，并找出一个“核回归”方法，
能够很好地近似真实分布 f：
其中学习到的近似分布即：
而K代表的核函数即系统中衡量元素直接距离的函数。
伯克利的研究人员指出这种学习系统就是典型的核回归方法，而核回归和NTK已经神经网络的关系如下:
进一步地，对于无限宽网络和核回归方法，其对称性和半正定的性质，使得我们总可以找到一组正交的特征向量，使得每一对特征值和特征向量
都满足： 继续阅读伯克利：神经网络学习能力的“第一性原理”探究
2021AI状态报告不仅预测了2022的8个趋势，而且在学术研究、人才、工业界、政策战略等多个维度总结2021。
而2021kaggle调查报告更多的是kaggle自己收集的一些机器学习和数据科学界的调研情况。
2021kaggle调查报告网站 （2021kaggle机器学习和数据科学调查报告原文）
