“盾从防御看是美的,矛则从射击的敏捷和力量看是美的”
—— 苏格拉底
实验物理学家卢瑟福说过:“所有科学要么是物理,要么是集邮” 。相较其他学科,物理学也许对宇宙大一统的解释有一定的优越性。如在研究半衰期过程中就会被一种大自然的神奇所折服(弱核力)。
然而“集邮”并不是没有意义。苏格拉底说过,“盾从防御看是美的,矛则从射击的敏捷和力量看是美的”。不能因为深度学习理论薄弱,就去否认深度网络的实际效用。收集大自然的“邮票”加以利用也许成就感不那么高,但它可能非常有效 ,甚至在某些角度不乏美感。
比如在我们AI机器学习领域就有这样一种“集邮”学:其囊括遗传算法,进化策略算法(ES),粒子群算法(PSO),多数都是以模仿自然为依据,还有一个流行好听的称呼:无梯度优化算法(gradient-free,derivative-free)(facebook开源的Nevergrad库也是来自这种优化方法)
这些“离经叛道”的优化算法,不像SVM极具数学根基,但在某些场合非常适用:
拿粒子群算法(PSO)来讲,如上图,是粒子群在平面上找到极小值的过程,其本质是模拟了群鸟飞行或群鱼相互协作的搜索过程:
其核心公式也是贯彻了相互协作的原则:
其中vi(t+1)是下一个时刻的粒子速度,它由三个因素决定:
继续阅读AI界的集邮学?回眸ES,粒子群PSO,遗传(进化)算法,GA等无梯度优化方法