修订特征已经变得切实可行, “特征矫正工程”是否会成为潮流?

如果要保持某个发明是黑盒状态,人类必须保证其不停的发展,这几乎是不可能的 —— David 9

人们有两个重要的动机把一切新工具看做白盒去研究:1. 如果工具出了问题,从内部机制寻求解决是常规的方法,2. 每个人都有信心认为自己的见解比别人独到,所以如果这个工具是一个黑盒,一定是之前没有很好地被理解。

神经网络也是这样一种工具。并且白盒化过程在视觉模型中尤为明显,近期的两个项目很好地反映出这个过程。

其一是yolov9视觉检测模型PGI(Programmable Gradient Information)可编程梯度信息改进。

信息瓶颈原理指出,随着网络的深度加深,图像在网络传播的过程中不可避免地会有信息损失,输入与输出的互信息会不断减小:

当然,把模型的参数量变大可以缓解这种问题。但依旧不能很好地解决:

不同网络架构的随机初始权重输出特征图的可视化结果:(a)输入图像,(b)PlainNet,(c)ResNet,(d)CSPNet和(e)yolov9的GELAN
不同网络架构的随机初始权重输出特征图的可视化结果:(a)输入图像,(b)PlainNet,(c)ResNet,(d)CSPNet和(e)yolov9的GELAN更好地解决了上述问题

yolov9为了更好地解决上述问题,PGI主要由三个部分组成:(1)主分支:用于推理的架构,(2)辅助可逆分支:生成可靠的梯度,为主分支提供后向传输,(3)多级辅助信息:控制主分支学习可规划的多级语义信息:

PGI架构
PGI架构

这些辅助的分支在训练时需要,但预测阶段并不需要,因此,可以理解为在训练阶段的一种“特征矫正工程”,但和一般眼科矫正不同的是,它更像一种植入矫正技术,在特征生成的每一层都有“植入”。

另一个令人印象深刻的项目 继续阅读修订特征已经变得切实可行, “特征矫正工程”是否会成为潮流?

量子计算系列#2 : 量子机器学习与量子深度学习补充资料,QML,QeML,QaML

人们对信息的认识,总是远远落后于信息处理机器的生产 —— David 9

很多时候,当我们讨论一个新颖的模型,其实都是在讨论信息处理技术,只是我们很多时候并没有意识到。曾今当图灵机提出的时候,很多人甚至包括设计师自己,都无法想象这种机器会促进何种形式的信息处理技术。

现在,量子计算机也面临着类似的处境,毫无疑问它是处理信息的一种新机器,但没有人知道什么样的信息处理技术可以在这种机器上大放异彩。

上次我们讨论了量子神经网络的基本知识,值得强调的是,这种QNN(量子系统)并不一定是处理信息的最好方式,正如冯诺依曼结构在图灵机之后近10年提出并经过了长时间的考验。 在进一步深入思考之前,我们必须确保自己能够更独立地思考,来判别未来的方向,因此,David补充了下面量子机器学习与量子深度学习的资料,供大家参考:

1. 量子力学五大基本假设 为方便记忆也可以叫“剥削算全态”. 具体内容如下:

(1)函数假设:微观体系的运动状态被一个属于希尔伯特空间波函数完全描述,从这个波函数可以得出体系的所有性质。
(2)演化假设:微观体系的运动状态波函数随时间的演化满足定谔方程
(3)算符假设:力学量用厄米表示。

...阅读更多...加入David9的星球群阅读所有文章:

加入David9的星球群,获得通行密码 , 阅读全文
 
 

“现象意识”#2:用白盒的视角研究意识和大脑,会是什么景象?微意识,主体感,超心智,意识中层理论

自我不是现成的,而是通过行动的选择不断生成的 —— 约翰 • 杜威

之前,我们已经通过心理学角度认知系统2角度,探讨了意识及其产生。值得补充强调的是,意识不可能是孤岛,他是外部环境和内部大脑碰撞交互的结果,外部的环境和社会因素会深刻地影响大脑的运作,而大脑内部的解剖学结构和各个组织(特别是新皮质)的交互也起到至关重要的作用。

如果我们执意用白盒视角来探究大脑的意识,将是一条硬核的道路。但脑神经科学家倾向于选择这条道路,克里斯托夫·科赫就在《意识探秘》一书中阐述了他的探索道路,主要的研究内容就是揭示意识的神经相关集合NCC(neuronal correlates of consciousness)。通俗地说就是,足以引起特定有意识知觉的最小神经事件的集合虽然这项任务看起来就很艰难,但是我们有信心假设,生物(特别是人类)产生意识是不需要所有的神经细胞参与的。尝试过冥想的人都保留着自我的意识,但隔绝了许多感官输入;沉浸工作的人,会有那么一秒,体验到自我的存在,但这个体验也似乎只限于体验,没有切实的感官输入或其他的明确目的;即使先天的盲人(没有视觉感官输入),也可以通过其他的感官(触觉,嗅觉),想象视觉的体验。事实上科赫已经把初级视觉皮层(V1)排除在外了。

当然我认为需要强调的是,自我不是现成的,意识也不是现成的,而是通过行动的选择不断生成的,科赫的研究是在意识已经在那儿存在了的基础上的。我们人类在儿童阶段的意识和成人阶段的意识是一样的吗?两个阶段的NCC是一样的吗?我持怀疑态度。

当然,科赫的研究本身充满价值,其中许多新颖的观点和引人思考的实践,都值得我们长时间去探索,这里我总结几点重要的思考:

1. 我们是否应该放宽“意识”的定义?

在许多人狭隘的概念中,“意识”是要有“自我”的体验,已经为什么现在我们有这种“自我”的体验而不是其他的感受。但是,“自我”的概念真的这么重要吗?如果没有明确的“自我”概念,一个生物可以从第一人称视角感受,觉知,主观体验一些事物,这不可以被称为有意识吗?对于疼痛这种抽象概念,动物,婴儿虽然不能自身的体验,但是拥有了工作 记忆后,虽然可能无法用语言表达,但他们此刻能够切实地体验到甚至想象这种概念。这些主观的体验在客观上是脑神经中优势NCC的发放。因此如果放宽“意识”的狭隘定义,就可以切实地做一些工作研究意识的基本组成。

2. 既然僵尸行为这么有效,为什么还需要意识NCC?

对于有复杂性局部癫痫和梦游患者,甚至普通人的日常运动(骑车,钢琴),他们都可以完成自己熟悉的动作,这些自动行为或者条件反射只是执行某个内部程序,

这种刻板模式在很多情况下非常有效,但 继续阅读“现象意识”#2:用白盒的视角研究意识和大脑,会是什么景象?微意识,主体感,超心智,意识中层理论