AI+3D重建#2:端到端的360全景室内3D重建角点模型,AR、装修设计、室内导航

人类的出发点是因果,模型的出发点是数据 — David 9

没有上层逻辑(或reasoning)和自恰的抽象归纳,在这一点上深度学习只能沦为一般的“工具”。举例说这个360全景室内图的3D重建应用

来自:https://arxiv.org/pdf/1903.08094v2.pdf

如果要设计一个端到端的模型,应该把神经网络实际输出抽象成什么?也许只有像作者等领域专家才会想到分成两个图(角点图边缘图)去建立室内3D场景:

来自:https://arxiv.org/pdf/1903.08094v2.pdf

因为对于室内场景,把角点边缘线准确找到,再假设房顶和地面平行,就可以预测出比较好的3D模型盒子(box)了:

来自:https://arxiv.org/pdf/1903.08094v2.pdf

因此细想一下,AI专家系统的复兴是不是未来一个可以期待的方向?况且,David认为,论文中“reladted work”部分蕴含了大量人类探知知识的“因果”。

继续阅读AI+3D重建#2:端到端的360全景室内3D重建角点模型,AR、装修设计、室内导航

AR版“神笔马良”:从单张2D图片建立3D人物运动模型,华盛顿大学与Facebook 3D重建 cvpr2019

无论它被你以何种方式唤醒,你只是释放了已有的想象力 — David 9

从一张普通的2D图片建立一个活生生的3D人物运动模型,或许是曾经神笔马良擅长的事。现在,在AR的人物动画3D重建领域似乎也不足为奇:

来自:https://grail.cs.washington.edu/projects/wakeup/

华盛顿大学与Facebook的研究人员已经公布了他们的这套图像人物“唤醒”方法。注意:这套方法仅限于帮助“人物”走出屏幕,不适用于动物或交通工具等等。

当然,甚至是毕加索的四维抽象人物也是适用的:

来自:https://grail.cs.washington.edu/projects/wakeup/

背后的原理这里David 9带大家理一下,首先总体框架如下:

来自:https://grail.cs.washington.edu/projects/wakeup/

论文核心贡献集中在上图的中间红色区域,所以简单起见我们可以先看一头一尾

继续阅读AR版“神笔马良”:从单张2D图片建立3D人物运动模型,华盛顿大学与Facebook 3D重建 cvpr2019