“新3D重建方案”现身，AR和VR创作者迎来春天

▲Scandy Pro捕获全彩色3D扫描

不久前，来自华盛顿大学的一组研究人员发布了一项新的实验性技术。这项技术能够直接从静态2D图像当中剪切字符，并将其转换为3D动画，最终以AR的方式将信息引入现实世界。这香技术被命名为Photo Wake-Up，适用于照片、海报乃至涂鸦艺术，能够为嵌入式Pinocchios注入生命，使这些图形自由地在现实环境中行走、跑步乃至跳跃。

该团队在去年12月接受《麻省理工学院技术评论》杂志采访时表示：“我们相信这种方法不仅能够为人们提供欣赏照片并与其互动的新方式，而且还带来了立足单一图像重建虚拟化身的新途径，甚至能够从单张照片中洞悉人类艺术建模的真实状态。”

▲由Chung-Yi Weng、Brian Curless、Ira Kemelmacher-Shlizerman合作开发的Photo Wake-Up

事实上，基于2D图像重建3D模型的想法并不算新鲜。早在十多年之前，由吴恩达带队的斯坦福3D重建小组就研究过这一课题。然而，此次出现的解决方案要比以往任何时候都更加强大（或者说需求更为迫切），而且其与当前青少年VR与AR行业的内容供应问题密切相关。

扩展3D模型工具包

截至目前，大多数用于VR及AR内容的3D模型仍由3D艺术家们手动创建，这是一项时间密集、成本高昂而且毫无扩展性可言的工作。另外，行业当中还存在着人才短缺的问题，而且这种问题并不能随着规模化而有所缓和。正因为如此，以Sketchfab为代表的各类3D repo才受到广泛欢迎，艺术家们可以在这里发布、分享、发现、购买以及出售各类3D、VR与AR内容。

尽管如此，创作者社区仍然迫切想要摆脱对于人类劳动力的依赖，并希望能够从那些提供自动化能力的工具当中获得更理想的效益。具体来讲，这些工具必须能够创造捷径与“诀窍”，从而显著加快并改善创作过程。

对此，Trnio公司创始人兼CEO Jan-Michael Trssler表示：“对于真正让人身临其境的世界，最出色的内容创作者需要使用大量的技术与软件来创造真实的元素。我见过很多艺术家在使用摄影方法测量并捕捉物体，而后将此作为3D模型的创建起点。接下来，艺术家们会对资产元素进行简化与优化，以便使其在AR/VR引擎当中发挥作用。”

如今，以摄影测量与体积捕捉为代表的3D扫描技术在输出质量方面不断发展，并不断缩短着3D模型的生产周期，这就使得现实世界变得越来越易于成为3D模型制作工作的直接来源。这类技术能够帮助当前的创作者，乃至任何有意投身其中的新人，或尚在犹豫的潜在参与者更轻松地完成自己脑海中勾勒出的形象。

来自新奥尔良的Scandy公司创始人兼总裁Charles Carriere指出：“我们认为，大多数内容创作者实际上并没有探索3D内容，因为他们缺少这类工具。事实上，目前几乎所有正在创建的内容都以2D形式存在，因为每个人都能够轻松访问并使用2D工具——其中最重要的就是手机摄像头。只要能够为这些具有高度创造性的Snapchat、Instagram以及YouTube大牛们提供能够创建3D模型的平台及工具，那么高质量3D内容将以爆炸式的速度增长，并吸引到更多消费者。”

但真正的黄金时代尚未到来。人才的新鲜血液，或者3D扫描技术的不断进步，仍然无法通过快速或者实质性的解决方案来弥补该行业目前所面临的内容供应短缺问题。无论公平与否，消费级与企业市场的关注周期仍然有限，而且人们或多或少会在潜意识当中期望VR与AR内容的生产与迭代周期能够与以往所习惯的2D内容在速度上相匹配。

2D到3D，从重建到重现

立足以往的实际情况，这样的期待明显非常不切实际。然而，Photo Wake-Up这类3D重建技术的出现突然令2D图像、资产乃至资源库成了一种取之不尽、用之不竭的素材供应源。3D模型能够以几乎全自动的方式生成，并被快速应用到沉浸式体验场景当中。事实上，这项技术不仅使得整个行业得以迎头赶上，甚至有望在沉浸式领域引发寒武纪般的生命大爆发。

着眼于当下，AR零售与购物领域将成为第一个重要的滩头阵地。包括苹果、Facebook、PayPal校友以及斯坦福大学多位博士在内的资深企业家团队，在日前以Threedy.ai公司参与者的身份集体亮相。Threedy.ai是一家深度科技初创企业，专门负责解决3D内容供应难题。

Threedy.ai公司联合创始人兼CEO Nima Sarshar解释称，“大家可以会认为创造这些产品的制造商肯定已经拥有了对应的3D模型素材，但事实告诉我们，虽然存在相关的CAD文件，相关厂商也愿意将其公开，并借此生成3D网格，但却缺少与之对应的纹理或者材料。另外，也没有统一的AR模型创建工作流程能够消化来自六大主要CAD供应商的具体工具，以及超过14种文件格式。整个制造业都在大量以外包方式处理手动纹理打包工作。”

举例来说，Houzz AR应用程序允许用户根据尺寸与颜色等指标对房间内的家具进行查看。其中的挑战在于，一切先进的AR购物应用程序，包括Houzz、Wayfair以及Overstock等，都只拥有一小部分库存的3D模型。具体而言，Houzz所拥有的3D模型仅占全部餐厅家具类别中的3%。

▲Threedy.ai公司正在将2D图像转换为3D模型

Sarshar解释称，“我们的目标是成为商业产品3D模型领域的Getty Images网站。大家可以想象一下，未来也许亚马逊目录中的每一件商品都拥有对应的3D模型，这样的资源库将会多大。”

他们的第一款产品是Threedy Convert，能够利用家用产品及家具的普通2D照片，通过专用计算几何与深度学习算法，将其自动转换为高质量3D模型。此项技术能够批量应用于不断增长的产品类别，并且通常只需要一张产品照片，整个实现成本也比现有解决方案便宜近两个数量级。

Sarshar指出：“扫描虽然能够提供更高的质量，但整个过程仍然非常枯燥且成本高昂。另外，从高多边形扫描结果到适用于XR的低多边形模型的转换也绝非易事。还有一个重要的难题，对于大部分电子商务网站而言，大家根本没有对应的物理对象，而只有数量有限的非结构化产品照片。”

这种以低维素材为起点，协助建立起高维素材的方法既令人惊讶，也绝对会受到市场的热烈追捧。该技术并不是短期可行的补救式措施，而是代表着一种全新的内容转换渠道。随着VR与AR行业不断发展与变化，这些内容有望在合适的时刻全面将渲染式体验推向普罗大众——我个人乐观地认为，这一切在今年之内就有可能发生。