2D图像变3D微软新AI框架或成游戏业福音

雷锋网注:上图为微软模型生成的 3D 沙发,椅子和浴缸图像

已经有不少机构在将 2D 图像转换为 3D 形式的方面进行了尝试,包括 Facebook、Nvidia 等公司的 AI 研究实验室,或是类似 Threedy.AI 这样的初创公司。近日,来自微软的研究团队也发表了一篇预印论文,展示了其在非结构化 2D 图像的基础上生成 3D 形状图像的能力。

当前,激光电视凭借在健康护眼、大屏、画质、节能等方面的优势已经成为中国彩电市场增速最快品类。根据中怡康数据显示,今年前4个月,中国激光电视市场同比增长102.83%,是彩电市场唯一正增长的品类。其中,海信激光电视今年前4个月销量增长了85.83%,占据了中国激光电视市场将近九成的份额,成为了激光电视的“代名词”。统计数据显示,自2014年推出首款产品以来,截至去年海信激光电视的年复合增长率达到了281%。

雷锋网原创文章,。详情见转载须知。

作为国内最早从事激光显示技术研发的企业,海信经历了13年的激光技术研发在业内拥有最强技术实力。早在2007年,海信就在既没有标准指引又没有成熟模式借鉴的情况下启动了激光电视研发。经过7年的技术攻关之后,全球首款100英寸激光电视于2014年正式面世。此后,海信在激光电视领域迅速布局,形成了从75英寸到120英寸的全规格大屏产品布局。同时,在海信的引领下,中国的激光电视产业也得到迅速发展,6年间中国激光电视产品从无到有,如今已经有超过20家中国企业加入激光电视领域,产业格局基本形成。

由中国企业主导的激光电视正在成为全球彩电行业中一张闪亮的“中国名片”。从研发激光电视之初,海信就致力于积极推动激光显示产业的标准制定。2014年,国际电工委员会(IEC TC110)正式成立激光显示工作组,海信刘卫东博士当选为激光显示工作组的召集人;2018年,中国电子视像行业协会成立激光电视产业分会,海信为激光分会会长单位。去年9月份,首届全球激光显示技术与产业发展论坛在青岛举办,来自全球的100多位激光显示产业链企业代表共话激光显示的未来。

从2017年开始,海信积极筹建激光显示分标委的组建工作,至今已牵头起草了2项激光显示国家标准报批稿,正在制定的有3项。随着激光显示分标委的正式成立,标志着激光显示技术将步入更快发展轨迹。

微软的研究人员这一次做了新的突破——他们在论文中详细介绍了一个框架,该框架采用的“可缩放”训练技术是第一次被用于这一领域。研究人员提到,在使用 2D 图像进行训练时,该框架始终可以比现有的模型生成效果更好的 3D 形状,这对于视频游戏开发人员、电子商务公司,以及缺乏创建 3D 模型经验的动画公司来说,称得上是“福音”。       

通常来说,训练这样的框架需要通过栅格化处理来进行微分步骤渲染,因此,过去研究人员在该领域的努力都专注于开发定制渲染模型。然而,通过此类模型处理的图像会显得不够真实自然,也不适合用于生成游戏以及图形产业的工业效果图。 

在实验过程中,研究团队为上述生成器采用了 3D 卷积 GAN 架构(GAN 是一个由两部分组成的 AI 模型,其中包括生成器,这些生成器使用分布式采样从随机噪声中生成合成示例,并将这些示例与训练数据集中的真实示例一起馈入鉴别器中,以尝试区分两者)。基于 3D 模型生成的数据集和真实的数据集可以合成来自不同对象类别的图像,并在整个训练过程中从不同角度进行渲染。

生成式对抗网络(GANS)在产生 2D 图像数据方面的成果令人印象深刻,许多视觉应用,比如游戏,都需要 3D 模型作为输入,而不仅仅是图像。但是,直接将现有的 GAN 模型扩展到 3D,需要获取 3D 训练数据。         

具体来说,研究人员试图利用功能齐全的工业渲染器,该渲染器可以根据显示数据来生成图像。为此,研究人员训练了 3D 形状的生成模型,以便渲染形状并生成与 2D 数据集分布相匹配的图像。生成器模型采用随机输入向量(代表数据集特征的值)并生成 3D 对象的连续体素表示(3D 空间中网格上的值),然后将体素输入到不可微分的渲染过程中,并在使用现有渲染器进行渲染之前将其阈值降低为离散值。

研究人员还表示,他们的框架还会从图像中提取照明和阴影信息,使其能够从每个训练样本中提取更多有意义的数据,并在此基础上产生更好的结果。在对自然图像的数据集进行训练之后,该框架可以生成逼真的样本。此外,该框架还可以利用表面之间的曝光差异来成功检测出凹形物体的内部结构,从而使准确地捕获凹形程度和中空空间。        

也就是说,这是一种新颖的代理神经渲染器直接渲染由 3D 形状生成模型生成的连续体素网格的方式。正如研究人员所解释的那样,在给定 3D 网格输入的情况下,需要对其进行训练以匹配现成渲染器的渲染输出。         

雷锋网(公众号:雷锋网)注:上图为微软模型生成的 3D 蘑菇图像