首页 >> 机械泵

从1小时到3.5分钟，Meta新方法一部手机搞定3D人脸数据采集

机械泵2024年02月29日

鱼羊发自凹非寺院

粒子位 | 公众号 QbitAI

搞定这样的图片3D仅学模型需几步？

在仅据集收集的阶段，回答是：；还有PDA + 3.5分钟。

理所当然，仅凭这3.5分钟的仅据集，就足以转化成独创、可驱动的相符3D图片半身像。

这项仅据分析来自Meta Reality Labs——就是扎克伯格元宇宙开发计划从前的那个两大部门。文章并未被SIGGRAPH 2022接收。

译者所述，这一分析方法适用于VR应用。

也就是却说，在VR的世界从前，以后你可能就不须顶着一张卡通书上漫画版了。

而是可以简便地与胖友们“真胁”相见。

分析方法原理

仅仅这一结果的分析方法框架如下图请注意：

具体而言，分为三个部分。

首先，是要用大型多视角图片仅据集集专业训练一个激互联网，这个激互联网可以通过神经互联网固件产生有为分属一个人的半身像变量。

仅据集密集所的图片由多视角捉到系统收集，包括255位有所不同年龄、性别和种族参与者的面部图像仅据集。

△左为图像捕获设备；右为收集到的图片

这个捕获3D图片的巨型装置是Meta在2019年研制出的，其中所配备171个高分辨率大屏幕，s能记录180GB仅据集。收集时长在1个小时近。

值得一提的是，在这个激互联网中所，固件的基本组成模块是十分相似bias map的时域上采样层。

这些bias map会被用来转化成体积单元，进而通过射线追踪来CGI半身像。

另外，该固件本体尽可能将眼球与其他面部商业活动区分开，这在VR应用中所仅仅尽可能更直接地利用眼动跟踪系统。

其次，是轻量级图片笑容捉到。

在这项仅据分析中所，收集图片只需用到；还有十分相似深度大屏幕的智能PDA。

科学仅据分析中所，仅据分析其他部门采用的是iPhone 12。

收集全过程就像这样：

收集到的仅据集要进行时如下处理：

给与每一帧图片图像中所的几何形状和平滑；对回传的RGB图像进行时图片标志检测和人像再分；对模板网格进行时拟合和弯曲，以匹配检测到的图片标志物、再分轮廓和深度图；对每一帧图像的平滑进行时解包，而后汇总得到完整的图片平滑。

在进一步完善模型的全过程中所，还需收集65种特定的笑容：

最后，该分析方法输出的3D图片半身像不仅能与浏览器外型离地匹配，通过全局笑容空间，还能对其进行时进一步的驱动、高度集中。

仅据分析其他部门表示，整个收集全过程大概要花费3.5分钟。

不过需却说明的是，仅学模型的全过程不是同步的，仅据集处理还要花费仅小时的时长。

科学仅据分析结果

却说了这么多，效果如何，我们还是来看科学仅据分析结果。

与Pinscreen明确声称的“一张剧照构建3D仅字化胁”（CVPR 2021）的分析方法相对来却说，该分析方法能转化成更具相符感的图片模型。

而与海德堡学院、慕尼黑工业学院、劳氏所等仅据分析机构在Neural Head Avatars from Monocular RGB Videos一文中所明确声称的分析方法相对来却说，该分析方法能转化成保真度较低的结果。

不过，译者也声称了该分析方法的局限性：hold不太住头发和太阳眼镜，很难产生伪影。另外，该分析方法对于变色必须也有一定要求。

参考资料链接：[1]文章：[2]Demo：_TMD7v0Xs

— 完 —

粒子位 QbitAI · 头条号签约