【ECCV 2018】Facebook开发姿态转换模型,只需一张照片就能让它跳舞(视频)

原标题:用DensePose,教照片里的人学跳舞,系群众体育鬼畜 | ECCV 2018

原标题:【ECCV
2018】推特(TWTR.US)开发姿态转换模型,只需一张相片就能让它跳舞(录像)

栗子 发自 凹非寺

图片 1

图片 2

倒计时**10**天

如何让一个面朝镜头静止不动的二姐,跳起你为他选的跳舞,把360度身姿周密表现?

Facebook团队,把担负感知的三人姿势识别模型DensePose,与负责生成深度生成网络构成起来。

来源:ECCV 2018

不管是什么人的摄人心魄姿势,都能附体到四妹身上,把他单一的静态,变成丰裕的动态。

编辑:肖琴

图片 3

【新智元导读】DensePose团队在ECCV
2018登载又一佳作:密集人体姿态转换!那是三个基于DensePose的姿态转换系统,仅根据一张输入图像和对象姿势,生成数字人物的卡通片效果。

那项商讨成果,入选了ECCV 2018

DensePose 是 推特 钻探员 Natalia
Neverova、Iasonas Kokkinos 和法兰西共和国 INRAV4IA 的 CRUISERıza Alp 居尔er
开发的1个令人惊讶的躯体实时姿势识别系统,它在 2D 图像和身体3D
模型之间创建映射,最终实现密集人群的实时姿态识别。

理所当然不能够唯有DensePose

具体来说,DensePose 利用深度学习将 2D 冠道PG
图像坐标映射到 3D 人体表面,把1个人分开成许多 UV 贴图(UV
坐标),然后处理密集坐标,完毕动态人物的精鲜明位和神态估量。

团队把SMPL两个人态度模型,跟DensePose结缘到一同。那样一来,就足以用一个早熟的表面模型来通晓一张图纸。

图片 4

这项商量,是用基于表面包车型客车神经济协作成,是在闭环里渲染一张图像,生成各类新姿态。

DensePose
模型以及数据集已经开源,传送门:

图片 5

左为源图像,中为源图姿势,右为对象姿势

最近,该组织更进一步,发表了依据DensePose 的1个架子转换系统:Dense Pose Transfer,仅遵照一张输入图像和对象姿势,创设出
“数字化身” 的卡通片效果。

肖像中人索要上学的舞姿,来自另一人的相片,也许录制截图。

图片 6

DensePose系统,负责把两张照片涉及起来。具体方法是,在贰个集体表面UV坐标系
(common GALAXY Tab coordinates) 里,给两者之间做个映射

在那项工作中,斟酌者希望仅凭借基于表面(华为平板-based)的对象表示(object
representations),类似于在图纸引擎中动用的靶子表示,来博取对图像合成进度的更强把握。

但如果不过依据几何来变化,又会因为DensePose采集数据不够准确,还有图像里的小编遮挡
(比如肉体被手臂挡住) ,而显得不那么真实。

商量者关怀的要紧是人体。模型建立在近年的 SMPL 模型和 DensePose
系统的基础上,将这七个种类结合在一块,从而能够用一体化的表面模型来验证壹个人的图像。

图片 7

上面包车型大巴录像展现了愈多生成结果:

DensePose提取的材质 (左) vs 修复后的材料 (右)

具体而言,那项技术是因而 三星平板-based
的神经济协作成,渲染同1人的不等姿势,从而执行图像生成。目的姿势(target
pose)是经过二个 “pose donor”
的图像表示的,也正是引导图像合成的另1个人。DensePose
系统用于将新的相片与公共表面坐标相关联,并复制预测的外观。

那么,团队拍卖遮挡的措施是,在外部坐标系里,引入二个图像修复(Impainting)
网络。把那些互联网的前瞻结果,和1个更古板的前馈条件和成模型前瞻结合起来。

我们在 DeepFashion 和 MVC
数据集举办了尝试,结果表明我们得以博得比最新技术更好的定量结果。

那一个预测是各自独立开始展览的,然后再用一个细化模块来优化预测结果。把重构损失对抗损失感知损失组合起来,优势互补,得出最后的变型效果。

除开姿势转换的特定难点外,所提议的神经济合营成与
三星GALAXY Tab-based
的表示相结合的不二法门也有梦想化解虚拟现实和增进现实的更普遍难题:由于
GALAXY Tab-based
的代表,合成的进度越发透明,也更易于与物理世界连接。今后,姿势转换职责也许对数码集增强、操练伪造检查和测试器等接纳很有用。

图片 8

Dense Pose Transfer

完全的互连网布局,就像是上航海用教室那般。

商量人口以一种高效的、自下而上的方法,将各样人体像素与其在身体参数化的坐标关联起来,开发了围绕
DensePose 推测系统进行姿势转换的点子。

督察学习一下

作者们以二种补偿的艺术采纳 DensePose
输出,对应于预测模块和变形模块(warping module),如图 1 所示。

模型的监察学习进度,是那般的:

图片 9

图片 10

图 1:pose transfer pipeline
的大概浏览:给定输入图像和对象姿势,使用 DensePose 来执行生成进度。

从输入的源图像开头,先把它的各类像素对应到UV坐标系里。这一步是DensePose驱动的迁移互连网完结的。

变形模块使用 DensePose
表面对应和图像修复(inpainting)来变化人物的新视图,而估算模块是2个通用的黑盒生成模型,以输入和对象的
DensePose 输出作为规范。

然后,负责修补图像的自编码器,就来预测肖像中人的区别角度会是怎么样体统。那步预测,也是在回转的坐标系里完结的。

那多少个模块具有互补的亮点:预测模块成功地使用密集条件输出来为熟稔的姿势生成合理的图像;但它无法加大的新的架势,或撤换纹理细节。

发表评论

电子邮件地址不会被公开。 必填项已用*标注