宋徽宗向你眨眨眼要说话小伙用AI让古画

近日,“人工智能还原的宋代皇帝”喜提热搜,博主

大谷Spitzer借助人工智能技术修复出一段3分多钟的宋代皇帝视频,使得宋代皇帝的纸质版画像动态还原,皇帝们甚至还有些调皮,时而眨眼睛,甚至想开口说话。

随后他又发布了8位明清皇帝的还原视频,引来各位皇帝的现代粉丝团打卡感叹,“皇帝们的真实颜值一代比一代高”“看到古画变成了动画,恍惚有一种穿越感”。而更多网友留言求还原古代四大美女和各代皇后等人,在美国做游戏开发工作的大谷接受扬子晚报紫牛新闻记者采访时表示,后续有这方面计划。

“看着皇帝们‘动’起来,仿佛穿越”

大谷发布的人工智能还原的宋代皇帝和明清皇帝的视频,除了呈现出神奇的动态皇帝外,还科普了不少文史知识点。

比如“宋代皇帝”这个视频里有宋太祖、宋太宗、宋哲宗和宋徽宗。关于宋太祖,其关键词是“杯酒释兵权”和“手搏状元创始人”,从古代肖像中还原出来的宋太祖的鼻子、眼睛和嘴唇都会动,还会点头。视频还列举了宋太祖的多位影视扮演者,而AI在匹配寻找中发现,最相似的四位演员分别是陈建斌(40.42%)、林明哲(21.43%)、林佑星(17.94%)、陈希光(15.86%)。视频还配了一段陈建斌饰演宋太祖时电视剧里的台词:“果然,不假”。网友笑说,真是相当应景。

宋太祖画像还原前后对比

宋哲宗在经过人工智能还原后,被认为是“最帅的宋朝皇帝”。他10岁即位,但英年早逝,是北宋寿命最短的皇帝。与他相关的影视资料几乎没有,但是AI在匹配多位明星资料后认为,孙亦沫、陈汉典、谢霆锋和张涵予等四位演员与他的相似度最高。

宋哲宗的人工智能还原图与画像资料

另外,大谷还用人工智能还原了宋徽宗,一位被龙椅耽误的艺术家,北宋知名画家、书法家、诗人和收藏家,擅长古琴、蹴鞠等,自创“瘦金书”字体。

网友们纷纷表示,视频根据博物馆里的古画还原出动画的效果,看着一位位皇帝“鲜活”地动起来,恍惚有一种穿越感。还有网友发现,宋朝皇帝的颜值是一代比一代高,可惜大方脸和大勾鼻子还是遗传了下来。

老朱家的皇帝也还原了几位

就在大量网友留言要看老朱家的皇帝后,大谷第二天发出他早就做好的“人工智能还原的明清皇帝”视频,包括了朱棣(永乐帝)、朱高炽、朱祁镇、朱由检(崇祯帝)、康熙、雍正、乾隆、光绪、以及富察氏孝贤纯皇后。

不少网友表示,老朱家这几位果然很富态,简直是憨厚,视频里为朱高炽配的关键词是:“心宽体胖,是个走路都需要两个太监搀扶的大胖子,热爱南京,还想迁都回南京,当了29年太子,在位仅十个月。”另外,有网友说,朱祁镇一看就是一个很佛的人。

心宽体胖的朱高炽复原像

大家也发现,清朝皇帝一般都很高瘦,脸颊也都小小的。乾隆皇帝一生挚爱的富察皇后不愧是“白月光”,修复出来的长相不仅美丽而且温柔。

人工智能修复后的富察皇后形象

宋朝皇帝有大头照很适合修复

大谷告诉记者,此前用人工智能修复年前的影片以及兵马俑时就有很多网友粉丝留言说,他们想看古代皇帝的样子,甚至“大禹治水”“夸父逐日”“盘古开天”等神话人物的样子,“我想到了先通过人工智能脸部生成技术加以还原,再加上动态效果,相结合后就有了这两期的视频。”

因为皇帝们的现存资料会相对多一些,大都有当时的宫廷绘画作品,所以大谷先从这个题材着手。他告诉记者,前期的准备工作就是去找比较清晰的皇帝画像和艺术作品,在寻找中他发现,宋朝皇帝的人工智能复原最可行。

“我从一些馆藏品里看到,宋朝皇帝的画像图很有特点,有固定格式。不仅有全身的,还配有一个局部放大的头像,然后旁边有文字批注。”大谷发现,头部大特写非常符合人工智能修复的要求,用AI从这些作品中提取人脸,再进行人工智能还原。

精修中的宋徽宗

“另外,因为宫廷剧是重要的影视题材,所以我也想到了修复好各位‘皇帝’后,再找出曾经影视剧里的扮演者,智能比对他们的相似度,会相当有趣。”于是大谷的第二个准备工作,就是查每一位皇帝在影视资料中都由哪些演员扮演过。这个工作量挺大,影视作品的时间跨度也长,所以很费时间。记者看到,他罗列出了十多部涉及宋太祖的影视作品,从这些作品里找到了角色图,选取出好的角度,将这些图片导入到专门进行人脸识别的人工智能里进行识别。

皇帝的胡须等需要手动补上

听大谷介绍整个过程,似乎不怎么难,只是比较费工夫,但大谷表示,其实还原过程里他用到了很多工具,甚至用了不少绘画技法。

大谷告诉记者,从古画里人工智能还原后生成出来的结果,如果直接放到视频里,效果并不好,“我需要用手绘的技能来做一些融合,这时候就用上了我的绘画技法,我把人工智能生成的人物脸部,贴到原版的皇帝画像当中,再给画的边缘做些许模糊,这样写实的部分和手绘的部分能够比较完整地融合,看起来就有了整体感。”

另外,人工智能生成脸部后,有些地方也需要补色、补形状,比如有些明代皇帝是有胡须的,就一小撮,在嘴的下边,这种在人工智能生成当中,是很容易被漏掉的,就需要他人手工绘制上去。

明朝永乐皇帝朱棣的复原像

动态生成要实现历史凝重感是很难的

“你们也看到了,这些皇帝们的面部是有表情的,是动态的,嘴巴和眼睛都会动,这个底版其实来自动态的我本人。”大谷笑说,这是一大难点,叫动态生成。

他用摄像头录了自己的动态影像,然后把动态影像转到生成的写实人脸上,“这一步的失败率其实很高,我在其中一个视频的结尾放了多个NG镜头,对比一下就会发现,如果尺度把握不好,会失真和夸张,会变成不严肃和搞笑影片的效果,这不是我需要的效果,我希望尽量还原,有那种历史的凝重感。”动态生成这一步,大谷经过了反反复复的测试。

值得一提的是,各位皇帝与扮演明星的匹配,对网友来说,很有亲切感。大谷在这方面使用到了中科院研发的AI面部识别开源项目seetaface,并参照了知乎上一位大佬的教程。大谷先制作出一个本地小软件,然后把演员和生成皇帝的人脸数据等导进去,比对后输出反映相似度的百分比数据。

“很欣慰大家在交流中爱上了历史”

皇帝们的人工智能还原视频,得到了网友们非常热烈的反响,也让大谷收获了非常多的感动,“很多网友都爱看书,他们对这些皇帝的历史资料,甚至性格特征都很熟。甚至有网友说,如果宋哲宗没有英年早逝,可能西夏会被他灭掉,中国历史有可能发生改变。”

而且最令大谷吃惊的是,这些皇帝在今天都仍有粉丝团,比如宋徽宗就有一个“艺术粉丝团”,因为他本身算是一个大艺术家,很多粉丝喜欢他的作品,留言里面很多人在聊他的作品。而他发布的明清皇帝视频,因为有张国立、唐国强等演员,而且明清皇帝本来就很有知名度,所以大家的共鸣和互动就更多。

康熙皇帝的人工智能复原像

与影视剧中形象相似度比对

“我发现,这样的修复对科普还挺有作用。”令大谷欣慰地是,很多网友在这种娱乐性很强的交流中学到了历史知识。“相当于给大家打开了一扇窗户,可能个网友中会有1个人借此对历史产生了兴趣,会去特地查看了解人物背后的故事,这是一个好的开端,我也起到了抛砖引玉的作用。”

面对网友们在评论里点名的其他人物修复,比如古代四大美女、历代皇后等历史人物,大谷说,他都会记录下来,未来有机会将尝试制作。




转载请注明:http://www.aierlanlan.com/grrz/3157.html