揭秘美图影像实验室:数据、算法和一件关于美的事

2018-08-02 22:42 未知

  每天清晨,全世界不同时区的女孩儿们依次醒来,洗脸、化妆或是不化妆、吃早饭、上班或是去上学。这些女孩儿中有不少人会用美图推出的不同应用自拍,生成大约 2 亿张照片。这些照片有的去了瑕疵,有的加了滤镜,有的干脆添了妆容。不同的手指按下同一个「发送」键,照片们就出现在不同的社交平台上。

  你很难说清这些照片有什么用。它们既不像传统的旅行照记录「到此一游」,也不像证件照充满了功利。这些照片更像一种自我暗示和面向广袤世界的宣示——我们存在,我们拥有美。

  饺子是美图影像实验室(MTLAB)北京地区负责人。在这个制造「魔镜」的人看来,「美是一种选择」,既不能强迫他人接受,也不能接受他人的强迫。美是无解的。

  自成立以来,美图影像实验室的研究成果几乎改变了美图软件、硬件中所有功能。一键美颜、实时美妆,或是时下相当流行的美图秀秀手绘功能,都有这个实验室的功劳。

  饺子笑了笑,「看到自己的技术用在产品中效果非常好,很有成就感,但可能并不会经常自拍。应用和技术之间,是不同的两回事儿。」

  如今已有 60 余人的美图影像实验室行事相当低调,在搜索引擎上似乎很难找到相关信息。作为首次采访到美图影像实验室的媒体,希望机器之心能让你对「神秘」的实验室和这份关于美的事业多一分了解。

  亚麻、香草金或者冰蓝,只要在屏幕上轻轻一点,所有人都能立即改变自己的发色。

  但在实验室的研究员们看来,这项令人惊叹的「染发」功能,纯粹是技术上的分割问题。

  左一为原图,可以选择较自然的色彩如亚麻色,也可以选择更夺目的色彩如莓粉色

  「一张照片,头发有的亮有的暗,头发和围巾很像甚至有时候纹理也很像。背景是黑的头发也是黑的,和头发连在一起的眉毛也是黑的,那怎么办呢?我们就需要克服这些问题。」

  目前,负责「克服问题」的美图影像实验室有大约 60 多位研究员,分布在北京、厦门、深圳。位于美图总部的厦门实验室是最老也是最大的团队,主要提供人脸技术、美颜技术、3D 技术和性能优化;北京实验室更偏向计算机视觉,包括视频技术及深度学习;深圳则是与智能硬件相关的影像算法。

  这样的设置自然有吸引人才的考量。深圳有华强北,硬件创业氛围好、相关人才也多,有利于美图手机的迭代研发;北京是全国最大的人才集散地,又有众多高校学府,很适合招揽人才;厦门自 2010 年时就诞生了实验室雏形,有着深厚的技术积累。

  「这不单单是美图的问题,很多公司都是这样。」饺子显出某种技术人员独有的认真,讲述起实验室的「解决方案」。

  每周,不同地区的实验室都会通过远程会议系统一同召开会议。除了例会,还有定期的论文分享会、主题分享会。论文分享需要每个人介绍一系列文章,讲清内容、问题、自己的理解和未来应用的可能,然后大家共同探讨;主题分享会则由组员讲述近期正在做的、和他人不同的工作,不仅要讲明内容、逻辑清晰,还要应付观众提问,共同提升批判性思维的能力,「和读博士差不多」。

  同时,这些内容提前会写成博客——美图在内部建立了一个技术博客,任何人都可以评论和编辑、添加新内容。各次分享会的内容、研究中发现的成果都发布在博客中,即使新人入职也能马上学习新技能,其他人遇到问题也能在博客上寻找解决方案。

  「这也是我们实验室民主化的一部分,技术分享同样可以提高实验室的整体效率。」

  自 2010 年从开发团队中剥离,到 2014 年正式成立,实验室如今已是美图最重要的部门之一。

  比起开发团队,实验室更像研究院,不过与研究院不同的是,研究员们关注的内容既要包括前沿技术,也要顾及实际需求。如果有新人入职,第一件事就是将一个项目从头跟到尾,不仅要清晰流程,还要解决最实际的问题、面对最严格的产品经理和最真实的用户需求。

  大头贴是美颜相机中最火的功能之一。这个至今已被使用了 7.9 亿次的功能,是产品经理日本考察时发现的需求。在日本游戏中心相当流行的大头贴机,几乎每个前来游玩的女孩子都想尝试一次。与中国的大头贴机不同,日本的大头贴机不仅自带磨皮美白、放大眼睛的美颜效果,还可以选择不同的美化功能,甚至是拉长双腿。

  不过想要在软件中实现这些效果,不少在技术上尚且无法满足。研究员们第一时间告知产品经理能达到的效果,最终折衷成目前已上线的功能。而那些没能被满足的需求,不少已经变成了实验室长期研究的课题。

  除了对产品和用户更加了解的产品经理,也有不少需求直接来自实验室。钻研技术中碰到哪个点刚好会产生不错的效果、感觉用户可能会喜欢,实验室也会和产品经理讨论是否加入到产品中。前面提到的染发功能,就是其中之一。

  一个需求需要多长时间才能实现?除了规划的「死线」和工程适配的流程,更具决定性的是「效果」。在采访过程中,饺子反复强调美图对效果的严苛,「如果产品要求很低当然可以做得很快,但这取决于美图价值观,我们要为用户提供最好的效果」。甚至不希望用户注意到他们在背后的努力,「一点,头发就变色了,用户感觉很方便就足够了。」

  作为基础的 MTFaces,包含人脸检测、人脸关键点检测和人脸属性分析,可以了解用户的年龄、性别,为后续的美颜和上妆提供支持;MTSegmentation 是图像分割技术,可以准确找到照片中头发、皮肤、身体的位置;MT3DTech 可以通过一张自拍照重建人脸 3D 模型;MTRestoration 则是画质修复,光线不好、有噪点或者被压缩,都可以一键恢复。

  综合技术是多种技术的融合,比如 MTBeauty 包含图像美化和人像美化;MTStyles 风格化技术则是时下最流行的迁徙技术,能够给图像赋予风格;MTPhotos 可以通过人脸识别和图片标签管理照片;基于人脸检测技术 MTMakeup,通过美图独有人脸网格技术实现实时的视频和图像上妆。

  在这些被划分的技术背后,深度学习功不可没。运用传统方法进行皮肤分割,准确率往往低于 80%。深度学习则可以让 MTSegmentation 的准确率达到 98.5%,以保证在磨掉小斑点、小细纹的同时,不会将衣服、头发磨平。MTRestoration 也离不开深度学习,机器之心也曾报道过相关的应用案例。

  在具体应用上,美图的深度学习有什么特点?在饺子看来,美图影像实验室的优势还是在 to C 的场景和拥有的数据:「有多少层、用了什么样的结构,取决于应用场景。美图软硬件产品为我们提供了很多 to C 的应用场景,这可能是其他平台提供不了的。」

  除了最为人熟知的美图秀秀,美图的产品线还包括美拍、美颜相机、美妆相机、潮自拍、BeautyPlus 等等。截至 2016 年 10 月 31 日,美图应用的月活跃用户总数约为 4.56 亿,核心影像应用当月产生约 60 亿张照片。据相关调查统计,在中国主流社交网络上传的照片中,有约 53.5% 的照片经过了美图应用的处理。

  庞大的数据为美图带来无可比拟的优势,「图像、视频都在向深度学习靠,但深度学习拼到底,很多时候是要靠数据。」

  都是自拍照,会不会面临数据结构单一化的问题?美图获得的数据目前的确以自拍照为主,「但食物、风景这些都是有相当比例的,我们的产品也不全是在人脸上做的。美拍上还有视频,这些都是我们技术上独一无二的优势。」

  美拍是美图「产品矩阵」中不可忽视的一部分,目前其视频观看量已超 79 亿,月点赞数为 46 亿次(2016 年 10 月数据)。在美拍中,「激萌表情」是相当流行的功能,用户可以实时为自己加上兔耳朵、猫鼻子、甚至直接把自己的脸变成小猪的样子。

  3D 已经成为时下最重要的技术之一。去年 10 月,Angelababy 曾在微博上发布了一张万圣节上妆照,网友纷纷留言「孕妇不要搞这些花样」、「怀孕还化妆」,事实上这张照片是由美图秀秀「万圣节妆容」功能自动生成的。以假乱真的逼线D 技术脱不开干系——通过一张 2D 自拍照重建人脸 3D 模型。「万圣节妆」其实是一款 3D 妆容,立体贴合造就了真实的「假象」。

  很快美拍还将上线D 功能,除了在直播的同时自然的放大双眼、添加妆容,还可以添加 3D 兔耳朵、耳机或是卡通魔镜。早在 2015 年 1 月,美图就已战略投资专注 AR 核心技术和产品研发的亮风台,并成立了联合实验室。

  谁来衡量「用户喜欢」的标准?美图内部设有专门的「设计特效」团队,会对技术结果进行反馈。作为专管效果的「产品经理」,他们更了解美的标准和用户的标准是什么。

  可是作为专注影像技术的实验室,为什么很少在数据集测试中看见他们的身影?「首先,美图没有通过 PR 获得资本市场认可的压力;另外,美图习惯于用产品说话,我们公司很多功能非常实用,好用到理所当然。」

  对于美图来说,爱美的用户们是最苛刻的「数据集」,为用户提供更好的体验就是探索技术的动力。

  但也并非完全不理会,实验室正考虑在测试数据集和论文身上分散些精力。目前实验室已经尝试了 FDDB 人脸检测数据集,美图的 MT-Face-v3 在大部分阶段表现都是最佳之一。

  接下来,美图会在技术上增加不少投入。在去年美图赴港 IPO 招股书中提到,未来两年预计投入 3.27 亿港元(人民币 2.90 亿元,占所得款项净额的 6.6%)用于扩大研发能力,包括但不限于招聘工程师、数据科学家、分析师及收购技术相关知识产权。目前美图已注册超过 300 项专利,并持有 94 款软件程序的著作权。

  自文艺复兴时代起,艺术家们就在想方设法为自己留下自画像。1513 年达芬奇用红色粉笔画下自己晚年的样貌,透过画纸向未来的观众投以深邃目光;伦勃朗通过镜子描绘自己的样貌,右手执笔的他自画像几乎都向左倾;1998 年,梵高的最后一幅自画像《Self-Portrait without beard》拍出 7150 万美元的天价,是历史上第四贵的画作。

  第一张用相机拍摄的自拍照诞生于 1839 年,Robert Cornelius 打开摄影机,在镜头前坐了足足一分钟。到了 2014 年,Twitter 上转发量最高的的照片,是艾伦和詹妮弗·劳伦斯、布拉德·皮特等明星的自拍照。

  随着时间流逝,人类的自拍史不断变化,承载自拍的手段和技术也在不断进化。「美本身是没有错的,大家都喜欢,但标准不一样。我作为男生不太喜欢磨皮,拍出来精精神神就好了,更喜欢用潮自拍加滤镜。」

  作为在这一过程中提供技术基础的美图影像实验室,不会强调「磨皮就是美」、「不磨皮就是美」,而是希望通过人工智能把「工具」做得更好,为每个人提供不同的美的体验。

  就连实验室也不自觉的向这一目标靠拢靠拢,「我们的愿景,是让世界变得更美。」

  满足自我欣赏也好,追求他人认可也罢,在弄清「人们为什么会自拍」这个亘古难题之前,不妨把它当作一种人类的本能行为。也许自拍的合理性一直都在,只是我们没有足够的技术去实现。移动设备的出现和类似美图应用的崛起,让自拍已经从一件「奇怪」的事变成新「常态」。当然,每个人都有选择是否自拍的自由。

  注:封面图为美图影像实验室在去年 12 月的 Siggraph Asia 上,向与会人员展示产品效果。