首页 > 应用 > 关键词 > Prisma最新资讯 > 正文

AI修图艺术:Prisma背后的奇妙算法

2016-07-30 09:53 · 稿源:雷锋网
文章目录

Prisma的应用下载评论区看到这么一句好玩的话:世界一半人在用《PokemonGO》抓精灵,另一半人在用这个软件修图。

  图像编辑软件早就数不胜数,比如胶片风的VSCO,拼图美颜的拍立得、美图秀秀,二次元卡通的魔漫相机、脸萌,自拍美颜的PICSPLAY、美颜相机,主打滤镜相机的Roookie Cam、MIX滤镜大师等等,这些现象级产品在这个快速迭代的时代层出不穷, 那么Prisma凭什么在这样的环境下杀出重围?连俄罗斯总理梅德韦杰夫都特地“翻牌”了。

  首先,Prisma不是简单地在原图上转换色调或者环境风格,也不只是利用普通的滤镜来改变图像的光线、颜色或者重叠图片,它会根据你提供的图片内容和你要求的风格图片的样式重新“画出”一张新的图片,它并不一定使你变美,但它一定让你遇见全新的自己(如下,左一为原图)。

  那么,Prisma与人工智能算法Neural art到底怎么回事?Prisma与CNN的具体结合、生成图片的过程又是怎样的呢?

| Prisma与人工智能算法Neural art

Prisma的所做的风格转换是机器视觉领域一直在研究的一个问题,称为texture transfer (纹理转换),其目标为将源图片的风格合成进目标图片中同时保留目标图片的语意内容

  本质上来说,将图片的内容和风格分离并不一定是一个定义明确的问题 (Well-defined problem),这是因为并不能准确定义出图片中的哪部分属于内容,哪部分属于风格,很有可能内容与风格是交织在一起,没有办法进行分离。

  所以图片的内容和风格是否可以完全分离这还是一个待解的问题,如果可以,那么用什么样的方法呢?

  • Prisma背后的技术

  Prisma背后的技术基于一篇今年CVPR oral文章 “Image Style Transfer Using Convolutional Neural Networks”。

  其实早在Prisma引爆大众市场的半年前,此方法的巧妙及其惊人效果已经引起在学术界引起了广泛关注。众所周知在如今的人工智能领域引起革命的深度学习技术已经将众多任务推向了实用的水平,而Prisma用的技术也不出意外的基于深度神经网络,它的系统核心是利用神经表征来分离,再组合随机图片的内容和风格,以此来实现一个可用来描绘艺术图像的算法它的基本想法是利用一个多层的卷积神经网络(CNN)抽象出给定绘画作品里一些高级的隐藏特征用来模仿绘画风格,并把这个绘画风格应用到一个新的图片上。

  而在纹理转换领域,之前传统方法之所以没能取得这么惊人的效果,其本质原因在于之前非深度学习的方法只能获取到目标图片低层次的图片特征,这导致这些方法无法独立的对图片的语意内容和风格的变化进行有效地建模,从而无法很好地对两者进行解耦和合成。

  而深度神经网络之所以可以在众多领域中取得惊人效果,正是由于其可以抽取出高层次的信息表征。Prisma所使用的方法之所以能成功,就是很巧妙地利用了深度神经网络抽取高层图片表达的能力,能在几十秒内把一张普通的照片转变成一副极具艺术特色的现代画作或者西方名画风格作品。

  • 奥妙在哪里?

  下面将采用论文中的两个示意图完整剖析其中的奥妙。

  正如上文所说,风格转换需要对图片的内容和风格进行单独地表示,上图中的分别将源图(风格提供方)和目标图(内容提供方)输入到由多层卷积层和池化层组成的深度神经网络中。对于目标图直接使用卷积的响应在每一层中进行重建,可视化的结果为红色框中的结果,可以看出在低层的重建图像几乎和目标图一致,而越高层网络重建出来的图像的一些细节的像素被丢弃而那些图片高层次的语意内容被保留。而源图计算每一层的卷积的特征图(feature maps)的相关系数来重建出风格的特征表示,从绿色框的可视化结果可以看出,这种抽取风格表示的方式在不同网络层成功提取出不同尺度的风格特征。

上图讲解了深度神经网络如何对风格和内容表示进行单独的建模,接下去就可以使用监督学习的深度神经网络进行风格的转换了。

  图中左右两边的网络用于抽取源图的风格表示和目标图的内容表示,而中间的网络用于对风格进行合成,论文使用的是白噪声图片作为启始图,思想是通过左右两个网络提供的风格和内容表征进行监督学习,使得输入图片每一层抽取出来的风格表征和高层抽取出来的内容表征和左右两个网络相应网络层重建出来的表征越来越一致,如此通过标准的随机梯度下降算法,不断迭代使得白噪声图片变成最终想要的合成图。

  使用数学表达去描述上述思想就是需要构造一个损失函数(红框所示),此损失函数是由风格损失项和内容损失项两者线性组成,其中alpha和belta分别代表风格和内容的权重比例,若alpha/belta高则生成图会更凸显出内容而风格化会少一些,低则生成图会风格化强烈但是内容被稀释,这也是Prisma提供用户调节的原理所在。(风格损失项和内容损失项的具体细节可以参见论文。)当有了损失函数,就可以对图像向量求解梯度,进而使用后项传递算法就可以对输入的图像不断进行更新从而进行风格转换(绿框所示)。

  另外,通过在提取图像风格特征之前先改变图像的大小,可以通过控制-style_scale参数该从图像中提取哪种艺术特征。(三幅图像从左到右,-style_scale=2.0、1.0、0.5)

  除此之外,Prisma还可以使用超过一种风格图像来混合多种艺术风格。(下图分别为:“The Starry Night” + “The Scream”, “The Scream” + “Composition VII”)

或者在使用多个风格图像的时候,可以控制混合的程度来呈现不同的图像类型。

  还可以在保留颜色的前提下改变图像风格,比如说,如果你设置参数-original_colors 1,系统输出的图片会保留原图的颜色(如下图)。

  以上就是Prisma背后的全部技术原理,当我们剖析一下发现其实里面的原理并不复杂,对于熟悉深度学习的人来说,不出一周就可以复现出其中的算法。

但最重要的是体会到此算法成功的核心在于利用了深度学习网络对于高层语意信息的表达能力,同时巧妙的构造出损失函数,其他的就只是顺水推舟的使用深度神经网络进行求解而已。

| 利用AI算法修图虽酷,但Prisma也有一定的缺陷

  比如说,一定要在有网络状态较好、网络较快的状态下才可以使用顺畅,因为需要在线加载绘画风格图像以及用户提供的内容图片需要发送到远程的服务器上进行人工智能计算后再传回来,所以,相对其他修图软件,它的图片编辑速度慢很多,一般都需要等待几十秒才可以看到预览效果。

另外,因为所有的图片处理都是在云端完成,所以会有少部分用户遇到使用人数过多,服务器过载的情况。

| 一样使用深度学习,deepart.io为何不像Prisma一样火?

  在Prisma出现之前,也有过一款基于深度学习技术的修图应用:deepart.io,但是deepart却无法取得像Prisma一样的成功。

 一方面在于其处理一张图片需要消耗大量的的GPU时间,导致了很多服务器资源开销,如果用户愿意承担这部分费用,处理时间在半小时左右,如果不捐助的话,需要6个小时左右;

 

另一方面,deepart主要是由大学的研究员做的技术性实验,并不会投入过多的精力,在风格图像类型、品牌推广和商业化应用上考虑较少。

  而Prisma通过优化了算法,相对缩短了一大部分的操作时间,并且用户不需要到网页提交照片、不需要注册即可免费使用35种不同绘画风格的滤镜,在这个移动互联网的时代,这样的移动App更受大众欢迎。

  最近,Prisma推出了Android版,这无疑会带来更大的用户量,日活跃度有可能超越200万人次。据透露,“视频滤镜”已经进入内测阶段,大约在一周后会发布,此外,还有可能会推出“GIF艺术滤镜”、“视频直播”等功能,创造出“流动的油画”。

  还记得在两年前,波兰画家兼导演dorota kobiela以及奥斯卡获奖制片人hugh welchman开始筹备一部专门向梵高致敬的手绘油画电影《loving vincent》,近百名画师经高强度训练并每日模仿梵高风格,目前已完成超过 5.6 万幅绘画作品。在这部片里,每一幅静止的画都是模仿梵·高绘画风格的油画,电影每一秒都将用到 12 幅这样的画,然后一系列静止的画组合在一起快速播放,形成动态的效果。

  如果把Neural art的技术成功应用到视频上,这部梵高的电影再不需要如此高投入,甚至还“拍摄”任意绘画风格的电影,将电影与艺术糅合,把自己封印在艺术品里,是件很美的事,就像蒙娜丽莎,在达芬奇的画中,她的微笑是永恒的。人对美和永恒的追求,这也许是Prisma能这样迅速夺取人心的深层次原因。

  Prisma的意义在于以艺术的名义用流行的方式把深度学习的能力展现给了大众。虽然如今众多的人工智能公司使用AI技术去服务大众,但像Prisma这样如此火热的引爆大众对于如今人工智能技术的惊讶还十分少见。

  但我想这只是一个开始,人工智能技术正在向各个领域进发,无论是高科技领域如自动驾驶,机器人,还是一些偏门的领域,如艺术,社会公益,都会不断看到人工智能带来的实惠和惊喜。

  也许你第一次使用Prisma的时就被其效果深深的折服。我想说的是,你的惊讶才刚刚开始。


网友热搜:

  • 相关推荐
  • 大家在看
  • 智能变革:英特尔HPC高性能计算与AI人工智能解决方案和实例

    在竞争日益激烈的环境中,数据中心作为传统信息化的基础,伴随着全面AI时代与5G、物联网的不断临近,企业希望获得出色的模拟和建模、人工智能(AI)和大数据分析功能,以便取得突破性的发现与创新,而高性能计算(HPC)基础设施能够为这些工作负载带来优势。 企业如果想在相同的 HPC 基础设施中运行 HPC、大数据分析和 AI 工作负载,优化的资源调度降低计算成本需要一个全面的融合HPC和AI集群的解决方案。 英特尔? 精选解决方案基于英

  • 活久见!研究称人工智能大脑也需要睡眠休息

    人工智能要达到人类智力的水平还有很长的路要走,最新研究发现,但它可能想人类一样需要睡眠。美国洛斯阿拉莫斯国家实验室的研究人员在开发与人脑学习方式相似的神经网络时发现了这一现象。研究人员发现,人工大脑在连续自动化词典训练后变得不稳定。该技术包括对目标进行分类,而不将它们与现有的示例进行比较,而这相当累人。接着,研究人员试图通过让网络处在在噪音信号来解决这个问题,,这

  • 最强 AI 企业!RealAI 荣获机器之心「2020 人工智能金炼奖」

    2020 年春节,一场突如其来的疫情打乱了所有人的节奏,但对于人工智能行业而言,疫情更是一场“危”中有“机”的考验。尽管产业环境和经济形势异常严峻,但真正优秀的人工智能公司必然是“内功深厚”,拥有硬核的技术实力、强大的抗风险能力以及灵活有效的战略调整能力。疫情冲击反而衡量出这些企业的真实力,他们将成为接下来人工智能产业落地中的中坚力量,甚至可以代表人工智能发展的未来。为了寻找这些良好应对特殊时期的最强?

  • 榕树贷款:人工智能加速落地 赋能金融服务智能化

    近日,随着国内疫情形势逐渐可控,二十余个省市陆续明确开学时间。复课后,学校作为高峰段、高流量、高聚集的地点,是疫情防控的重要“战场”之一。目前的体温测量,多为工作人员手持测温仪进行单独检测,费时费力不说,精度较低,而且这种近距离、接触式测温还有交叉感染风险。要在短时间内安全有效地对大量学生进行体温监测及筛查,非接触式测温机器人提供了极佳的解决方案。 红外热成像测温机器人有着红外与人工智能技术的双向

  • 人工智能+大数据,新浪舆情通用更“智能”的数据助力决策

    人工智能技术的应用早已深入人们的生活,语言翻译、智能音箱、导航系统、城市安防系统之中都能有人工智能技术的参与,在推动国家治理、优化企业运营策略的过程中,也能见到人工智能技术的应用。近年来,政企机构越来越重视聆听新媒体平台上的声音,并通过大数据分析和数据简报等方式挖掘信息价值,洞察民意以辅助自身决策。随着数字基础设施建设的逐步加速,互联网信息将成倍增长,并且以更复杂多样的形态和方式出现,人工智能技术

  • 编程猫CEO李天驰谈人工智能如何赋能教育

    【TechWeb】6月29日消息,编程猫创始人兼CEO李天驰受邀参加人民网联合全国高等学校计算机教育研究会举办的“共创智慧教育新生态”在线研讨会,就后疫情时代智慧教育建设分享了自己的观点。在谈及智慧教育如何落地、人工智能如何赋能教育方面,李天驰表示编程猫在普及人工智能教育以及编程教育上,发现在线教育在全国中小学落地,遇到的最大问题是缺少好的老师,为了解决在人工智能教育以及编程教育领域师资不匹配的问题,编程猫以

  • 工程师们为人工智能瓶颈提供了聪明、及时的解决方案

    莱斯大学的研究人员展示了设计创新的以数据为中心的计算硬件的方法,以及将硬件与机器学习算法共同设计的方法,这两种算法可以将能源效率提高两个数量级。机器学习是自动驾驶汽车和许多其他高科技应用背后的人工智能形式,它的进步开创了一个新的计算时代——以数据为中心的时代,并迫使工程师们重新思考75年来几乎没有受到挑战的计算体系结构的各个方面。电气与计算机工程助理教授林英彦(音)说:“问题是,对于目前机

  • AI落地最新前沿,达观数据携多款机器人新品将亮相世界人工智能大会

    备受关注的“ 2020 世界人工智能大会云端峰会”即将拉开帷幕。此次峰会由上海市政府主办。世界人工智能大会自从 2018 年以来成功举办了两届,伴随着上海人工智能产业发展从起步到壮大,已成为行业内具有一定国际影响力的品牌活动。本届大会在上海市经济和信息化委员会及相关委办局、区政府的指导下,国内文本智能处理领军企业达观数据携手浦东青联将举办“智能时代,‘语’你同行”行业论坛。 疫情之下,各行各业对线上自动化与?

  • 中关村数智人工智能产业联盟正式成立

    中关村作为我国高科技企业具体的重要载体,汇集了一大批在人工智能领域有引领地位的企业,在推动人工智能与经济社会各领域深度融合、加快传统行业数字化转型方面显现出良好的技术带动能力。为更好的发挥先进技术企业的带动和辐射作用,培育良好的人工智能产业生态,在中关村科技园区管理委员会的指导支持下,中关村数智人工智能产业联盟正式成立。 2020 年 4 月 9 日,中关村数智人工智能产业联盟(以下简称“联盟”)在北京市首钢?

  • 艾瑞:云测试——应用人工智能帮助企业降本增效

    撰写人: 王巍令、穆春阳关键词:云测试、人工智能导语:测试作为软件开发后到上线的最后一个环节,对于产品体验和质量,起着至关重要的作用。测试的发展先后经历了纯人工测试、工具化测试和云测试的三个阶段,目前,以深度学习为代表的人工智能技术与云测试紧密结合,可大幅提升测试的效率,降低测试的成本。测试行业的发展阶段国内测试企业服务主要经历了三个阶段:人工时代、工具时代、云测试时代。第一个阶段是人工测试时代,基本?

  • 人工智能人才紧缺,玖富数科集团践行国家战略培养AI人才

    如今,人工智能已经成为改善居民生活、促进区域经济发展的有力工具,但人工智能人才紧缺也成为正在面临的问题。而玖富数科集团已与高等院校、企业签约,在人工智能教育、研发等领域深入合作,培养优秀专业人才,助力国家人工智能高质量发展!人工智能人才紧缺,玖富数科集团践行国家战略培养AI人才玖富数科集团作为一家14年的数字金融科技企业,一直以来投入大量资金、人力研究人工智能技术应用,基于玖富超级大脑推出自主研发的、

  • 腾讯申请“人脸活体检测”相关专利 用于人工智能领域

    据天眼查数据显示,近日,腾讯科技(深圳)有限公司新增数条专利信息,其中之一为:一种人脸活体检测的方法、相关装置、设备及存储介质。专利摘要显示,本申请公开了一种人脸活体检测的方法,该方法应用于人工智能领域。本申请由于同时考虑人脸图像的三维几何信息和表面材质信息,从而能够辨识出人脸图像的真实性,有效地抵御不同的人脸活体攻击方式。

  • 百度:未来十年将继续加大在人工智能等新基建领域的投入

    DoNews 6月19日消息(记者 吴丽)6月19日,百度宣布未来十年将继续加大在人工智能、芯片、云计算、数据中心等新基建领域的投入。据悉,目前百度拥有涵盖北京、保定、苏州、南京、广州、阳泉、西安、武汉、香港等10多个地区的数据中心。未来五年,预计培养 AI 人才500万,为中国智能经济和智能社会的发展提供 AI 人才保障。未来十年,预计到2030年,百度智能云服务器台数超过500万台。目前,百度已经培养 AI 人才超过100万。与复旦?

  • 榕树贷款:深耕金融科技 探索人工智能应用新场景

    目前,全球许多国家都在积极推进垃圾分类分拣技术的发展,大力促进垃圾分类过程的机械化、自动化。 2020 年是“十三五”规划的收官之年,也是污染攻坚的关键一年。在日前结束的全国两会上,环境治理议题再次成为热点。随着疫情基本得到控制,经济建设正在回归“快车道”,如何实现绿色恢复也提上了议程。 6 月,一种集大数据分析功能、投口防夹手功能、满载警示预警、温度检测功能、便捷投递灯、定位等多种功能于一体的新型智能垃

  • 榕树贷款:人工智能大显身手 金融服务提质增效

    20 世界 50 年代末,人工智能的概念被首次提出,奠定了社会技术布局的战略架构。然而受限于算法和算力的不成熟,未能实现大规模的应用和推广。随着社会的发展,新一代的大数据、云计算、物联网等一系列突破性的成功因素,真正将人工智能发展成人类科技智慧的金字塔尖,展现出不可估量的巨大潜力。 我国一直高度重视人工智能在各行业的落地应用,先后出台了多项政策鼓励支持人工智能产业的发展。根据国际数据公司IDC的报告,未来 5

  • 外媒:韩国科技公司拟建立联盟 增强人工智能技术

    6月3日消息,据国外媒体报道,据业内人士周三透露,在韩国政府的倡议下,韩国科技公司正着手建立联盟,以增强人工智能(AI)技术。周三,韩国电信、LG电子和LG Uplus宣布,它们将打造一个名为“AI One Team”的开放式创新平台,这似乎是针对另一个具有竞争力的AI联盟(包括SK电讯、三星电子和Kakao)所采取的战略举措。这三家公司补充说,他们将合作开发一种人工智能解决方案,通过韩国电信的全球流行病预防平台,帮助

  • Adobe人工智能加持 拍照应用Photoshop Camera上架

    DoNews 6月11日消息(记者 刘文轩)Adobe去年发布一款名为“Adobe Photoshop Camera”的拍照应用,号称可以为你上传到Instagram的照片打造出与众不同的创意。现在这款应用已经在Google Play Store和苹果App Store上架了。和其他拍照应用不同的是,Photoshop Camera结合Adobe Sensei人工智能,自动分辨照片中的物体,并提供风格建议。这些滤镜可以应用到人像、食物、风景等画面的拍摄,比如给你的拍摄对象换个背景,或是把阴沉的天?

  • 人工智能上升为国家战略高度 玖富数科集团AI人才教育项目抢占高岭

    在人工智能上升为国家战略高度的大环境之下,如何培养出更高端的技术人才,将是企业、政府乃至国家层面需要考虑的问题,因为只有人才才是推动新技术发展的根本。值得一提的是,在高端技术人才培养这一方面,玖富数科集团一直以来均有独到见解,尤其是玖富数科集团本身就是一个数字科技型的企业,它对于人工智能的理解更透彻,自然,在技术人才的培养这一方面,亦能从更全方位的角度去统筹,并为更多同行带来启发。人工智能教育应从

  • 工信部公示《科技抗疫表现突出的人工智能企业》,普渡科技抗疫表现突出

    6 月 19 日,中国工业和信息化部科技司公布《在科技支撑抗击新冠肺炎疫情中表现突出的人工智能企业》名单(排名不分先后),以示对科技抗疫的人工智能企业的肯定和鼓励。普渡科技因用智能技术在防疫抗疫中发挥了积极作用,有效践行了企业社会责任,取得了良好社会效果,有效践行了企业社会责任,荣登本次名单前列。2020 年 2 月 4 日,工业和信息化部科技司向社会发布了《充分发挥人工智能赋能效用 协力抗击新冠疫情的倡议书》。普渡

  • 地处三市核心区,在稻谷人工智能产业园办公是一种什么样的体验?

    朋友,最近有没有肝“动森”?最近这款日本的休闲创造性小游戏刷爆朋友圈,游戏中的无人小岛,成为了当代年轻人对于理想工作和生活的寄托。游戏中的惬意悠闲,万物即刻拥有的特点,对比上朝九晚五,压抑麻木的工作生活,游戏生活让人羡慕,更让不少上班族心生向往。如果有一个机会,让你能楼上办公,楼下放松,仿佛身处花园森林,这样的办公地是不是也很有吸引力?森林式办公,工作亦是享受如今,刻板的办公场所成为了大众第一印象,

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议

热文

  • 3 天
  • 7天