Google Brain 最新技术:还原马赛克成清晰图像!
来源:风传媒
https://goo.gl/kqQfuf
https://www.inside.com.tw/wp-content/uploads/2017/02/589a98882c04d.jpg
在看不少片子的时候,往往在一些敏感部位打上了马赛克,固然呈现了朦胧美,但部分观众依然希望变得更加清晰。现在,Google Brain 在提升图片分辨率方面取得了突破进展。他们已经成功将 8*8(毫米)网格的像素马赛克转换成为肉眼可辨识的人物图像。
而真正能够提升低分辨率照片细节的最佳突破口就是神经网络。当我们被照片中所包含的像素资讯难倒的时候,深度学习能通过人类常说的“幻想”来增加细节。实质就是软件基于从其他图片中学习到的资讯对图片进行猜测。
Google Brain 的研究团队已经公布了“像素递归超分辨率”技术(Pixel Recursive Super Resolution)的最新进展,尽管结果看上去还是有点不完美,但是整个还原效果令人印象深刻。
下面是他们复原的效果案例之一:
右边图片是 32 x 32 网格的真实人物头像。左手边的图片,是已经压缩到 8 x 8 网格的相同头像,而中间的照片,是 GoogleBrain 基于低分辨率样片猜测的原图。
整个复原过程使用了两种神经网络。首先介绍的是调节网络(Conditioning Network),它将低分辨率照片和数据库中的高分辨率照片进行对比。这个过程中迅速降低数据库照片中的分辨率,并根据像素颜色配合一堆同类照片。
接下来介绍的是优先网络(prior network),它就会猜测那些细节可以作为高分辨率照片的特征。利用 PixelCNN 架构,网络会筛查该尺寸的同类照片,并根据概率优先对高分辨率照片进行填充。例如,在论文提供的例子中,提供的同类照片是名人和卧室,优先网络根据优先级最终确认了名人的照片。优先网络会在低分辨率和高分辨率照片中做出决定,如果发现鼻子的可能性比较大,就会选择鼻子。
接下来,两个神经网络的最佳猜测就会进行整合,最终形成的图像如下:
下面也是一些通过超像素技术变化的样本:
尽管技术没问题,但是未来可能会有非常可怕的应用。就像是波士顿马拉松爆炸案一样,不难联想到一些执法部门会滥用该软件来抓取嫌疑犯。分析型人工智能和图像技术的结合,在未来必然会经历一段漫长的调整过程。
通通给我下马?(误)