马赛克黑科技画质 (人工智能去除马赛克有戏吗)

狂丸科学,每天涨点新知识

提起我的世界,很多人第一时间想起的一定是它那特殊的 像素风格游戏 画面。

马赛克我的世界画质,马赛克我的世界神器

可最近,知名的显卡商英伟达向我们展示了一种人工智能黑科技,名为 GANcraft 的算法能够直接将我的世界中的像素风格转换成 写实风格

马赛克我的世界画质,马赛克我的世界神器

从此,追求真实感的玩家们只需跑个程序,就能从游戏任意视角轻松渲染一个全新的逼真世界。

马赛克我的世界画质,马赛克我的世界神器

照这转换精细程度来看,人均 3D建模师 不是梦。

马赛克我的世界画质,马赛克我的世界神器

在GANcraft诞生后,还和人工智能领域已经存在的一些能够做到像素转真实的算法模型进行了对比。

马赛克我的世界画质,马赛克我的世界神器

我们可以看到,有些算法生成的画面总是在不停地闪动。这是因为它们一次只能生成一个画面, 没有学习3D物体结构的能力 。画面的每一帧都不是前后连续的,就像在*放播**一份每页毫无关联的幻灯片,没有观赏性可言。

马赛克我的世界画质,马赛克我的世界神器

而有的算法只有开头看着还可以,渲染一会就糊成一片,什么也看不出来了, 持久度 很成问题。

马赛克我的世界画质,马赛克我的世界神器

只剩下GANcraft的转换效果独树一帜,那它是怎么做到的呢?

马赛克我的世界画质,马赛克我的世界神器

这要从一种叫做 图像超分辨率 的算法说起,它类似于科幻片中,无限放大的监控摄像头把模糊的图片瞬间还原至超清晰这一神操作。

马赛克我的世界画质,马赛克我的世界神器

模糊的像素块瞬间聚拢,化成一张清楚的图片。

而我的世界这款游戏,显而易见,就是由 像素 组成的,于是还原的目标就从图像变为了动态的「世界」。

但是AI在学习图像超分辨率算法时,必须要有与之对应的 真实静态图像 ,而和动态的,甚至随机生成的虚拟游戏谈这个条件,显然不太现实。

因为我的世界中地形完全不讲道理,经常 雪原连着沙漠,海洋连着火山 ,没有参考图片给算法学习。

马赛克我的世界画质,马赛克我的世界神器

GANcraft的过人之处就体现在克服了这一困难,凭借 神经渲染还有模型架构训练方案 的创新,成功让我的世界在我们眼前真实了起来:

马赛克我的世界画质,马赛克我的世界神器

首先,算法将这一地图中的所有不同种类方块 打上不同的标记 ,比如水就标上S、土就标上T、木头就标上M。

马赛克我的世界画质,马赛克我的世界神器

然后设置 随机的 摄像机视角,有的可能向世界的东方望去,有的可能从天空向下俯瞰。

马赛克我的世界画质,马赛克我的世界神器

再运用现存的其他转换算法,先生成 对应的,质量较低的 现实世界图像。

马赛克我的世界画质,马赛克我的世界神器

其中每一个摄像机视角相当于 一对人眼 在观察这个世界,与此同时,他们会互相 检查 对方看到的像素块是否和之前打上的标记匹配,互相监督纠正,这样图片生成的错误率会降低。

摄像机在观察世界时,还会通过另外两种算法 告诉AI像素的位置和标记 ,从而在转换时更好地安排这些像素块的正确去向。

马赛克我的世界画质,马赛克我的世界神器

最后,AI经过计算把低质的图像和转换后的像素拼合起来,再搭配上特定的 视角参数 ,一个逼真的世界便生成完毕。

马赛克我的世界画质,马赛克我的世界神器

此外,GANcraft还允许用户 自行控制世界风格 ,明亮、阴暗、夕阳,一切随心调节。

马赛克我的世界画质,马赛克我的世界神器

目前GANcraft算法即将开源,随着游戏和真实的界线愈发模糊,我的世界或许很快就会变成AI的世界了。

马赛克我的世界画质,马赛克我的世界神器

我有一个大胆的想法

(文中图片素材来源自网络,仅供学习交流使用)