《微软飞行模拟》用AI还原15亿建筑，出现王宫变写字楼bug

晓查 发自 凹非寺

量子位 报道 | 公众号 QbitAI

全球最大的仿真游戏《微软模拟飞行2020》本周正式上线。这款游戏还原了全球200万个城镇、15亿座建筑物和3.7万个机场，让玩家感受到真实世界里开飞机的感觉。

知名游戏评测媒体IGN给它打出了满分10分。

《微软模拟飞行2020》体积巨大，安装文件就有90GB，这还仅仅是飞机数据和基本世界数据。

此外，其他城市的3D图像和机场数据全部需要从微软服务器下载，总共用到了2000TB的必应地图数据。

那么微软是如何用2000TB的数据来对真实世界建模的呢？显然靠人工是不可能的，他们选择了和一家AI公司合作。

其中之一就是来自奥地利的初创公司Blackshark.ai，该团队仅有大约50人，却借助着AI和云计算资源，从2D图像重建了世界各地的15亿座建筑物。

微软为何与这家AI公司合作

微软为何选择这家公司合作原因有两个方面：

首先，Blackshark所在的城市格拉茨原来有个微软地图团队，他们开发了第一批街景和3D版本的必应地图。

虽然谷歌在地图方面赢得了市场，但是必应的3D地图却强于谷歌。之后微软又在此地成立了一个研究中心，留下了大量人才。

其次，Blackshark公司脱胎于游戏工作室Bongfish，后者开发了《坦克世界：前线》、《Stoked单板滑雪》等知名游戏。Stoked第一个360度建模高山运动游戏。

后来，他们在开发《坦克世界》的时候意识到，像以前开发Stoked那样建造一个庞大的3D地图，然后手工防止每个岩石是不太现实的。

从此Bongfish开始建立内部AI团队，使用了机器学习技术来构建一个系统，让它和设计者学习如何构建地图。

一个偶然的机会，Blackshark公司CEO Michael Putz遇到了来自微软的人，这个人正在寻找一个工作室来帮助微软开发新的飞行模拟游戏。两人一拍即合。

重建3D建筑并不容易

但Putz表示，很难从2D地图重建3D建筑，即使弄清楚建筑物的轮廓也不容易。

“我们在飞行模拟器中所做的基本上是先查看2D区域，然后找出建筑物的占地面积，这实际上是计算机视觉任务。”

Putz举了一个简单的例子：

“建筑物可能会被一棵树的阴影所遮挡，这样一来，就不再清楚建筑物的组成部分是什么，因此我们需要机器学习完成建筑的其余部分。”

虽然Blackshark也能够依靠其他一些数据，包括照片、传感器数据和现有地图数据，但它必须基于很少的信息来确定建筑物的高度和其他某些特征。

搞清楚建筑物轮廓后，下一个问题是计算建筑物的高度。如果存在现有的GIS（地理信息系统）数据，那么这个问题很容易解决。

对于世界上大多数地区来说，这些数据根本不存在或不容易获得。该团队将根据2D图像中的阴影等信息寻找提示。

但是，要根据阴影确定建筑物的高度，需要拍摄照片的时间点，而必应地图的图像并没有加时间戳。

Putz指出：“机器学习的方法略有不同。例如摩天大楼和购物中心，两者的屋顶都是平的，但是摩天大楼上的屋顶摆设与购物中心的屋顶不同。当我们以正确的方式标记它时，将有助于AI学习。”

然后，如果系统知道这个区域内购物中心的平均高度通常为三层，则可以使用该高度推测出其他建筑的高度。

仍有bug

虽然微软飞行模拟2020获得了10分好评，但是用机器学习方法来恢复3D建筑数据，不可能避免地产生bug。而且地标和桥梁无法使用AI生成，因此需要手动构建。

从8月18日上线以来，仅仅不到一周的时间，已经有多位玩家发现了一些奇怪的建筑。

比如，墨尔本出现212层高的摩天大楼，实际上当地没有这么高的楼，有人指出可能是系统将当地的尤里卡大楼高度估计错误。

就是将一般建筑的风格套用在一些地标建筑上。

英国女王居住的白金汉宫变成了90年代风格的办公楼：

△ 图片来自BBC

美国的华盛顿纪念碑也变成了狭长的摩天大楼：

位于佛罗里达州的一个橄榄球场变成了房顶种满草皮的办公楼：

微软表示，将会修复这些bug，逐渐完善这款游戏。即便如此，《微软模拟飞行2020》仍然是世界上最逼真的模拟器。

未来或用于自动驾驶

像《刺客信条》或《GTA》这样具有庞大世界的游戏大作，往往需要上千人来开发，将来可能很难继续扩展。Putz认为，需要更多的自动化才能做到这一点。

而且Blackshark还有着更大的愿景，他们与微软之外的其他公司合作，围绕自动驾驶模拟重建城市场景。

Blackshark目前关注的另一个领域是飞行模拟器中未使用的点云，该公司计划使用AI系统分析点云，找出建筑物的层数。

普茨指出，虚幻引擎就是一个游戏出圈的例子，该引擎最初只是用于游戏，如今已遍地开花。

微软的飞行模拟游戏具有很大的借鉴意义，游戏技术也许未来将在其他行业发挥重要作用。

参考链接：

https://techcrunch.com/2020/08/17/meet-the-startup-that-helped-microsoft-build-the-world-of-flight-simulator/

https://www.theguardian.com/games/2020/aug/21/melbourne-fawkner-suburbia-users-poke-fun-at-microsoft-flight-simulator-glitches