GAN再進擊！Nvidia打造視覺學習GameGAN，用看的就能模擬出經典遊戲小精靈

近日正逢懷舊電玩小精靈（Pac-man）問世40周年，Nvidia也發表了最新的對抗生成網路（GAN）研究成果GameGAN，可利用經典遊戲小精靈的玩家影片，在四天內就產出一套栩栩如生的小精靈遊戲（如下圖），不僅能讓使用者動手玩，遊戲中的規則、畫面等細節更不需任何程式碼來撰寫設計，等於不需要傳統的遊戲引擎支援，憑著GameGAN視覺學習就能完成。

近年來，Nvidia深耕GAN，在去年先後發表了如假包換的臉部生成網路StyleGAN，以及能將隨手塗鴉轉換成藝術大作的GauGAN。今年，Nvidia再度秀出新成果GameGAN，能靠視覺學習產生遊戲環境，比如小精靈遊戲的場景、規則等。

打造能視覺學習的模擬器

這款GameGAN由Nvidia、多倫多大學、加拿大AI研究院和麻省理工學院（MIT）聯手打造，他們在論文中指出，模擬（Simulation）是機器人系統的核心，但要打造出好用的模擬器，還需撰寫複雜的環境規則，比如，動態代理人該如何表現、代理人行為如何影響其他代理等。

為解決撰寫複雜規則的問題，團隊想出一個方法，要透過觀察代理與環境的互動，來打造模擬器。團隊首先從遊戲下手，利用8個月時間，開發出一套生成式模型GameGAN；這套模擬器，將動畫遊戲視為現實世界的環境，可透過玩遊戲的影片和鍵盤操作，來訓練、模擬出一套遊戲，甚至產生新的關卡。

進一步來說，GameGAN由三大部分組成，首先是一個動態引擎，來維持內部更新的變數，再來是一個外部記憶模組，來記住模型所產生的畫面，保持一致性。也就是說，當遊戲中代理人按一個按鍵，GameGAN就會渲染（Render）、產生下一個螢幕畫面，而記憶模組可建立環境內部地圖，因此當代理人回到之前經過的地方時，畫面就能保持一致。最後一部分則是渲染引擎，可在每個時間實體（Instance）中，對輸出的影像進行解碼。

用4天4個GPU來學習5萬支影片

接著，團隊利用5萬支小精靈的遊戲影片，以及Nvidia DGX系統來訓練GameGAN。這些影片共有上百萬個畫面，內容包括了玩家操控小精靈的畫面，而GameGAN就觀看這些影片，從中學習遊戲規則，比如精靈吃到大力丸時，幽靈會變色、反向逃跑等。這個方法，不需要傳統的遊戲引擎支援，也能建立一套完整的遊戲。

此外，在訓練過程中，GameGAN的渲染引擎還會學習從動態元件中（如吐火的幽靈），拆分出靜態元件（如背景或藍色的牆）。這個作法，還可讓開發者替換背景，比如和馬力歐玩小精靈，或是在自己喜歡的場景中玩遊戲。

Nvidia多倫多研究實驗室主任Sanja Fidler提到，團隊開發完GameGAN後，只用了4天和4個GPU，就成功訓練出小精靈遊戲，還能讓使用者動手玩。此外，她也分享了開發過程中的趣事，「一些訓練影片來自很厲害的亞洲玩家，所以最初GameGAN產生的小精靈，幾乎都不會輸。」

但她也坦言，GameGAN產生的小精靈，還沒辦法模擬原版小精靈的音效。

下一步：開發機器人模擬系統，加速自動化發展

「模擬器是訓練機器人系統的核心，但開發模擬器非常耗時。」Sanja Fidler解釋，模擬器可用來開發夾取物件的倉庫機器人、自駕車、送貨機器人等，讓機器人在其中學習現實世界的物理定律。但也因為這樣，開發者要寫許多規則來打造模擬器，比如物體如何互動、光線如何表現等。

她認為，GameGAN可望解決這個問題，透過觀察代理人與環境的互動，來模仿代理人行為，開發者不必再撰寫複雜的規則，來開發模擬器。

不需要底層遊戲引擎，Nvidia AI查看遊戲歷程就能重建Pac-Man遊戲

Nvidia所開發的人工智慧模型GameGAN，可以透過查看遊戲歷程，就能重新創造出Pac-Man遊戲，這樣的結果讓原本遊戲開發商BANDAI NAMCO都震驚。這個研究的價值在於人工智慧可以透過觀察習得規則，而不需要了解遊戲底層，這個應用可以擴展到機器人或是自動駕駛應用。

GameGAN是生成對抗網路（Generative Adversarial Network，GAN），透過生成網路和判別網路兩個互相競爭的神經網路，進行學習並創建出新的內容。而Nvidia的GameGAN則可在經過5萬回遊戲訓練之後，不需要底層遊戲引擎，就能生成完整的Pac-Man遊戲，也就是說，即便一開始人工智慧不了解遊戲的基本規則，也能夠透過觀察學習，理解遊戲的規則。

BANDAI NAMCO研究人員Koichiro Tsutsumi提到，在看到結果的時候他們很驚訝，人工智慧可以在沒有遊戲引擎的情況下，重新創建他們具代表性的Pac-Man遊戲，而這項技術有許多潛在可能性，對遊戲產業來說，可以提升遊戲開發人員創建新關卡、角色，甚至是遊戲本身的速度。

Nvidia研究人員使用BANDAI NAMCO提供的訓練資料來訓練GameGAN，人工智慧可以追蹤虛擬世界，並且記住已經生成的內容，在影格與影格之間維持視覺的一致性，Nvidia提到，無論應用在哪種遊戲中，生成對抗網路都可以從遊戲歷史記錄學習遊戲規則，BANDAI NAMCO所提供的5萬回訓練資料，包含了遊戲畫面錄影的數百萬影格，以及按鍵記錄資料。

經過訓練的GameGAN模型，會產生環境的靜態元素，諸如一致的迷宮形狀、點以及大力丸（Power Pellets），另外也會產生像是幽靈或是小精靈等動態元素。遊戲規則就像是原始遊戲一樣，小精靈無法穿牆，隨著移動會吃掉點，在吃到大力丸的時候便可以反吃變成藍色的幽靈等。

目前開發各種自動機器人必須仰賴模擬器，像是讓倉庫機器人學會抓握，或是讓送貨機器人學會在指定的路線上運輸物品，Nvidia提到，創建模擬器是一個耗時的工作，開發人員必須要撰寫有關於物件在環境中互動的規則。

而Nvidia的這項研究提供了一種更簡單的可能性，訓練神經網路來取代人類編寫的模擬器，例如在自駕車的應用上，可透過汽車上的攝影機，紀錄道路環境和駕駛員行為，讓模型預測駕駛員在各種情況下的動作，並在發生意外事故時，即時作出反應。