NVIDIA創始人兼首席執行官黃仁勛在GTC 2024主題演講上表示：下一波 AI 浪潮將是 AI 對物理世界的學習。

當下，全球範圍內價值超過50萬億美金的行業正在競相實現数字化，数字孿生技術正在賦能千行百業。NVIDIA Omniverse 中國區業務負責人何展表示，AI正在進入物理世界。每一棟建築、每一個倉庫、每一個工廠，都將實現AI化，並持續優化。新一代的数字孿生更需要使用数字化的技術、模擬世界的技術，來訓練和測試AI。

生成式 AI 有望徹底改變它所觸及的每一個行業，掌握技術是迎接挑戰的關鍵。而我們想要的AI一定是值得信賴的、高性能的，這樣級別的AI，需要在一個遵守物理定律的数字孿生世界中進行模擬、驗證和仿真。

來聽NVIDIA英偉達的專家們聊聊，如何將物理世界模擬和AI融合在一起。

一、NVIDIA的“三大靈魂”

今年的GTC主題演講上，黃仁勛說：“計算機圖形學、物理學引擎模擬仿真和AI是NVIDIA的靈魂所在。”

1、計算機圖形學

眾所周知，NVIDIA是靠圖形學起家的。何展表示，不誇張地說，幾乎每一位NVIDIA的員工都以此為傲。利用NVIDIA的底層技術，開發者們可以將現實世界中每一個真實存在物品，都極度逼真地渲染及模擬出來。

2、物理世界模擬技術

有了可以以假亂真的計算機圖形學技術，做出了好的数字資產，要真正賦能到應用，還缺一個要素——物理世界模擬技術。

來看兩個例子，一個是從宏觀的世界去模擬，一個是在極其微小的粒子世界里做模擬技術，以賦能應用。

通過Omniverse渲染引擎模擬粒子爆炸的實際情況，運用大量的計算去模擬真實的粒子分析，並且加速了很多倍，以呈現真實的效果。

微觀世界分子結構異常複雜的設計也需要模擬，且物理準確模擬非常重要。一個簡單的例子，如果模擬精準度不夠真實，那麼我們今天的靶向藥物治療等方式，就都是無效的。

3、AI技術

過去幾年，AI技術的變革顛覆了眾多行業。有了AI的加持，Omniverse也帶來了全新的功能和體驗。

怎樣通過AI技術快速構建一座数字孿生工廠？首先用2D的PDF圖紙，通過文字描述生成3D結構，用到的工具是NVIDIA的DeepSearch，可以通過深度學習的方式檢索出你想要的模型資產，並放置在数字孿生環境中。接着調用SA軟件BlenderGPT，通過文字生成工廠系統。再用Adobe通過文字生成大理石地面。然後通過其他軟件生成GIS數據，最終一個数字孿生工廠的Demo便完成了。

這一過程較傳統設計有了巨大的變化，無需操作其他軟件，只需通過文字和Omniverse便完成了這樣一個複雜的数字孿生製作過程。過去，如此複雜、專業的設計需要科班出身的設計師以及在工廠的實踐經驗才能完成。現在，NVIDIA提供的技術和平台可以讓每個用戶，只需輸入文字、會使用Omniverse的平台軟件，就可以完成。

這就是AI和Omniverse結合之後實現的全新設計流程。

以上，NVIDIA的三大靈魂，融合起來就是Omniverse。數據显示，Omniverse由超過300萬行的代碼編寫而成，在全球範圍內已經集成和整合了超過240款工具軟件。如今，Omniverse的数字孿生幾乎無處不在，涵蓋汽車、製造、媒體、建築、能源、科學運算仿真等等各行各業。

二、融合三大靈魂的 Omniverse能做什麼？

“三大靈魂”全部融合在一起，能做什麼？

全球氣候模型Earth-2，需要進行3D交互式的天氣和季候數據的数字孿生模型，不僅要訓練大量的數據，還要把它們数字化。在這個模型中，我們可以看氣象的走向、大氣河的流動，還能看到颶風，並且精確到1公里範圍內，以幫助人類預測它的準確路徑。充分應用了圖形學、物理世界模擬仿真，以及AI。

能否用“三大靈魂”分析更多事呢？如何把這些技術融入到真實的企業應用環境中至關重要。

每一個場站的布局背後都有很多的数字孿生模型，就像有一隻無形的手在操作，這個手就是AI Agents，輔助這個標點符號里每一個場站ARM小車最優的路徑，這就是物理世界和数字世界交互的一個非常生動的例子。

給一輛小車布一個最優路徑嘗試一下，再給它一個突發事件，看它如何實時調整路徑。假設這邊貨架突然倒塌，它能否及時調整路徑？可以看到，ARM小車不但重新規劃了自己的路徑，路過時還對AI Agents說：“我感覺出現問題了，你趕緊去處理。”這個過程背後技術的複雜程度其實是非常高的，同時需要数字孿生模型、AI和算力。

而隨着各行業競相將自己重塑為軟件驅動的科技公司，每個領域的生成式AI也都如雨後春筍般興起，3D數據正在實現互操作性，高級圖形學以及從邊緣到雲的仿真計算能力的進步，都為各行業的物理流程数字化帶來了全新機遇。

三、仿真工作流 加速AI訓練

今年GTC上，Omniverse帶來的最大更新便是Omniverse Cloud API，把Omniverse放到雲端，提供一個應用程序編程接口API，讓開發人員可以將Omniverse最核心的技術直接集成到已有的應用層和工作流中。

Omniverse不僅可以幫助全球工業企業加速自動駕駛車輛、人形機器人、智能倉儲、大規模智慧城市等工作流程，Omniverse Cloud API，更將為基於AI的数字孿生仿真工作流的訓練、模擬，以及后階段的部署帶來全新加速。

隨着全球自動駕駛汽車和機器人需求的不斷增加，AI開發人員可能需要更多的傳感器數據來進行訓練、測試、驗證這些AI的感知系統，而這些感知系統可以通過傳感器模擬方式去實現一個合成數據的1:1数字孿生世界，在Omniverse構架的虛擬世界里進行訓練、測試、仿真、驗證等。這些合成數據都需要物理上非常精確的、符合物理定律的渲染。

AI是如何在虛擬世界中進行訓練的？

AI和仿真最重要的是軟件在環（SIL）和硬件在環（HIL）。將所有機器人、自動駕駛汽車、自主移動設備、傳感器全部仿真放在Omniverse里，環境、場景都是實時渲染出來的，以實時喂料的方式餵給機器人的傳感器，傳感器看到的數據是假的，傳感器本身也是虛擬出來的，汽車傳感器看到的畫面也是合成數據。把虛擬傳感器捕捉到的數據，和汽車傳感器得到的數據融合在一起，放在数字孿生里渲染，稱之為SIL。將SIL里訓練好的模型，部署到硬件設備上，再做物理的路測或環境測試，叫做HIL。做強化學習的時候，要確保學習環境是真實有效的，訓練好的模型也是真實有效的，最後再到物理世界去部署。

最終，機器人系統、AI和Omniverse形成了技術閉環。

四、Omniverse登錄Apple Vision Pro

全球最受矚目的兩家科技巨頭攜手，NVIDIA與Apple一起，把Omniverse帶到了Apple Vision Pro中去，將許多3D工作流尤其是工業環境下的数字孿生的工作流遊戲化，打破了傳統的工業工作流程。

Omniverse里的GPU是頂尖的RTX GPU，三大核心點：1.傳統着色的部分，可以用來做像素的渲染，確保畫面是美輪美奐的；2.光線追蹤加速，用包裹體便利的方式去做實時光線追蹤，延遲更低，幀率更高，與用戶的互動性也更強；3.Tensor，RTX GPU里有針對張量運算的tensor運算，還可以加速AI的訓練，如大模型、GenA、neural graphics、NeRF等，都可以用AI去運算。

在雲端Omniverse API連接各種應用程序，基於USD或OpenUSD打通数字資產之間的連接和調用，再通過RTX GPU強大的算力和符合物理定律的實時光線追蹤完成畫面渲染，最後呈現在Apple Vision Pro用戶眼前的就是真實的3D空間場景。

Omniverse強大的空間計算帶來的全新工作流，使得設計師可以在Apple Vision Pro里實現沉浸式體驗，以及人、產品、流程與物理空間之間的無縫互動。在MR里設計出的虛擬產品將與物理世界中的實際產品一模一樣，所見即所得，想想都令人興奮。

結語：

波士頓諮詢公司（BCG）對企業最高管理層的調查显示，近四分之三的管理者計劃在今年增加公司的技術投資，89% 的管理者將 AI 和生成式 AI 列為前三大優先事項中。超半數的企業希望利用 AI 提高生產力、改善客戶服務和提升 IT 效率，以實現降本增效。

“AI已經進入了物理世界。未來將是可生成的。”