來源丨元宇宙簡史

編寫丨元宇宙簡史主理人 Fun

【元宇宙導讀】OpenAI 近日發布條件生成模型 Shap-E，可用來生成3D資產。據悉，該模型不像傳統模型只是產生一個單一的輸出表示，Shap-E 生成隱含函數的參數。這些函數可以被渲染成紋理網格或神經輻射場（NeRF），從而可以生成多功能的、現實的3D資產。

3D模型是現代科技和藝術的重要載體，它們可以用於遊戲、動畫、虛擬現實、3D打印等各種領域。

然而，要製作出一個高質量的3D模型並不容易，它需要專業的軟件、硬件和技能，以及大量的時間和精力。對於普通人來說，想要把自己的想法變成3D模型，成本非常大。

但是，如果有一種神奇的工具，可以讓你用一句話就能創造出一個3D模型，你會怎麼想？

你可以隨心所欲地描述出你想要的物體，或者根據自己的喜好來定製一些實用的東西。你甚至可以把你的文字轉化成真實的物品，比如打印出一個杯子或者一個玩具。

這聽起來像是科幻小說里的情節，但其實已經成為了現實。ChatGPT的母公司OpenAI，近日發布了一款名為Shap-E的條件生成模型，它就可以用來生成3D模型。

據悉，該模型不像傳統模型只是產生一個單一的輸出表示，Shap-E 生成隱含函數的參數。這些函數可以被渲染成紋理網格或神經輻射場（NeRF），從而可以生成多功能的、現實的3D模型。

01、Shap-E 是什麼？

Shap-E 是一個基於文本提示和圖像的3D資產生成模型。它能夠生成兩種不同的3D表示形式：紋理網格和神經輻射場。

紋理網格是一種用頂點、邊和面組成的3D物體表面表示方法。它們可以被賦予不同的顏色和紋理，從而增加視覺效果。紋理網格適合用於遊戲、動畫和其他需要高效渲染的場景。

神經輻射場是一種用神經網絡來表示3D場景中每個點的顏色和密度的方法。它們可以捕捉到細微的光照和遮擋效果，從而產生逼真的圖像。神經輻射場適合用於照片級別的重建和合成。

Shap-E 的創新之處在於，它可以直接生成隱含函數參數，而不是生成具體的3D表示形式。隱含函數是一種用數學公式來描述3D物體表面的方法。它們可以被轉化成任意分辨率和任意視角的紋理網格或神經輻射場，從而提供了更大的靈活性和多樣性。

02、Shap-E 是如何工作的？

Shap-E 的工作流程分為兩個階段：編碼階段和生成階段。

在編碼階段，Shap-E 使用一個編碼器將3D資產映射到隱含函數參數。編碼器是一個深度神經網絡，它接受一個3D資產（例如一個點雲或一個體素）作為輸入，並輸出一個向量，這個向量就是隱含函數參數。

在生成階段，Shap-E 使用一個條件擴散模型來生成隱含函數參數。條件擴散模型是一種基於擴散過程的生成模型，它接受一個條件（例如一個文本提示或一個圖像）作為輸入，並輸出一個向量，這個向量也是隱含函數參數。

通過這兩個階段，Shap-E 就可以根據給定的條件來生成3D資產。生成出來的隱含函數參數可以被渲染成紋理網格或神經輻射場，並显示在屏幕上。

03、Shap-E 相對傳統模型軟件有哪些優勢？

Shap-E不同於傳統的3D生成模型，它不是產生一個單一的輸出表示，而是直接生成隱含函數的參數。這些函數可以被渲染成紋理網格或神經輻射場（NeRF），從而可以生成多功能的、現實的3D模型。

- 同時支持兩種不同的3D表示形式：紋理網格和神經輻射場。這使得它可以適應不同的應用場景和需求；

- 直接生成隱含函數參數，而不是生成具體的3D表示形式。這使得它可以避免了分辨率、視角和拓撲結構等限制，並提供了更大的靈活性和多樣性；

- 快速地生成高質量和高複雜度的3D資產。根據論文中的實驗結果，Shap-E 在訓練時收斂得更快，在測試時達到了更好或者相當於其他模型（例如Point-E）。

04、Shap-E 主要應用場景有哪些？

Shap-E 作為一款創造性和實用性兼備的3D生成模型，有着廣泛的應用前景：

- 遊戲開發：快速地設計出各種風格和主題的遊戲角色、道具和場景，並且可以根據玩家喜好進行定製；

- 動畫製作：創造出各種富有表現力和想象力的動畫角色、物品和背景，並且可以根據劇情需要進行變化；

- 虛擬現實：構建出各種逼真和沉浸式的虛擬現實環境，並且可以根據用戶交互進行調整；

- 3D打印：將用戶輸入的文字或者圖像轉化成可打印的3D模型，並且可以根據用戶需求進行修改；

- 教育娛樂：提供一種有趣和富有創造力的學習方式，讓用戶通過文字或者圖像來探索三維世界，並且可以增加用戶對於幾何、物理和藝術等方面知識。

嚴正聲明：本文為元宇宙簡史原創，未經授權禁止轉載！內容僅供參考交流，不構成任何投資建議。任何讀者若據此進行投資決策，風險自擔。