全球最強「開源版Gemini」誕生！全能多模態模型Emu2登熱榜，多項任務刷新SOTA

巴比特_智能边界380天前

原文來源：新智元

全球最強「開源版Gemini」誕生！全能多模態模型Emu2登熱榜，多項任務刷新SOTA

圖片來源：由無界 AI‌生成

最強的全能多模態模型來了！就在近日，智源研究院重磅發布了開源界的「Gemini」——Emu2，一口氣刷新多項SOTA。

過去的18個月里，我們見證了AI領域許多重要的時刻。

Llama、Alpaca等眾多開源模型競相發布，不僅與閉源模型的性能相媲美，同時為每個人提供了投身AI的機會：

- 2022年8月，Stable Diffusion問世，讓DALL·E的神秘光環不再遙不可及，每個人都能夠召喚出自己的数字達芬奇；

- 2023年2月，Meta的Llama及其後續的語言模型大軍，讓ChatGPT的獨角戲成為群星爭輝；

- 2023年12月6日，Google DeepMind揭開多模態巨星Gemini的面紗。

僅僅兩周后，智源研究院便發布了最新一代生成式多模態開源模型——Emu2。

很快，這一開源多模態領域的工作便引起了國際社區的廣泛關注，並登上了HN熱榜第三。

Emu2在HackerNews榜單上引發關注

HuggingFace 大V AK轉發

據悉，這一模型即將推出更輕量的版本，讓技術玩家也在本地運行。

Emu2，通過大規模自回歸生成式多模態預訓練，顯著推動了多模態上下文學習能力的突破。

Emu2在少樣本多模態理解任務上大幅超越Flamingo-80B、IDEFICS-80B等主流多模態預訓練大模型，在包括VQAv2、OKVQA、MSVD、MM-Vet、TouchStone在內的多項少樣本理解、視覺問答、主體驅動圖像生成等任務上取得最優性能。

Emu2模型和Flamingo、GPT-4V、Gemini等模型能力對比情況一覽

「開源版Gemini」來襲

相較2023年7月發布的第一代「多模態to多模態」Emu模型，Emu2使用了更簡單的建模框架，訓練了從編碼器語義空間重建圖像的解碼器、並把模型規模化到37B參數實現模型能力和通用性上的突破。
與此同時，依然採用大量圖、文、視頻的序列，建立基於統一自回歸建模的多模態預訓練框架，將圖像、視頻等模態的token序列直接和文本token序列交錯在一起輸入到模型中訓練。
值得一提的是，Emu2是目前最大的開源生成式多模態模型，基於Emu2微調的Emu2-Chat和Emu2-Gen模型分別是目前開源的性能最強的視覺理解模型和能力最廣的視覺生成模型：
- Emu2-Chat可以精準理解圖文指令，實現更好的信息感知、意圖理解和決策規劃。
- Emu2-Gen可以接受圖像、文本、位置交錯的序列作為輸入，實現靈活、可控、高質量的圖像和視頻生成。
現在，Emu2的模型、代碼均已開源，並提供Demo試用。

項目：https://baaivision.github.io/emu2/

模型：https://huggingface.co/BAAI/Emu2
代碼：https://github.com/baaivision/Emu/tree/main/Emu2
Demo：https://huggingface.co/spaces/BAAI/Emu2
論文：https://arxiv.org/abs/2312.13286

多項性能刷新SOTA

通過對多模態理解和生成能力的定量評測，Emu2在包括少樣本理解、視覺問答、主體驅動圖像生成在內的多個任務上取得最優性能。
在少樣本評測上，Emu2在各個場景下顯著超過Flamingo-80B，例如在16-shot TextVQA上較Flamingo-80B 超過12.7個點。