8萬億訓練數據,性能超LLaMA-2,英偉達推出Nemotron-4 15B
文章來源:AIGC開放社區
圖片來源:由無界AI生成
英偉達的研究人員推出了Nemotron-4 15B。這是一個擁有150億參數的大語言模型,並基於8萬億文本標註數據進行了預訓練。
在數學、多語言分類和代碼等測試評估中,Nemotron-4 15B在7個領域中的4個超過了所有現役同類大小的開源模型,並且在其他領域中也表現出了優秀的性能。
技術報告地址:https://arxiv.org/abs/2402.16819
Nemotron-4 15B架構
Nemotron-4 15B使用了標準的Tr...
文章來源:AIGC開放社區
圖片來源:由無界AI生成
英偉達的研究人員推出了Nemotron-4 15B。這是一個擁有150億參數的大語言模型,並基於8萬億文本標註數據進行了預訓練。
在數學、多語言分類和代碼等測試評估中,Nemotron-4 15B在7個領域中的4個超過了所有現役同類大小的開源模型,並且在其他領域中也表現出了優秀的性能。
技術報告地址:https://arxiv.org/abs/2402.16819
Nemotron-4 15B架構
Nemotron-4 15B使用了標準的Tr...
280天前