8万亿训练数据,性能超LLaMA-2,英伟达推出Nemotron-4 15B
文章来源:AIGC开放社区
图片来源:由无界AI生成
英伟达的研究人员推出了Nemotron-4 15B。这是一个拥有150亿参数的大语言模型,并基于8万亿文本标注数据进行了预训练。
在数学、多语言分类和代码等测试评估中,Nemotron-4 15B在7个领域中的4个超过了所有现役同类大小的开源模型,并且在其他领域中也表现出了优秀的性能。
技术报告地址:https://arxiv.org/abs/2402.16819
Nemotron-4 15B架构
Nemotron-4 15B使用了标准的Tr...
文章来源:AIGC开放社区
图片来源:由无界AI生成
英伟达的研究人员推出了Nemotron-4 15B。这是一个拥有150亿参数的大语言模型,并基于8万亿文本标注数据进行了预训练。
在数学、多语言分类和代码等测试评估中,Nemotron-4 15B在7个领域中的4个超过了所有现役同类大小的开源模型,并且在其他领域中也表现出了优秀的性能。
技术报告地址:https://arxiv.org/abs/2402.16819
Nemotron-4 15B架构
Nemotron-4 15B使用了标准的Tr...
279天前