英伟达、Mistral AI 开源企业级大模型,120亿参数、可商用

全球AI领导者英伟达(Nvidia)和著名开源大模型平台Mistral.ai联合开源了,企业级大模型Mistral NeMo 12B。(以下简称“MN 12B”)

据悉,MN 12B一共有基础和指令微调两种模型,支持128K上下文长度,能生成文本、代码、摘要等,其性能比最新开源的Gemma 2更好。

基础模型开源地址:https://huggingface.co/mistralai/Mistral-Nemo-Base-2407

指令微调模型:https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407

图片

图片

MN 12B在多轮对话、数学、常识推理、世界知识以及编码方面表现出色,比谷歌开源的Gemma 2 9B、Meta开源的Llama 3 8B 性能更好。支持128K的上下文长度,能够更连贯、更准确地处理大量复杂信息。

图片

MN 12B以Apache 2.0许可证发布,允许企业、个人开发者进行商业化基础训练和微调。此外,模型采用FP8数据格式进行模型推理,极大减少了内存大小并加快了部署速度,同时没有任何准确性的降低。这意味着模型可以更好地学习任务,更有效地处理多样化的场景,使其非常适合企业级业务用例。

MN 12B作为NVIDIA NIM推理微服务的一部分,使用了NVIDIA TensorRT-LLM引擎的优化推理性能。这种容器化格式允许在任何地方轻松部署,为各种应用提供了增强的灵活性,模型可以在几分钟内部署在任何地方,无需耗费几天的时间。

在多语言方面,MN 12B支持英语、中文、法语、德语、西班牙语、意大利语、葡萄牙语、日语、韩语、阿拉伯语等主流语言,在MMLU等多语言基准测试中超过了同类开源模型。

图片

此外,MN 12B使用了一种基于Tiktoken的更高效分词器Tekken。该分词器经过100多种语言的训练,比之前Mistral模型中使用的 SentencePiece 分词器更有效地压缩自然语言文本和源代码。

尤其是在压缩源代码、中文、意大利语、法语、德语、西班牙语和俄语时,效率提升了大约30%。在压缩韩语和阿拉伯语时效率相比之前,分别提升了2倍和3倍。

Mistral AI的创始人兼首席科学家Guillaume Lample表示,Mistral NeMo结合了Mistral AI在训练数据方面的专长与NVIDIA优化的硬件和软件生态系统为各种应用场景提供了高性能。

本次与NVIDIA团队的合作,借助其顶级的硬件和软件,共同开发出了具有前所未有的准确度、灵活性、高效性的企业级大模型。

本文素材来源英伟达官网,如有侵权请联系删除

END

相关推荐

  1. (NVIDIA)和CUDA

    2024-07-23 06:46:01       58 阅读
  2. SSD视觉算法模型训练代码解析

    2024-07-23 06:46:01       30 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-23 06:46:01       142 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-23 06:46:01       156 阅读
  3. 在Django里面运行非项目文件

    2024-07-23 06:46:01       131 阅读
  4. Python语言-面向对象

    2024-07-23 06:46:01       141 阅读

热门阅读

  1. React/Vue项目解决跨域的方法

    2024-07-23 06:46:01       29 阅读
  2. 第五节shell脚本中的运行流程控制(3.2)

    2024-07-23 06:46:01       28 阅读
  3. 后端存储流程结构的思考

    2024-07-23 06:46:01       26 阅读
  4. 【DevOps系列】构建Devops系统

    2024-07-23 06:46:01       29 阅读
  5. 寻访安康茶韵,共筑乡村振兴

    2024-07-23 06:46:01       26 阅读
  6. 什么是服务器带宽

    2024-07-23 06:46:01       25 阅读
  7. 在VS IDE中搜索所有带有中文的字符串

    2024-07-23 06:46:01       31 阅读
  8. Python面试整理-字符串处理

    2024-07-23 06:46:01       23 阅读
  9. SQL中的函数

    2024-07-23 06:46:01       29 阅读