【笔记】从零开始大模型开发与微调:基于PyTorch与ChatGLM

从零开始大模型开发与微调:基于PyTorch与ChatGLM
2023.11.1版

介绍DL应用、大模型,ChatGLM

由清华大学自主研发,基于 General Language Model (GLM) 架构的一种最新型、最为强大的深度学习大模型。
1、经过约 1T 标识符的中英双语训练,辅以监督微调、对比学习、人类反馈强化学习等技术的加持
2、针对中文问答和对话进行了优化
3、开源的ChatGLM-6B 具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-06-11 08:38:05       5 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-06-11 08:38:05       5 阅读
  3. 在Django里面运行非项目文件

    2024-06-11 08:38:05       4 阅读
  4. Python语言-面向对象

    2024-06-11 08:38:05       6 阅读

热门阅读

  1. 【Python】易错点——数组;列表;内存分配

    2024-06-11 08:38:05       14 阅读
  2. NLP--朴素贝叶斯

    2024-06-11 08:38:05       12 阅读
  3. vue基础

    vue基础

    2024-06-11 08:38:05      13 阅读
  4. 归并排序!

    2024-06-11 08:38:05       19 阅读
  5. 开源项目学习(6)---- CMake 可执行文件生成

    2024-06-11 08:38:05       17 阅读