【笔记】从零开始大模型开发与微调:基于PyTorch与ChatGLM

从零开始大模型开发与微调:基于PyTorch与ChatGLM
2023.11.1版

介绍DL应用、大模型,ChatGLM

由清华大学自主研发,基于 General Language Model (GLM) 架构的一种最新型、最为强大的深度学习大模型。
1、经过约 1T 标识符的中英双语训练,辅以监督微调、对比学习、人类反馈强化学习等技术的加持
2、针对中文问答和对话进行了优化
3、开源的ChatGLM-6B 具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)

最近更新

  1. ubuntu版本升级命令记录

    2024-06-11 08:38:05       0 阅读
  2. Android_Android Studio 常用快捷键 for mac

    2024-06-11 08:38:05       0 阅读
  3. PyTorch tutorials:快速学会使用PyTorch

    2024-06-11 08:38:05       0 阅读
  4. Kotlin 数据类(Data Class)

    2024-06-11 08:38:05       0 阅读
  5. 乘积最大3

    2024-06-11 08:38:05       0 阅读
  6. MySQL中的隐式转换(Implicit Conversion)

    2024-06-11 08:38:05       0 阅读
  7. 什么是内存泄漏?如何避免内存泄漏?

    2024-06-11 08:38:05       0 阅读

热门阅读

  1. 【Python】易错点——数组;列表;内存分配

    2024-06-11 08:38:05       5 阅读
  2. NLP--朴素贝叶斯

    2024-06-11 08:38:05       5 阅读
  3. vue基础

    vue基础

    2024-06-11 08:38:05      3 阅读
  4. 归并排序!

    2024-06-11 08:38:05       5 阅读
  5. 开源项目学习(6)---- CMake 可执行文件生成

    2024-06-11 08:38:05       5 阅读