论文略读: LLaMA Pro: Progressive LLaMA with Block Expansion

ACL 2024

  • 人类通常在不损害旧技能的情况下获得新技能
  • ——>论文提出了一种用于LLMs的新的预训练后方法
    • 包括Transformer块的扩展
    • 仅使用新语料库调整扩展块,以高效而有效地提升模型的知识,而不引发灾难性的遗忘

  • 在代码和数学语料库上进行实验,得到了LLAMA PRO-8.3B
    • 初始化自LLaMA2-7B,在一般任务、编程和数学方面表现出色
    • LLAMA PRO及其遵循指令的对应模型(LLAMA PRO - INSTRUCT)在各种基准测试中取得了先进的性能

最近更新

  1. Oracle(15)什么是索引(Index)?

    2024-07-10 20:06:03       0 阅读
  2. CSS 的@media规则,响应式的一种解决方案

    2024-07-10 20:06:03       0 阅读
  3. MySQL

    MySQL

    2024-07-10 20:06:03      0 阅读
  4. C++中的atomic:原子

    2024-07-10 20:06:03       0 阅读
  5. Nacos 面试题及答案整理,最新面试题

    2024-07-10 20:06:03       0 阅读
  6. 【Unity】RPG2D龙城纷争(十五)特殊加成型要诀

    2024-07-10 20:06:03       0 阅读

热门阅读

  1. 开源软件项目的崛起:机遇、挑战与个人成长

    2024-07-10 20:06:03       6 阅读
  2. Electron 跨平台桌面应用开发工具

    2024-07-10 20:06:03       8 阅读
  3. 【linux】linux的特殊符号

    2024-07-10 20:06:03       7 阅读
  4. Rust:常见 GUI 框架

    2024-07-10 20:06:03       8 阅读
  5. 【C++ 】中类的成员函数和析构函数的作用

    2024-07-10 20:06:03       7 阅读
  6. HTTP与HTTPS详解及其请求与响应报文的查看方法

    2024-07-10 20:06:03       12 阅读
  7. Postgres 与 MapLibre 实时位置共享

    2024-07-10 20:06:03       8 阅读
  8. NestJs实现各种请求与参数解析

    2024-07-10 20:06:03       9 阅读
  9. AHK的对象和类学习心得

    2024-07-10 20:06:03       8 阅读
  10. Spring中常见知识点及使用

    2024-07-10 20:06:03       8 阅读
  11. Uniapp的简要开发流程指南

    2024-07-10 20:06:03       7 阅读
  12. LeetCode //C - 204. Count Primes

    2024-07-10 20:06:03       7 阅读