多轮对话是大语言模型与人类互动的主要方式,广泛应用于消费娱乐、生产力工具和创意生成等场景。然而,构建多轮对话能力所需的训练数据人工标注成本高,且难以控制质量和多样性。因此,如何增强大模型的多轮交互能力,一直是业界一项重大技术挑战,其对于大模型研发和落地应用的重要价值不言而喻。
本文介绍了快手「快意」大模型团队和中国人民大学合作,在多轮指令跟随模型训练、数据合成以及评测上所做的系统工作 Parrot(鹦鹉)。Parrot 提出上下文感知的偏好优化策略,引入提问模型构建高质量的多轮指令跟随数据,从而提升大模型多轮指令跟随能力。
在相同配置下,Parrot 使用了约 40k 的训练数据(约为基线模型 Vicuna v1.5 的 32%),但相较于基线模型实现了约 7% 的绝对性能提升。该工作于近期被自然语言处理顶级会议 ACL 2024 录用为主会论文。
论文题目:
Parrot: Enhancing Multi-Turn Instruction Following for Large Language Models
论文作者:
Yuchong Sun, Che Liu, Kun Zhou, Jinwen Huang, Ruihua Song, Wayne Xin Zhao, Fuzheng Zhang, Di Zhang, Kun Gai
论文链接:
https://arxiv.org/pdf/2310.07301
多轮对话是人们与大语言模型(LLM)进行互动的主要方式,LLM 的多轮指令跟随能力是衡量其效果的关键指标。然而,目前业界大部分现有研究对于 LLM 在遵循多轮指令方面的能力——包括训练方法、训练数据集和评估基准都未给予足够的关注,这导致模型在单轮评测上表现良好,但在实际应用中效果不够理想。
这篇论文提出了 Parrot(鹦鹉)模型,一种旨在增强 LLM 在多轮交互中遵循指令能力的系统性方案。Parrot 创新的提出了上下文感知的偏好优化策(CaPO)、并基于训练提问模型来收集多轮指令微调数据,提升了 LLM 处理复杂多轮交互的能力。作者还建立了一个新的多轮基准测试 MT-Bench++,为量化评估 LLM 的多轮指令遵循能力提供了基准。
研究背景
多数开源的大语言模型(LLM)在单轮交互中表现出色,在一些评测基准上已经接近或超过了 ChatGPT、GPT-4。然而,在现实世界的应用场景中,用户与 LLM 通常需要进行多轮次对话来交换信息,模型不仅需要理解单一指令,还要在此基础上理解和遵循连续的指令。但是很多现有研究和评测基准都忽略了 LLM 在多轮指令跟随方面的表现,从而导致在实际应用中的模型效果不够理想。[5] 现有工作的不足主要表现在以下三个方面:
训练方法方面,大部分现有工作直接使用 SFT 对模型进行指令微调,这种方式没有针对性地对多轮指令上下文的复杂关系进行优化。尤其是模型在应对包含指代、省略等的复杂指令时,可能导致模型上下文理解能力不足或者产生上下文幻觉。
▲ 图1: Parrot-Ask 合成多轮数据
训练数据方面,现有的多轮数据集通常轮次很短,比如常用的 ShareGPT 约 60% 的数据都在三轮以内。一些合成的多轮数据集使用 ChatGPT 或 GPT-4 来模拟用户,并通过迭代式对话来收集多轮数据,但是这些合成的指令和真实用户指令的分布差异很大,特别是缺少如图 1 所示的真实用户对话中的复杂特征,如指代、省略、口语化等等。
评测基准方面,常用的 MT-Bench 基准虽然包含了八种类别的指令,但只能评测两轮的指令遵循能力。而实际应用中用户与 LLM 的交互可能会远远超过 2 轮,这导致 MT-Bench 不足以评测 LLMs 的多轮指令跟随表现。
针对上述问题,作者设计了上下文感知的强化训练策略,提出了一套高效的多轮数据收集方法,最后通过所构建的包含 8 轮次的多轮指令跟随评测集 MT-Bench++,系统地研究了如何增强和评估大语言模型(LLM)的多轮指令遵循能力。
方法
▲ 图2:Parrot 框架图
多轮数据收集:
▲ 表1:Parrot 数据集和其他数据集的比较
首先,如图2(a)所示,作者通过训练 Parrot-Ask 模型来自动生成类似于人类的多轮指令序列。作者利用真实用户和 ChatGPT 的对话记录数据(如 ShareGPT)来训练 Parrot-Ask 模型,让其从真实数据中学习真实用户的提问风格,从而更好地模拟人类来提出有上下文针对性的问题。
这一训练过程与传统的指令微调实现相反,Parrot-Ask 基于对话历史来预测用户的下一个问题,即在问题令牌上计算损失。在完成 Parrot-Ask 的训练后,作者让它与 ChatGPT 持续交互,并限定最大交互轮次为 10,从而收集了 Parrot-40K 数据集。经过后处理过滤等策略,该数据集的平均对话轮次为 8.7 轮。
上下文感知偏好优化:
其次,作者提出了上下文感知偏好优化策略(CaPO)来增强模型利用对话上下文信息的能力。如图 1(b)所示,通过选择对上文具有强依赖的指令(如省略、指代等),构建相应负样本来模拟 LLM 常见的上下文感知退化现象:
忽略上下文:通过让 ChatGPT 生成回复时不考虑对话历史,模拟当语言模型没有参考对话历史时可能产生的错误回复。
上下文幻觉:首先提示 ChatGPT 猜测指代词或省略所指的是什么,然后基于它的猜测生成回应。这种策略模拟了语言模型在缺乏足够的指代省略推理能力,因此产生幻觉的错误情况。
上下文误解:指示 ChatGPT 从对话历史中选择不相关的信息,并强制模型误解它,来为当前查询中的省略或指代信息生成回应。这种方法模拟了语言模型错误推理指代省略等信息导致的错误。
基于上述三种策略,作者构建了 30K 正-负例 CaPO 训练样本对。接下来,这些数据用于通过直接偏好优化(DPO)算法,来在 SFT 后的 LLM 基础上进一步强化模型在多轮交互中的上文感知和利用能力。通过以上优化,最终得到了增强多轮交互能力的 Parrot-Chat 模型。
实验
▲ 表2:MT-Bench++ 中关于经济主题的八个问题
为了评估 Parrot 方法在多轮交互中的有效性,作者扩展 MT-Bench 形成了包含八个问题的评测集 MT-Bench++。作者要求 MT-Bench++的标注员构建具有挑战性、上文相关性和多样性的问题,来更好地评价 LLM 的多轮交互能力。与 MT-Bench 一样,作者使用 GPT-4 按照【1-10】打分的方式进行评测。
▲ 表3:Parrot-Chat 和基线模型的性能比较
Parrot-Ask 和 Parrot-Chat 采用了 LLaMA-2-13B 验证方案的有效性,与现有的基于 LLaMA-2-13B 基座微调的开源对话模型,包括 Baize、UltraLM、Vicuna 以及 LLaMA-2-13B-Chat 相比,Parrot-Chat 即使在没有应用 CaPO 策略的情况下,已经在 MT-Bench 基准的所有评估指标上超越了其他模型。
引入 CaPO 策略后,Parrot-Chat 在 MT-Bench 以及 MT-Bench++ 的整体表现上进一步显著提高,特别是在 MT-Bench 的第二轮,以及 MT-Bench++ 的第三到第五轮中,显示出 CaPO 策略在提升模型处理复杂上下文信息方面的效果。尽管 OpenAI 的 ChatGPT 和 GPT-4 在性能上领先,但 Parrot-Chat 作为一个开源模型,仅使用 40K 样本的 Parrot-40K 数据集,便展现出相较于开源模型的卓越性能,进一步证明了 Parrot 方法的有效性。
▲ 表4:消融实验
作者进一步进行了消融实验,在使用同样 20K 数据的情况下,用 Parrot-Ask 收集的数据训练得到的模型超过了 UltraChat 和 ShareGPT。表明相比于用 ChatGPT 模拟用户,利用 Parrot-Ask 可以收集到更高质量的多轮指令微调数 [7] 据,带来约 3.5% 的性能提升。同时对比 ShareGPT,更多轮次的交互也带来了约 1.8% 的性能提升。另外,作者提出的三种负面响应的构造策略都是有效的,而组合这三种策略带来了 2.4% 的提升。
总结
Parrot 通过提出 CaPO 训练策略以及新的多轮指令数据合成方法,提升了 LLMs 在多轮交互中的指令遵循能力。尽管存在数据集规模有限和依赖 ChatGPT 进行数据收集与评测的局限性,本文希望能为推动 LLMs 在多轮对话领域的研究和应用带来帮助。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:hr@paperweekly.site
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
·
·
·