解决GPT-4o耗电难题!DeepMind新算法训练效率提升13倍,能耗降低10倍!

目录

01 有更好的解决方案吗?

02 从“超级batch”中筛选数据

03  技术介绍

04 实验结果

生成可学习batch



谷歌DeepMind推出的新算法JEST,将LLM训练的迭代次数减少了13倍,计算量降低了10倍,有望重塑AI未来。

GPT-4o早已成为耗能巨头:一天耗电超过50万度,相当于1.7万个美国家庭的用电量!



然而,大模型对能源的消耗不仅如此。

国际能源署(IEA)预测,从2022年到2026年,数据中心的用电量将翻倍。


随着AI计算需求的增加,还需要用水来冷却计算系统。

研究表明,微软的用水量从2021年到2022年增加了34%,ChatGPT每处理5-50个提示就会消耗接近半升水。


没体验过OpenAI最新版GPT-4o?快戳最详细升级教程,几分钟搞定:
升级ChatGPT-4o Turbo步骤icon-default.png?t=N7T8https://www.zhihu.com/pin/1768399982598909952

如何使用WildCard正确方式打开GPT-4o,目前 WildCard 支持的服务非常齐全,可以说是应有尽有!

官网有更详细介绍:WildCard


01 有更好的解决方案吗?



最近,谷歌DeepMind研究团队提出了一种加快AI训练的新方法——多模态对比学习与联合示例选择(JEST),大大减少了所需的计算资源和时间。

论文地址:https://arxiv.org/pdf/2406.17711



JEST以13倍更少的迭代次数和10倍更少的计算量,超越了最先进的模型!

预训练的参考模型已经学会了哪些数据是优质或有用的,然后通过模型引导选择这些精心筛选的小型数据集。



这一发现揭示了数据筛选水平可以作为评判Scaling Law的新维度。

网友激动地表示,“我没想到这么快就会发生。

模型能够自主选择训练数据的能力是巨大的,因为它使训练变得显著更容易,你不再需要猜测什么是高质量的训练数据,你有一个能够‘理解’什么样的数据对自身学习最有价值的模型”。
 

02 从“超级batch”中筛选数据



无论是语言、视觉还是多模态模型,数据质量是预训练性能的重要驱动因素。

例如Phi-3、Gemma 2等模型的成功表明,更少、更高质量的数据可能实现更强大的性能。

要筛选出高质量的数据,数据管道的建立变得尤为重要。

现有的方法主要有两种:

1)手动管理

2)基于模型的数据管理,用正在训练模型的特征选择高质量数据。



前者成本高昂且难以扩展,后者则有望为多模态LLM实现Scaling Law。
然而,现有方法忽略了一个事实。

如果仅在单个数据点的层面进行筛选,就没有考虑到数据集以及batch的总体组成。毕竟,训练数据是以batch为单位,数据点之间的依赖性不可忽视。

许多计算机视觉研究表明,相比可被平凡解的数据簇,hard negatives(表达空间中相近但标签不同的样本)能提供更有效的学习信号。

那么如何让模型以batch为单位筛选数据呢?

论文提出的JEST算法正是为了解决这个问题,原理很简单:直接从“超级batch”中筛选出“子batch”。

03  技术介绍

用数学语言描述这个问题,就是从大小为B的“超级batch”𝒟中提取出与学习最相关的子batch ℬ={𝒙𝑖,𝑖∈[1,…,𝑏]}⊂𝒟,过滤比率可以写作𝑓=1−𝑏/𝐵。

之前的优先采样(prioritized sampling)使用基于模型的评分函数对每个数据点打分,再按比例采样。JEST则直接对整个子batch评分,再按照batch级别的分数采样。

一种直观的启发式方法是直接选择损失值最高的batch,这种方法可称为“硬学习”(hard learner)。

这种方法具有丢弃琐碎数据的理想属性,适用于小型、干净的数据集;但对于较大、较少管理的数据集可能不太适用,因为它仍然会采样到噪声数据。

另一种方法常用于多模态,使用具有参数 𝜃∗:𝑠^easy⁢(ℬ|𝜃∗)=−ℓ⁢(ℬ|𝜃∗) 的参考模型为预训练模型采样数据。但作者否定了这个方案,因为它无法直接反映模型当前的状态,可能过度依赖参考模型的选择,不易扩展。

最后,论文选择结合ICML 2022年一篇论文中的方法,将上述两方面的评分结合起来:𝑠^learn⁢(ℬ|𝜃,𝜃∗)=𝑠hard⁢(ℬ|𝜃)+𝑠^easy⁢(ℬ|𝜃∗)=ℓ⁢(ℬ|𝜃)−ℓ⁢(ℬ|𝜃∗),并将这种启发式方法称为“可学习性评分”(learnability score)。

其中,batch上的损失值ℓ⁢(ℬ|𝜃)是各数据点之和,使用sigmoid对比损失函数计算(sigmoid-contrastive loss),相比softmax对比损失具有更强的扩展性。

由于batch上的对比损失可以分解为每个样本的条件损失之和,因此可学习性评分可被分解为单个样本可学习性评分𝑠⁢(𝒙|𝜃,𝜃∗,ℬ)之和,写作:

使用的顺序采样方法则受到了block Gibbs采样的启发。在第n次迭代、对第B_n个batch进行采样时,依据如下概率公式对块{X_k}进行无替换采样:

将X_k块添加到B_n中来更新当前采样的batch,直至迭代数n=N时终止。算法的总体流程如下图所示:

实验发现,在使用迭代数N=16且每次迭代独立采样b/N=2048个样本时,便可恢复出具有高度学习性的batch。

可学习性评分需要使用参考模型为数据点打分,之前的方法常用额外的小型模型,但这会增加每次迭代的计算成本,降低整体的FLOP效率增益。

因此,论文采用了在线模型近似的方法和高效的FlexiViT架构,仅使用32×32分辨率的patch来评估“超级batch”,与全分辨率、16×16 patch的方法相比,减少了72%的FLOP和67%的挂钟时间(wall-clock time)。

此外,论文还提出了多分辨率训练的技巧。将每个batch随机分成两半,使用不同分辨率编码后再拼接,提升了评分过程和训练的效率。

下图详细描述了全分辨率JEST和多分辨率FlexiJEST方法的伪代码实现:

04 实验结果


图1展示了使用JEST或FlexiJEST方法后效率的显著提升。

左图显示,JEST++在训练数据量减少13.1倍的情况下,仍能达到与原有SigLIP基线模型相同的准确率。

即使考虑到额外引入的评分成本,JEST++在浮点运算次数(FLOP)上也提升了近10倍(中图)。

右图对比了JEST++/FlexiJEST++(绿色)与之前的方法(灰色),相较于经典模型CLIP和EVA-CLIP,JEST++/FlexiJEST++在计算成本和性能上都实现了双重提升。

生成可学习batch

研究人员首先评估了JEST在选择可学习batch方面的效果。

为了直观理解这一方法,作者们将可学习性矩阵进行了可视化,即展示学习模型和参考模型之间,对batch中所有示例对的损失差异。

JEST按照示例子矩阵的可学习性总和比例进行采样。

由于矩阵明显非对角关系(图2,左),独立选择显然是次优的。

经过少量迭代(使用N=16个块填充batch),作者发现子batch的可学习性快速增加,达到了需要数千次迭代的暴力吉布斯采样(Gibbs sampling)才能提取到的可学习性(图2,中)。

对于0.5、0.8和0.9的过滤比例,他们从大小分别为65,536、163,840和327,680的超级batch中选择32,768个示例的子batch。

在图2右侧,研究者还发现子batch的可学习性随着更大过滤比例的增加而提高。

总之,JEST算法是在训练过程中选择高度可学习batch的一种有效且高效的方法。


如何使用WildCard正确方式打开GPT-4o,目前 WildCard 支持的服务非常齐全,可以说是应有尽有!

官网有更详细介绍:​​​​​WildCard

推荐阅读:

GPT-4o不仅能写代码,还能自查Bug,程序员替代进程再进一步!

GPT-4替代大学生参加考试,94%成功作弊未被发现!

最近更新

  1. OpenSSH移植

    2024-07-10 23:48:02       0 阅读
  2. MySQL 创建数据库

    2024-07-10 23:48:02       0 阅读
  3. python的lambda匿名函数

    2024-07-10 23:48:02       0 阅读
  4. R9000X安装ubuntu后没有声音问题解决

    2024-07-10 23:48:02       0 阅读
  5. 【SpringBoot】测试Control接口方法

    2024-07-10 23:48:02       0 阅读
  6. Vit配置

    2024-07-10 23:48:02       0 阅读
  7. Tracy 小笔记:微信小程序 mpx 雷达图的实现

    2024-07-10 23:48:02       0 阅读
  8. C++知识点总结(49):树的存储与遍历

    2024-07-10 23:48:02       0 阅读
  9. 内存管理(知识点)

    2024-07-10 23:48:02       0 阅读
  10. 1604 - 高精度除单精度

    2024-07-10 23:48:02       0 阅读

热门阅读

  1. Github 2024-07-07 开源项目日报 Top10

    2024-07-10 23:48:02       8 阅读
  2. 部署LVS-DR群集

    2024-07-10 23:48:02       5 阅读
  3. python的列表推导式

    2024-07-10 23:48:02       7 阅读
  4. pip常用命令详解

    2024-07-10 23:48:02       4 阅读
  5. 相机、镜头基础知识及硬件选型介绍

    2024-07-10 23:48:02       6 阅读
  6. 文心一言指令:快速入门手册

    2024-07-10 23:48:02       8 阅读
  7. 入门ARP协议

    2024-07-10 23:48:02       6 阅读
  8. 速盾:cdn 支持php吗?

    2024-07-10 23:48:02       8 阅读