『大模型笔记』LLM秘密:温度、Top-K和Top-P抽样技术解析!

『大模型笔记』LLM秘密:温度、Top-K和Top-P抽样技术解析!

一. LLM秘密:温度、Top-K和Top-P随机采样技术解析!

嗨,大家好!今天我们将学习 大语言模型中的随机采样技术,这是一个关键算法,我们还将探讨三个重要的辅助技术:温度(Temperature)、TopK和TopP采样。首先,让我们回顾一下大语言模型是如何生成文本的。简单来说,它们通过自回归方式生成文本,即在每个步骤生成一个Token时,利用一定窗口内的前几个Token的信息,为每个单词创建一个概率分布,从中选择当前步骤的最佳候选词。

通常,我们可以简单地选择概率最高的单词,这种方法被称为 贪婪解码(greedy decoding)。例如,对于句子“today the weather is”,会选择单词“sunny”。然而,这种方法往往会导致输出过于确定和重复,这在某些需要精确结果的情况下是有用的,比如语音识别系统的语音转录。

但在大语言模型中,我们的目标往往是生成具有一定创造性的输出。这些模型被设计用来捕捉和再现人类语言的复杂性,其中多样性和原创性是很重要的。通过温度、TopK和TopP

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-21 00:20:01       95 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-21 00:20:01       103 阅读
  3. 在Django里面运行非项目文件

    2024-07-21 00:20:01       84 阅读
  4. Python语言-面向对象

    2024-07-21 00:20:01       93 阅读

热门阅读

  1. Web学习day05

    2024-07-21 00:20:01       27 阅读
  2. 高阶面试-hw算法整理

    2024-07-21 00:20:01       22 阅读
  3. std::bind 简单实验

    2024-07-21 00:20:01       27 阅读
  4. 中电金信:语言服务游戏行业解决方案

    2024-07-21 00:20:01       26 阅读
  5. 数据库之数据类型

    2024-07-21 00:20:01       24 阅读
  6. 代码保存板块

    2024-07-21 00:20:01       27 阅读
  7. Git 代码管理面试59题(一)

    2024-07-21 00:20:01       25 阅读
  8. Kudu节点数规划

    2024-07-21 00:20:01       30 阅读
  9. Emacs

    2024-07-21 00:20:01       26 阅读
  10. 提升 Google 对网站兴趣的关键:颜值与内容并重

    2024-07-21 00:20:01       16 阅读