LLM - 词表示和语言模型

一. 词的相似度表示

(1): 用一系列与该词相关的词来表示

(2): 把每个词表示一个独立的符号(one hot)

(3): 利用该词上下文的词来表示该词

(3): 建立一个低维度的向量空间,用深度学习方法将该词映射到这个空间里(Word Embedding)

二:语言模型

(1): 根据前面的词序列,预测下一个词出现的概率

       

(2):  根据一个已经生成的词的序列,判断是合法句子的概率

     

(3):    联合概率和条件概率的关系

       

     

(4): 语言模型,一个句子联合的概率等于它里面的每个词基于它前面出现词的条件概率乘积

     

(5): N-gram Model 

         

 (6):Neural Language Model , 比如要预测下一个词出现的概率,就要对前文出现的词表示成向量, 把向量拼成一起形成一个上下文向量,然后经过一个非线性转换,然后就可以用这个向量预测下一个词到底是什么。

           

相关推荐

  1. 语言模型向量表示

    2024-07-09 17:32:04       18 阅读
  2. 语言模型LLM《提示工程指南》学习笔记01

    2024-07-09 17:32:04       19 阅读
  3. 语言模型LLM《提示工程指南》学习笔记02

    2024-07-09 17:32:04       27 阅读
  4. 语言模型LLM《提示工程指南》学习笔记04

    2024-07-09 17:32:04       21 阅读
  5. 语言模型LLM《提示工程指南》学习笔记03

    2024-07-09 17:32:04       20 阅读
  6. 语言模型LLM《提示工程指南》学习笔记05

    2024-07-09 17:32:04       19 阅读
  7. 机器学习之Transformer模型大型语言模型LLMs

    2024-07-09 17:32:04       16 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-09 17:32:04       3 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-09 17:32:04       3 阅读
  3. 在Django里面运行非项目文件

    2024-07-09 17:32:04       2 阅读
  4. Python语言-面向对象

    2024-07-09 17:32:04       2 阅读

热门阅读

  1. 开源 WAF 解析:选择最适合你的防护利器

    2024-07-09 17:32:04       11 阅读
  2. VPN是什么?

    2024-07-09 17:32:04       10 阅读
  3. Android C++系列:Linux进程(一)

    2024-07-09 17:32:04       12 阅读
  4. Oracle查询固定值查询

    2024-07-09 17:32:04       10 阅读
  5. android Gradle储蓄地址

    2024-07-09 17:32:04       11 阅读
  6. 基于BERT的大规模文本处理实战

    2024-07-09 17:32:04       8 阅读
  7. 【LeetCode 0242】【Map/排序】有效的异位词

    2024-07-09 17:32:04       10 阅读
  8. Ubuntu下Qt-5.12.9创建快捷方式到桌面

    2024-07-09 17:32:04       11 阅读
  9. ArkTs基础入门

    2024-07-09 17:32:04       12 阅读