SGPT论文阅读笔记

在这里插入图片描述

  • 这是篇想要用GPT来提取sentence embedding的工作,提出了两个框架,一个是SGPT-BE,一个是SGPT-CE,分别代表了Bi-Encoder setting和Cross-Encoder setting。
  • CE的意思是在做阅读理解任务时,document和query是一起送进去,中间加个SEP token来做的,典型的是BERT。而GPT一般不是,但作者觉得GPT也可以是。也就是说,如果有k个document和一个新的query,需要把这个query和这k个document分别concate在一起,重新提取信息,走k次。
  • 而BE的意思是,document和query单独提取信息。每段document用pooling来提取一个vector即可,query单独提取一个vector,然后算相似度,就能知道document中是否有query要的信息。
  • BE的模型提出了新的pooling method,用的是position-weighted mean pooling,还有bias-only fine-tuning。
  • position-weighted mean pooling的意思是,前面的token由于mask的存在,注意力的时候看不到后面的token,所以要给低一点的权重,后面的token给高一点的权重,就按1 2 3 4 5这样随位置单调线性递增的权重即可,如下:
    在这里插入图片描述

相关推荐

  1. 论文阅读笔记】清单

    2024-06-19 09:28:01       53 阅读
  2. PointMixer论文阅读笔记

    2024-06-19 09:28:01       35 阅读
  3. BERT 论文阅读笔记

    2024-06-19 09:28:01       42 阅读
  4. Transformer 论文阅读笔记

    2024-06-19 09:28:01       35 阅读

最近更新

  1. Symfony数据库抽象层:深入理解其工作原理

    2024-06-19 09:28:01       0 阅读
  2. 设计模式--职责链模式

    2024-06-19 09:28:01       0 阅读
  3. PXIe-6592

    PXIe-6592

    2024-06-19 09:28:01      0 阅读
  4. FPGA 中的 IOE与IO BANK

    2024-06-19 09:28:01       0 阅读
  5. 前端部署后提示用户刷新页面

    2024-06-19 09:28:01       0 阅读
  6. 编写测试用例:策略、技巧与最佳实践

    2024-06-19 09:28:01       0 阅读
  7. 自动化测试的艺术:Xcode中GUI测试的全面指南

    2024-06-19 09:28:01       0 阅读

热门阅读

  1. Linux 上的 TTY 是什么?

    2024-06-19 09:28:01       15 阅读
  2. USB 端点停止

    2024-06-19 09:28:01       13 阅读
  3. 通信基础知识

    2024-06-19 09:28:01       13 阅读
  4. 如何给vue开发的网站做seo?

    2024-06-19 09:28:01       14 阅读
  5. redis雪崩问题怎么解决

    2024-06-19 09:28:01       13 阅读
  6. Elasticsearch优化

    2024-06-19 09:28:01       12 阅读
  7. HTML5 Web Workers: 异步编程的强大力量

    2024-06-19 09:28:01       13 阅读
  8. Docker:现代软件开发的基石

    2024-06-19 09:28:01       13 阅读
  9. hadoop常见简单基础面试题

    2024-06-19 09:28:01       13 阅读
  10. CSS期末复习速览(一)

    2024-06-19 09:28:01       13 阅读