词向量对模型performance的影响

因为自己搭建了一个4层的transformer网络,然后词向量的维度是96(attention is all you need里面transformer block的dim=512),这里设置96是为了后续我需要做一些attack的任务。

然后使用transformer4对YELP(5分类)分类的时候,performance一直在58%上下波动,尝试了各种调参发现都上不了60%。   后面都要尝试用预训练的embedding了。  但=结果调了一下embedding 96->128 。 ACC 就上升了。

词向量维度对模型的影响

  1. 表达能力

    • 词向量的维度越高,每个词可以携带更多的信息,有助于模型更好地捕捉语义关系。然而,维度过高也可能导致参数过多,增加过拟合的风险。
  2. 参数量

    • 词向量的维度增加会显著增加模型的参数量,尤其是在嵌入层和后续的线性层中。这会影响模型的训练效率和性能。
  3. 计算复杂度

    • 更高的维度会增加计算复杂度,导致训练时间增加。如果计算资源有限,可能需要平衡维度和计算资源。
  4. 训练速度

    • 维度较低的词向量训练速度更快,因为计算量较少,但可能不能充分表达复杂的语义关系。

 

相关推荐

  1. 向量模型performance影响

    2024-06-10 14:54:06       5 阅读
  2. 大语言模型向量表示

    2024-06-10 14:54:06       7 阅读
  3. 人工智能社会影响

    2024-06-10 14:54:06       16 阅读

最近更新

  1. 【lesson3】服务端Json工具类的设计和实现

    2024-06-10 14:54:06       0 阅读
  2. 力扣475.供暖器

    2024-06-10 14:54:06       0 阅读
  3. 图片based64编码解码python代码

    2024-06-10 14:54:06       0 阅读
  4. ray框架训练阶段和 Serve 阶段对比

    2024-06-10 14:54:06       0 阅读

热门阅读

  1. Linux磁盘与文件系统管理

    2024-06-10 14:54:06       5 阅读
  2. 需求记录(共享元素)

    2024-06-10 14:54:06       6 阅读
  3. Vue3 组合式 API:依赖注入(四)

    2024-06-10 14:54:06       2 阅读
  4. 贪心算法03(leetcode1005,134,135)

    2024-06-10 14:54:06       6 阅读
  5. web前端三大主流框架

    2024-06-10 14:54:06       3 阅读
  6. C++中的if constexpr

    2024-06-10 14:54:06       4 阅读
  7. 驱动开发MISC 杂项驱动

    2024-06-10 14:54:06       4 阅读
  8. 自建 Docker 镜像

    2024-06-10 14:54:06       4 阅读
  9. Linux常见命令

    2024-06-10 14:54:06       3 阅读
  10. C++——时间复杂度

    2024-06-10 14:54:06       4 阅读
  11. 为何数据仓库需要“分层次”?

    2024-06-10 14:54:06       6 阅读
  12. tensorRT 自定义算子plugin的实现

    2024-06-10 14:54:06       3 阅读
  13. 使用git stash暂存改动,并备注改动内容

    2024-06-10 14:54:06       7 阅读