论文阅读2-《Dynamic Multimodal Fusion》

摘要

(DynMM),一种新的方法,自适应融合多模态数据和 d在推理过程中生成依赖于数据的前向路径。为此,我们提出了一种门控功能来提供基于多模态特征和一个的模态级或融合级决策提高计算效率的源感知损失函数。

细节

模态级别决策

  • 假设有三种模态,x1,x2,x3,则有6种专家网络:E1(x1), E2(x2), E3(x3),E4(x1, x2), E5(x2, x3), E6(x1, x2), E7(x1, x2, x3);
  • 利用一个门控,选择B个专家网络:y =
    在这里插入图片描述
    其中,xi表示第i位专家作为输入的模态的子集;
    假设有两种模态:

提供了2种模式和3种专家网络(即M = 2和B = 3)的设计说明。

融合级别决策

在融合的过程中加入决策:oij表示每个中间模块的输出,
在这里插入图片描述

损失函数

C(Ei)表示执行一个专家网络Ei的计算成本。类似地,C(Oi,j)表示第j个细胞中第i个融合操作的计算代价;Ltask为任务的损失。
在这里插入图片描述但是门控g是one-hot是离散的不可微,所以变成一个软值,
在这里插入图片描述

训练阶段

  • pretrain stage
    在训练的早期阶段遵循门网络的稀疏决策会导致偏差,很少被选择的分支有更少和更小的权重更新;糟糕的性能可能导致它们被选择的次数更少(因此永远不会改进);所以要保证每个分支在门控模块参与进来之前都得到了完全的优化;
    对于模态级的DynMM,充分地训练了每个专家网络;
    对于融合级的DynMM,对每个融合单元采用随机决策(即从候选操作集合中随机选择一个操作),从而使动态网络的每条路径都是一致的。
  • 微调
    第二阶段:微调。在这个阶段,我们将门控网络纳入到我们的优化过程中。利用上述介绍的重参数化技术,我们共同优化了动态网络 具有以端到端方式进行的门控网络。

相关推荐

最近更新

  1. Symfony数据库抽象层:深入理解其工作原理

    2024-07-10 23:08:03       0 阅读
  2. 设计模式--职责链模式

    2024-07-10 23:08:03       0 阅读
  3. PXIe-6592

    PXIe-6592

    2024-07-10 23:08:03      0 阅读
  4. FPGA 中的 IOE与IO BANK

    2024-07-10 23:08:03       0 阅读
  5. 前端部署后提示用户刷新页面

    2024-07-10 23:08:03       0 阅读
  6. 编写测试用例:策略、技巧与最佳实践

    2024-07-10 23:08:03       0 阅读
  7. 自动化测试的艺术:Xcode中GUI测试的全面指南

    2024-07-10 23:08:03       0 阅读
  8. C++基础语法:STL之容器(6)--序列容器中的forward_list

    2024-07-10 23:08:03       0 阅读
  9. MongoDB Map-Reduce 简介

    2024-07-10 23:08:03       0 阅读
  10. 【SpringBoot】第3章 SpringBoot的系统配置

    2024-07-10 23:08:03       0 阅读

热门阅读

  1. python excel openpyxl

    2024-07-10 23:08:03       6 阅读
  2. 生物环保的技术原理和优点是什么

    2024-07-10 23:08:03       8 阅读
  3. 深入理解Spring Cloud中的服务注册

    2024-07-10 23:08:03       6 阅读
  4. SIFT代码,MATLAB

    2024-07-10 23:08:03       5 阅读
  5. Scala 数据类型

    2024-07-10 23:08:03       9 阅读
  6. DP学习——简单工厂模式

    2024-07-10 23:08:03       6 阅读
  7. 从 Spark 离线数仓到 Flink 实时数仓:实战指南

    2024-07-10 23:08:03       6 阅读
  8. 浅析DDoS高防数据中心网络

    2024-07-10 23:08:03       6 阅读