tensorRT 自定义算子plugin的实现


在实际部署模型时,由于现有的算子无法满足需求,经常需要 自定义算子并导出onnx文件,并在tensort中通过实现plugin来支持自定义算子的推理。下面给出个具体应用中的示例:

1. 自定义算子导出onnx

实现一个自定义算子CustomScalar, 对输入的x, 先加一个数r,再乘以s,得到对应的输出:(x + r) * s

import torch
import torch.onnx
import torch.nn as nn
import onnxruntime
import onnx
import onnxsim
import os
from collections import OrderedDict

相关推荐

  1. tensorRT 定义算子plugin实现

    2024-06-10 14:36:05       5 阅读
  2. tensorRT 实现推理加速(算子合并、量化)

    2024-06-10 14:36:05       5 阅读
  3. webpack进阶 -- 定义Plugin,Loader封装&打包优化

    2024-06-10 14:36:05       6 阅读
  4. 定义设计与实现

    2024-06-10 14:36:05       25 阅读
  5. 实现C++定义String类

    2024-06-10 14:36:05       15 阅读

最近更新

  1. 安卓gradel下载失败解决方案

    2024-06-10 14:36:05       0 阅读
  2. 实战

    实战

    2024-06-10 14:36:05      0 阅读
  3. 力扣719.找出第K小的数对距离

    2024-06-10 14:36:05       0 阅读
  4. 10月,2024北京养老展,北京老年生活用品展览会

    2024-06-10 14:36:05       0 阅读
  5. python之面向对象编程

    2024-06-10 14:36:05       0 阅读
  6. Python2.7中os.path模块常用函数记录

    2024-06-10 14:36:05       0 阅读

热门阅读

  1. 使用git stash暂存改动,并备注改动内容

    2024-06-10 14:36:05       7 阅读
  2. Vue3学习

    2024-06-10 14:36:05       3 阅读
  3. 使用c语言实字符串倒置及逆波兰数(栈)

    2024-06-10 14:36:05       3 阅读
  4. web前端报名点:深入探索与报名流程指南

    2024-06-10 14:36:05       5 阅读
  5. 深拷贝&浅拷贝解析,从原理理解深拷贝

    2024-06-10 14:36:05       5 阅读
  6. 不要使用业务键作为数据库主键

    2024-06-10 14:36:05       6 阅读
  7. 爬山算法的详细介绍

    2024-06-10 14:36:05       5 阅读
  8. SSRF 漏洞实践:端口扫描与任意文件读取

    2024-06-10 14:36:05       3 阅读
  9. SpringBoot实现上传头像(查看头像)

    2024-06-10 14:36:05       4 阅读
  10. 模拟CAS算法案例

    2024-06-10 14:36:05       4 阅读