tensorRT 自定义算子plugin的实现


在实际部署模型时,由于现有的算子无法满足需求,经常需要 自定义算子并导出onnx文件,并在tensort中通过实现plugin来支持自定义算子的推理。下面给出个具体应用中的示例:

1. 自定义算子导出onnx

实现一个自定义算子CustomScalar, 对输入的x, 先加一个数r,再乘以s,得到对应的输出:(x + r) * s

import torch
import torch.onnx
import torch.nn as nn
import onnxruntime
import onnx
import onnxsim
import os
from collections import OrderedDict

相关推荐

  1. tensorRT 定义算子plugin实现

    2024-06-10 14:36:05       16 阅读
  2. tensorRT 实现推理加速(算子合并、量化)

    2024-06-10 14:36:05       17 阅读
  3. webpack进阶 -- 定义Plugin,Loader封装&打包优化

    2024-06-10 14:36:05       13 阅读
  4. 定义设计与实现

    2024-06-10 14:36:05       34 阅读
  5. 实现C++定义String类

    2024-06-10 14:36:05       25 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-06-10 14:36:05       5 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-06-10 14:36:05       5 阅读
  3. 在Django里面运行非项目文件

    2024-06-10 14:36:05       4 阅读
  4. Python语言-面向对象

    2024-06-10 14:36:05       6 阅读

热门阅读

  1. 使用git stash暂存改动,并备注改动内容

    2024-06-10 14:36:05       21 阅读
  2. Vue3学习

    2024-06-10 14:36:05       15 阅读
  3. 使用c语言实字符串倒置及逆波兰数(栈)

    2024-06-10 14:36:05       15 阅读
  4. web前端报名点:深入探索与报名流程指南

    2024-06-10 14:36:05       13 阅读
  5. 深拷贝&浅拷贝解析,从原理理解深拷贝

    2024-06-10 14:36:05       17 阅读
  6. 不要使用业务键作为数据库主键

    2024-06-10 14:36:05       16 阅读
  7. 爬山算法的详细介绍

    2024-06-10 14:36:05       14 阅读
  8. SSRF 漏洞实践:端口扫描与任意文件读取

    2024-06-10 14:36:05       15 阅读
  9. SpringBoot实现上传头像(查看头像)

    2024-06-10 14:36:05       15 阅读
  10. 模拟CAS算法案例

    2024-06-10 14:36:05       13 阅读