[请益] 在Unity中使用Deep Learning Model的方式

楼主: doasgloria (青柳立夏)   2020-09-30 16:56:53
最近想在Unity中使用DL Model
大概是从Web Cam取得画面后做一些人脸侦测之类的
本来使用OpenCV for Unity, 但是模型能力有限(偏向传统影像算法)
想移植一些不错的 Deep Learning Model到Unity上试试看
目前想到两个想法
第一个用 Unity的ML agent
不过不知道 假设已经有用Python训练好的pytorch或keras模型
要import到里面转换使用是否方便
以及效能变化如何~~
第二个是用Compute Shader
把模型的矩阵参数写入 感觉工作量也是满大
变成用Shader去重造一个模型~
只是现在DL模型参数都是数百万起跳
不知道这个方式的可行性如何~~
想知道是否有在Unity使用过DL模型的大大
希望能给点方向建议 >////<
非常感谢 !!
作者: Feis (永远睡不着 @@)   2020-09-30 18:53:00
想成 Unity只是做前端接口,做资料的 prepocessing。其他都丢到常用的工具算就好
作者: kingroy (手残总比脑残好)   2020-10-02 23:19:00
比较想知道使用Unity对你来说的好处在哪?
作者: ddavid (谎言接线生)   2020-10-04 11:58:00
如一楼所说的,擅长的事情交给擅长的工具做,你把中间串接处理好就好开个Server跑Python模型做运算,Unity拿完资料往Server送再讨回结果做显示就好

Links booklink

Contact Us: admin [ a t ] ucptt.com