[请益] 将影片内容提取出大意的技术

楼主: qazsd ( )   2022-07-07 13:40:55
请教一下
有没有哪门技术可以将影片内容提取出摘要
这似乎牵涉到影像辨识跟语音辨识等技术
深度学习及AI不知道是否有办法达成?
因为常常看到YT上感兴趣的影片但觉得从头看到尾蛮花时间的
如果有这门技术(影片摘要)那就太好了
作者: FXW11314 (soukai)   2022-07-07 13:49:00
GPT3或许可以吧
作者: DrTech (竹科管理处网军研发人员)   2022-07-07 13:52:00
这我以前做过,我们叫VCA,video content analysis。我们当时有卖云端服务,或自己做。后来我自己有做直接从影片产生剧情摘要。我的做法是,分析声音哪一段是剧情高潮,然后撷取声音或字幕片段,成为精彩片段。最后再将精彩片段的语音或字幕,转换成文字产生剧情大纲。应用上,可以透过文字搜到任意剧情片段。或产生精彩片段推荐。例如,当时我们可搜:某某明星的武打片,就直接给片段。这在中国的影音平台都有在做。这个在爱奇艺,以及我前公司,都是有上产品的功能。这技术最大的问题除了技术,重点是:非常耗费计算资源,所以大家都只做热门院线片,而且真的是赔钱做居多。我也有写过影评摘要的专利。直接输入一个影片,与需要摘要的时间长度。产生:该长度的影片摘要。这样就能,你搭飞机时,剩下30分钟,可看完一部电影摘要。拉屎5分钟,也可设定5分钟看完一部电影摘要。
作者: mistel (Mistel)   2022-07-07 15:57:00
google video summarization应该就有很多paper了
作者: neo5277 (I am an agent of chaos)   2022-07-07 16:10:00
推推
作者: labbat (labbat)   2022-07-07 19:09:00
Google Auto Summary for Business
作者: knme (knem)   2022-07-07 23:33:00
作者: viper9709 (阿达)   2022-07-08 00:16:00
二楼好猛
作者: eva19452002 (^^)   2022-07-08 07:17:00
我想知道如果是默剧也能提取出摘要吗?或是没有配音的动物或旅游影片,输入关键字就会搜到我想看的片段,比如说输入狮子狩猎或是海边沙滩就跳该片段
作者: DrTech (竹科管理处网军研发人员)   2022-07-08 10:06:00
楼上说的动物辨识,与场景 scene辨识的功能都有,,动物辨识是最好做的因为open soure都有基本的语料,各家的差别在于后续愿意投入多少资源持续维护。特殊自订的场景辨识scene也能做,成本问题而已。默剧,可做到基础的搜寻,可以对辨识到的object 打上标签。搜寻object出现的时间点。但是要抽摘要片段,最大的问题是,如何定义与评价什么是"好"。光是人来看,每个人的看法就不一样了。院线片是因为有音效,剧情,结尾通常比较精彩等强特征,所以效果比较好。
作者: lance70176 (十三夜)   2022-07-08 13:31:00
2F 说的内容好酷...
作者: ntpuisbest (阿龙)   2022-07-09 14:53:00
感谢D大分享,谢谢
楼主: qazsd ( )   2022-07-09 19:43:00
感谢D大分享,赞!
作者: stiiveo (S哥)   2022-07-23 01:02:00
感谢科技博士分享!

Links booklink

Contact Us: admin [ a t ] ucptt.com