提示:本篇文章约2537字符,阅读大约需要4分钟。
昨天试用了一下NASTool新添加的字幕生成和字幕翻译工作,深深感受到了目前AI的强劲力量。当然这个时间是超级耗时的,从音轨提取、字幕生成再到翻译成为最终字幕,所需时间大约需要1-2个小时(视视频文件长短和本地AI算力决定)。
ssh连接群晖,进入nastool docker容器:
docker exec -it —user nt jxxghp-nas-tools /bin/bash
注:还不清楚如何将套件版切换为docker版的朋友,可以看我的上一篇文章。
执行一键安装脚本即可,这里我用了large模型(使用国内源):
bash <(wget —no-check-certificate -qO- ‘https://ghproxy.com/https://github.com/DDS-Derek/VideoLab/raw/master/NAStool/scripts/Docker/Autosub/install‘) large cn
然后在NASTool里面添加一下API:

在插件>AI字幕自动生成填写相应信息即可,文件路径可直接复制ssh命令行生成的路径即可。

字幕生成的具体过程是先提取视频音轨,然后在本地使用AI模型完成。因此需要本地使用算力比较强劲,如果没有GPU的话会产生比较高的CPU占用,详情见下:


我的10900K终于是要接近满负载运行了( Ĭ ^ Ĭ ),后来谁要再来问,你用这么强劲的硬件组NAS干什么,你就可以理直气壮的回答他用来生产AI字幕啊。
下图是针对《更衣人偶坠入爱河》第一集的部分的生成示例:

它连bgm什么的都标注出来了,不明觉厉中。
注:如果视频内已经内置字幕文件,NASTool会跳过字幕生成,直接进行字幕翻译。
字幕翻译需要使用到chatgpt API,目前总共测试了两个视频的字幕翻译,结果如下:
无字幕源文件——日语字幕生成+翻译
这个体验目前大致停留在“图一乐”的阶段,绝大部分不需要上下文理解的意思,基本都能翻译个八九不离十。

不过里面还会出现ChatGPT的对话,比较影响观感。

因此,大家拿来翻个小姐姐还行(不过等待字幕生成+翻译完成需要两个小时,感觉黄花菜也凉了hhhh),正经看个剧看个电影还是乖乖去找字幕文件吧。
有字幕源文件——英语字幕翻译
测试影片为《最后生还者》第一季第九集,时长由于已经内嵌英文字幕,NASTool只需要提取内嵌字幕进行翻译即可。
翻译耗费时间如下图所示:

这类需求全程在线完成,不耗费本地资源,适合用于刚刚发布的媒体资源,还没有字幕组进行翻译的时候。生成的翻译字幕超级准确,算是可以用的水准了。

AI的确 是可以改变人类生活的。许多年前设想的一键中文字幕生成已经在今天变成了现实,尤其是在英文字幕生成和翻译已经达到了可用的阶段。当然AI强劲功能的应用远不止于此,还需要各位自己去探索。
AI的确 可以替代掉你的工作,但是你只要会用AI替你工作,你就不会被淘汰掉。