AI:Make 死宅 Great Again

今天这篇文章主要是因为组内有 AI 分享,因此被迫营业了一回,本人平时并不怎么研究 AI,因此本文依旧是从使用和介绍的角度的个人锐评,并没有涉及原理知识,望周知。

开篇介绍

之前我们介绍过「AI 老婆」,如何让你的老婆来模拟唱歌,今天介绍的是应用面更广的「翻译」。(下次再抽到分享我可就没活了)

目前相信大家也一直在用 AI 翻译来读文章、看教程、看 Youtube,并且或许你会觉得它还挺好用,翻译是不是要失业了——本文就将通过一些工具的实际使用效果和预期来判断「翻译是否会失业」。

首先,我们先来了解下身为一个(不怎么懂日语的)二次元,需要有哪些翻译:

  1. 视频翻译(番剧 / Live / 生放送等等)
  2. 音频翻译(广播)
  3. 游戏翻译
  4. 轻小说翻译
  5. 漫画翻译

而接下来我们一边科普翻译流程,一边看目前的一些解决方案。

视频翻译

传统翻译流程

这是一个视频翻译的传统流程(换行主要是一行放不下,没有别的意思):

翻译流程

其中:

  • 听写:如果有原版字幕可以直接使用原版字幕
  • 注释:用来解决一些背景解释,方便没有专业背景的读者理解
  • 特效:SRT 字幕只有时间信息,一般内压都会选择 ASS 更精致
  • 压制:内置字幕,外挂字幕可以省略

参考:https://www.gcores.com/articles/183193

关于注释目前见到的最牛的是旋风管家的民间翻译,里面用了大量日本本土和二次元梗,竟然一个没漏,连角落都没放过的加上了。(但被 B 站荼毒,成为正版受害者)

请输入图片描述

特效可以看 Live 中,日式 Live 女团中大部分情况下会加特效+应援色。比如:
请输入图片描述
可以说,能让一个熟肉浑然天成也是一种手艺活。

AI 机翻

AI 的流程主要可以替代的部分是:

  1. 听写:也就是语音识别
  2. 打轴:识别的同时打上时间段
  3. 翻译:AI 主要工作的部分

这里就介绍两个工具,大家之后也可以自己玩玩。

AATV

项目地址:https://github.com/Chenyme/Chenyme-AAVT

请输入图片描述
Features:

  • 支持识别和翻译多种语言
  • 支持 全流程本地化、免费化部署
  • 支持对视频 一键生成博客内容、营销图文
  • 支持 自动化翻译二次修改字幕预览视频
  • 支持开启 GPU 加速VAD 辅助FFmpeg 加速
  • 支持使用 ChatGPTClaudeGeminiDeepSeek 等众多大模型翻译引擎

更新的非常勤快(年轻真好),因为我使用的时候的截图它还不长这样……(它还是下面这样的)

请输入图片描述
本地模型下载:https://huggingface.co/Systran

如果你本来就不会校对、也不懂怎么做 ASS 字幕,这个处理完相当于一步到位的 AI 成品,可以直接发布。

调参和换模型仍然是重要的,好的显卡大的内存也是重要的。——来自 Memory OOM 的总结

视频效果可见:

可以看到在句子连续的情况下没什么问题,但是在梗、人名、专有名词和断句上仍然存在问题,甚至会导致漏句。

适合场景:非大型视频网站视频搬运(比如 Niconico?)(因为 y2b 字幕外挂太多,根本用不上,除非你要搬到 B 站) 动画也可以,但是这年头里番都有字幕组汉化了,不会真的有人看这么冷的吧。

Linly-Dubbing

项目地址:https://github.com/Kedreamix/Linly-Dubbing

Features:

  • 多语言支持: 支持中文及多种其他语言的配音和字幕翻译,满足国际化需求。
  • AI 智能语音识别: 使用先进的AI技术进行语音识别,提供精确的语音到文本转换和说话者识别。
  • 大型语言模型翻译: 结合领先的本地化大型语言模型(如GPT),快速且准确地进行翻译,确保专业性和自然性。
  • AI 声音克隆: 利用尖端的声音克隆技术,生成与原视频配音高度相似的语音,保持情感和语调的连贯性。
  • 数字人对口型技术: 通过对口型技术,使配音与视频画面高度契合,提升真实性和互动性。
  • 灵活上传与翻译: 用户可以上传视频,自主选择翻译语言和标准,确保个性化和灵活性。
  • 定期更新: 持续引入最新模型,保持配音和翻译的领先地位。

请输入图片描述

这个工具特别适合流水线搬运视频,我们在上网冲浪时经常会看到搬运的配了音的科普视频,有了这个,你可以很轻松的当搬运区 UP。

二次元特攻模型

在开始其他内容的介绍前,先介绍一下基准技术:SakuraLLM。

项目地址:https://github.com/SakuraLLM/SakuraLLM/tree/main?tab=readme-ov-file

  • 基于一系列开源大模型构建,在通用日文语料与轻小说/Galgame等领域的中日语料上进行继续预训练与微调,旨在提供开源可控可离线自部署的、ACGN风格的日中翻译模型。

接下来几种翻译形式大部分都是基于 SakuraLLM 落地的实际工具。

游戏翻译

游戏翻译,尤其是 Galgame 翻译也是一个考验语言功底的内容,举两个非常简单的个人认为现阶段机翻无法替代的内容:

请输入图片描述

秋深し、隣はなにも、しない人 晨意微寒秋渐深,闲伴无事俏佳人
秋深し、情けは人の、為ならず 梦里不觉秋已深,余情岂是为他人
——白色相簿 2

我在尽可能的让机翻翻译的工整对账,充满文艺气息的版本是:「秋意深浓,邻家静坐,善意施人,非为他人。」

从意境的角度还是有一定差距。

此外,当我们谈论游戏的时候,就不得不意识到上下文连贯和本地化的重要意义。比如「逆转裁判」中使用了大量的谐音梗,甚至作为了案子线索的一部分,如果直译的话最坏的结果就是游戏根本打不下去,关于逆转裁判用了多少谐音梗,可见:https://www.bilibili.com/read/cv34832033/?jump_opus=1

Based On SakuraLLM

说了这么多,日语苦手至少多了一个选择(也不是不能玩),以下几个基于 SakuraLLM 的如果有需要都可以试试。

本来我确实想试试,奈何找了几个 Gal 都是有汉化的……

巴哈姆特的 LunaTranslator 教程细的很:https://forum.gamer.com.tw/C.php?bsn=60599&snA=41884

RenpyThief

支持 Unity 之类的游戏,肉眼来看相比上面几个至少多支持了一种引擎,缺点是有免费额度,多了要钱(配置 OpenAPI Key 怎么不能算一种要钱呢)。更像是一个成熟的商业产品。

项目地址:https://lion.craft.me/RenpyThief

NGA 老哥表示:https://nga.178.com/read.php?tid=38871232&rand=174

轻小说翻译

轻小说在传统的翻译中面临的主要挑战是背景解释和译者吐槽(其实一部分人也不喜欢看译者吐槽,觉得有点 OOC)。总的来说有了 SakuraLLM 基本属于专业对口,关于落地应用可以直接看下面两个:

漫画翻译

传统翻译流程

和动画翻译一样,针对漫画翻译,我们再从传统翻译流程开始讲起:

请输入图片描述
可能会给大家困扰的点是:「修图」和「嵌字」有什么区别。

因此我在网上找了一张比较好理解的解释图:

请输入图片描述
简单的来说,漫画不仅仅是由气泡框组成的,一些漫画背景中也会有文本量,这种时候就更需要 PS 技巧了。

机翻

在嵌字的翻译上,目前漫画翻译项目已经做的很不错了:https://github.com/zyddnys/manga-image-translator,效果如下:

![[Pasted image 20240824113605.png]]![[Pasted image 20240824113629.png]]

但是在修图上差的还是有点远的。

不过这个工具不仅支持英语日语,还支持韩语,属实解决了大家看漫画的所有核心痛点了。

总结

如果大家光看一些英文冲浪的普通翻译来说,可能真的会得出「翻译岗位已经没有人要」的结论。

但是从上面的分析来看,垂类领域翻译,尤其是会做本地化的翻译还是非常重要的,虽然也不能说多年之后的发展会怎么样,但现阶段,咱们还是感谢带中文的游戏和民间汉化组吧。

另外:跑这个真吃 GPU,还好我换了新电脑。

植入部分

如果您觉得文章不错,可以通过赞助支持我。

如果您不希望打赏,也可以通过关闭广告屏蔽插件的形式帮助网站运作。

标签: 知识

添加新评论