mlsubgenは動画の字幕を37言語で自宅のGPUだけで作るOSS、タイ在住の個人が公開

タイ在住の個人開発者が、動画のフォルダを指定するだけで多言語の字幕ファイルを作るオープンソースのツール「mlsubgen」を公開しました。音声の書き起こしも翻訳もすべて手元のNVIDIA製GPUで処理し、翻訳先として37言語に対応します。作者は現地時間10月3日にRedditのr/LocalLLaMAで紹介しました。

何を作ったか

mlsubgenとは、動画を置いたフォルダで mlsubgen と打つと、その下の全動画に「動画名.en.srt」「動画名.th.srt」のような言語別の字幕ファイルを書き出すツールです。名前は multi-language（多言語）と machine-learning（機械学習）の頭文字から来ています。ライセンスはApache 2.0です。

作者がRedditに書いたところでは、きっかけはタイ人の友人や、タイ人のパートナーがいる外国人の友人のために「クレヨンしんちゃん」のタイ語字幕を作ることでした。READMEでは、個人の動画コレクション向けの日本語→英語ツールとして始まったと説明しています。

外部と通信するのは、最初にモデルをダウンロードするときだけだとしています。ジョブの順番待ち、一時停止・再開、Web画面も備えており、作った字幕はJellyfinやPlexなどのメディアサーバーがそのまま読み込めます。

どう作ったか

設計の考え方は「ファイルにすでにある手がかりを先に使う」です。処理は次の順で、上で済めば下には進みません。

1. 目的の言語のテキスト字幕が動画に入っていれば、それをそのまま使う
2. Blu-rayの画像形式の字幕（PGS）があれば、文字認識（OCR）で読み取る
3. 話している言語の字幕があれば、それを元に翻訳する（聞き取りはしない）
4. 何もなければ、音声を聞いて言語を判定し、書き起こしてから翻訳する

音声を聞く場合は、約10秒ごとに言語を判定します。日本語の番組に英語のインタビューが混ざるような動画にも対応するためです。書き起こしはQwen3-ASR-1.7Bとfaster-whisper large-v3の2つを毎回かけ、結果が食い違う箇所だけを翻訳用のLLMが突き合わせて直します。翻訳はOllama経由で20行ずつ前後の文脈を渡して行い、登場人物の名前は作品ごとに1回だけ訳を決めて最後まで統一します。

翻訳モデルは、日本語→英語にQwen3.8 27B、それ以外の組み合わせにGemma 4 31Bを使うのが標準です。GPUのメモリが少ない機種では、Gemma 4の26B MoE（1トークンで動くのは約4B）の一部だけをGPUに載せ、残りをメインメモリで動かします。作者の計測では、10分の試験動画のタイ語訳がこの構成で68秒、31Bをすべて24GBのGPUに載せた場合は103秒でした。

動かすにはLinuxとNVIDIA製GPU（最低8GB、推奨24GB）、メモリ16GB以上、ディスク30〜65GBが必要です。AMDやApple、Windowsには対応していません。

開発にはAIを使っています。作者はRedditで、AnthropicのFableに大きく頼って作ったものの、公開前に数か月かけて自分のライブラリで試したと書きました。READMEにも、コードはClaudeの助けを借りて書き、作者が見直して毎日使っていると明記しています。

成果と、作者が示した限界

翻訳の品質は、作者が1話分の英語字幕を45言語に訳して読み比べるという方法で確かめました。その結果、日本語・韓国語・タイ語・ドイツ語など29言語は「よく読める」、中国語・ヘブライ語など7言語は「誤りはあるが使える」と判定しています。ギリシャ語やハンガリー語、クメール語など8言語は造語や他の文字の混入が目立ったため、翻訳先から外しました。Redditの投稿題は「45言語」でしたが、現在のREADMEで翻訳先として選べるのは37言語です。

Blu-rayの画像字幕の読み取りでは、英語で行単位の一致95%、タイ語で77%と公表しています。日本語は別の字幕との比較で一致51%にとどまり、作者は表示タイミングの違いやふりがなが主な原因だと説明しています。

作者は限界も並べています。2つの言語が素早く入れ替わる動画では言語判定を誤ることがあり、話者の聞き分け機能は映画だと人数を多く見積もりがちなため既定でオフです。8〜16GB向けの設定は24GBのGPUで条件を絞って測った値で、実機での報告を求めています。Web画面は既定ではログインがないため、社内LANかVPNの中で使うよう注意書きがあります。

日本のビジネスへの影響

• 使えるか: 無料のOSSで、日本語は翻訳元としても翻訳先としても対応しています。日本語→英語の翻訳には標準でQwen3.8 27Bを使う設定です。ただしLinuxとNVIDIA製GPUが前提で、Windowsのノートパソコンでは動きません。
• 誰にどう効くか: 社内研修動画やウェビナーの録画を海外拠点向けに多言語化したい人事・マーケティング担当者に向きます。映像を外部のクラウドに上げられない案件でも、手元の1台で英語・タイ語・ベトナム語などの字幕をまとめて作れます。
• 今すぐやれること: RTX 4090などを積んだLinux機があれば、Dockerで立ち上げ、10分ほどの動画1本で mlsubgen bench を使って翻訳モデルごとの出来を比べるのが近道です。クラウドの文字起こしサービスと比べたい場合は文字起こしAIのガイドも参考になります。
• 注意点: 個人が1人で保守する趣味のプロジェクトだと作者自身が書いており、業務の本番に使うなら人の確認が欠かせません。翻訳に使うGemma 4はGoogle独自の利用規約、Qwenや音声認識モデルはそれぞれのライセンスに従います。字幕を付ける動画そのものの著作権の扱いも別途確認が必要です。