イレブンラボ、感情を忠実に再現する吹き替えAI「Dubbing v2」API提供開始

新しいDubbing APIでは、従来は生成と編集で異なるエンドポイントを使い分ける必要があったワークフローを統合しました。多言語吹き替えの作成からスクリプトの調整、セグメント単位の再生成までを1つのAPIで行えます。エンタープライズ向けには、独自のスクリプトや翻訳文を指定して吹き替えを生成する機能や、特定のセグメントのみを修正・再生成する機能も提供します。また、感情表現やニュアンスを重視する「Dubbing v2」と、コスト効率や大規模処理を重視する「Dubbing v1」を同じAPI内で切り替え可能です。試行錯誤を支援するため、素材音声の再生成には元の素材尺の最大3倍までの無料枠が標準で用意されています。

「Dubbing v2」は、音声を音声へ直接変換するアーキテクチャを採用しています。従来の「音声認識→翻訳→音声合成」というパイプライン方式とは異なり、出力音声を入力音声に基づいて生成するため、オリジナルの感情表現やパフォーマンスのニュアンスをより忠実に反映できます。今回のAPIリリースに伴い、モデルの機能も向上しました。感情やパフォーマンスの再現力が高まり、話者本人の声のクローンを用いた自然な多言語翻訳が可能です。発話のタイミングが映像と自然に一致しやすい設計で、映像側へのAIリップシンク加工は行いません。また、BGMや効果音の保持精度も向上し、複数話者が入り交じる複雑なシーンでもクリアな吹き替えを実現します。

「Dubbing v2」は日本語・韓国語を含む92言語に対応しています。BCP-47言語コードを用いて、スペイン語のカスティーリャ語とラテンアメリカ、ポルトガル語のブラジルなど、地域ごとのアクセントやニュアンスを正確に指定できます。これにより、単なる翻訳ではなく、各地域の視聴者に自然に受け入れられるローカライズが可能です。

イレブンラボは、クリエイター、メディア企業、エンタープライズなど、グローバルな視聴者に向けて高品質なローカライズコンテンツを届けたい層を主な対象としています。具体的には、動画クリエイターやゲームスタジオによるキャラクターダイアログ・カットシーンのローカライズ、CPGブランドや旅行・宿泊業界による多言語マーケティング動画の制作、配信・メディア企業による映画やドラマなど長尺コンテンツの多地域展開などでの活用を想定しています。映画・TV品質の吹き替えは従来、1分あたり数百ドル規模のコストがかかるとされていますが、「Dubbing v2」はこうした高品質な吹き替えをより幅広い層に届けることを目指しています。なお、ライブ配信映像などのリアルタイム吹き替え機能は本ローンチの対象に含まれていません。

「Dubbing v2」が対応する92言語には日本語・韓国語が含まれており、アニメ・ゲーム・映像コンテンツなど日本発コンテンツの海外展開時の多言語吹き替えや、海外コンテンツの日本語吹き替えの両方向での活用が見込まれます。高品質な吹き替えを低コストで実現することで、日本企業のグローバル展開を加速する可能性があります。

A. イレブンラボが提供する、オリジナル音声の感情やニュアンスを保ったまま92言語に吹き替えできるAIモデルです。

A. 音声を音声へ直接変換する方式を採用し、音声認識から翻訳、音声合成を経由する従来型よりも感情表現を忠実に再現できます。

A. 吹き替えの作成に加え、スクリプトの編集や特定セグメントの再生成まで、単一のAPIで一通り完結できます。

• https://elevenlabs.io/docs
• https://elevenlabs.io/ja
• https://www.linkedin.com/company/elevenlabs-japan/

O!Productニュース編集部からのコメント

音声AIの企業利用を支援する新たな提供体制です。対応言語や音声品質に加え、権利・同意管理の運用も確認が必要です。

引用元：PR TIMES