スマホでリップシンクと音声合成が実現した最先端AI技術を紹介

スマホのブラウザで実現した音声合成とリップシンクの新時代

全力機械株式会社は、スマートフォンのブラウザ内で動作する革新的なAIアバターの技術を発表しました。この技術は、従来のGPUサーバーによる大規模な処理を必要とせず、ユーザーの端末内で音声合成と実写リップシンクがともに実行されることが大きな特徴です。これにより、コミュニケーションがよりリアルタイムでスムーズになります。

従来のAIアバターは、音声と映像を生成するためにクラウドを利用するのが一般的でした。その結果、高額なGPUサーバー費用がかかり、通信の遅延も発生していました。しかし、全力機械の新技術「ZEN-LipSync」および「ZEN-TTS」により、これらの制約が一掃されました。

超高速なAIリップシンクと音声合成

全力機械によって開発された「ZEN-LipSync」は、スマホのSafariやChromeブラウザ内で実写のリップシンクをリアルタイムに実行できる最も高速なモデルです。ユーザーは、わずか0.3秒で音声への反応が得られ、待ち時間を最小限に抑えています。また、「ZEN-TTS」も世界一のスピードを誇り、商用利用も可能な日本語の音声合成が行えます。

コスト削減と効率的な処理

従来のGPUを用いたシステムに比べ、全力機械の新技術はコスト面でも非常に効果的です。例えば、同時接続100のユーザーがいた場合、必要となるGPUの台数は50台ですが、CPUサーバーを利用することで同じ規模を月あたり53.8万円に抑え込むことが可能になりました。つまり、ユーザーにとっても大きな経済的メリットが期待できるのです。

高速での処理と効率的なリソース利用

すべての処理が端末内で行われるため、音声合成やリップシンクの動作にかかるコストがゼロになるという点も見逃せません。また、音声認識やVAD（話し始め・話し終わりの検出）も端末内で行われるため、高速な応答が可能となっています。例えば、iPhone Airでは、5秒の音声を生成するのにたったの約138ミリ秒しかかからないという驚異的な性能を発揮します。

SDKとデモの提供

全力機械では、今回の技術を利用したSDKを公開することで、他の開発者がリアルタイムの対話システムやリップシンク動画を簡単に作成できるようにしています。デモンストレーションも実施されており、実際に体験することが可能です。興味のある方は、こちらのデモページを訪問してください。

会社情報

全力機械株式会社は、東京に本社を置き、人工知能やITコンサルティングに注力している企業です。設立は2018年で、最新のAI技術を駆使したサービスの展開を行っています。これからも、さらに多くの革新を期待できる企業です。

この新たな技術の実装が、AIアバターの未来にどのように影響を及ぼしていくのか、今後が非常に楽しみです。