rinna

法人向けサービス

音声とフェイスモーションの生成AIサービス

Koemotion

Koemotion(コエモーション)は、AIによるテキスト読み上げ機能に、フェイスモーションの生成やシーンにあわせた感情選択・感情予測機能が加わった音声合成サービスです。

Koemotionは、サービス名に含まれている「コエ」「エモーション」「モーション」を扱う生成AIサービスです。Koemotionサービスを構成する音声合成には2023年3月に先行公開したKoeiromapが組み込まれており、従来の音声合成製品のように事前に用意された特定の話者の音声を合成するのではなく、2次元空間(マップ)から任意の座標を選択することで話者の声色を多種多様に変更して音声を合成することができます。

■ Koeiromap(コエイロマップ)とは

Koeiromapでは、座標で指定された全ての話者の声色に7種類の感情を乗せて合成することができ、様々な組み合わせを実現します。また、入力されたテキストに込められた感情を推定する機能もあり、感情に合わせた発話スタイルで読み上げます。

■ Koemotion(コエモーション)とは

Koemotionは、Koeiromapで合成した音声と同期したフェイスモーションを生成し、2D・3Dモデルや画像生成AIと組み合わせることでキャラクターの表情を音声に合わせて動かせることができるサービスです。ブラウザ上のユーザーインターフェースまたはAPIのご利用が可能で、個人・法人向けに利用目的に合わせたサービスプランを用意しています。

Koemotionの特長

・Koemotionでは、入力したテキストの感情予測・音声の合成・フェイスモーションの生成ができます。

・音声合成を担うKoeiromapは106話者から収録した約110時間の音声を用いて、話者の声色を表現する2次元の空間が学習されています。この2次元空間から任意の座標を選択することで、106話者の中間的な話者の声色も合成することができます。

・ブラウザ上で動作する2次元マップのユーザーインターフェースを採用したKoeiromapでは、好きな声を見つける楽しみを体験できます。

・Koeiromapでは全ての話者の声色で通常・喜び・悲しみ・怒り・恐れ・驚き・囁きの7種類の音声を合成します。

・KoemotionではKoeiromapで合成された音声に合わせたフェイス(顔)のキーポイントを3次元座標のモーションとして生成します。この座標情報を用いることで、2D・3Dモデルのキャラクターの表情を音声と同期させて動かすことができます。

チャットボット