次世代XRライブシステム「Matrix Stream」の全貌と特長を紹介

次世代XRライブシステム、Matrix Streamの紹介

NILLとOpus Studio、NTTコノキューが技術協力した新しいXRライブシステム「Matrix Stream」が、10月26日から28日の期間中、幕張メッセで開催される「XR総合展 2022 秋」に出展されます。このシステムは、音楽やエンターテイメントの新たな可能性を切り拓くものと期待されています。

主な出展内容

1. VRでのライブ映像体験

本展では、「直感×アルゴリズム♪ 3rd Season」のキャラクターTacitlyのライブ映像を、壁面のビジョンや一体型VRゴーグルで体験できる機会が提供されます。この体験は、単なる観客としてではなく、仮想空間の中での体験となります。

2. 複数人での仮想ライブ観賞

「Matrix Stream」は、Tシャツやペンライトといった個別認識機能を持つアイテムを通じて、VRゴーグルを装着した利用者たちが同じ空間でライブを観覧できるという独自の体験を提供します。観客同士がつながり合い、共に感動を分かち合うことができます。

3. 多視点でのカメラスイッチ体験

ユーザー自身がカメラスイッチングを体験できる機能も用意されており、Tacitlyのライブ映像を、好きな視点から楽しむことが可能です。

Matrix Streamのシステム概要

このシステムは、XRスタジオのモーションキャプチャを利用し、演者の動きをリアルタイムでバーチャルキャラクターに反映させます。生成されたXRコンテンツは、音楽ライブや番組として、リアル会場のスクリーンやVR、オンラインプラットフォームに同時に配信することが可能です。

特徴

1. 多様な配信形態: 国内外を問わず、イベントごとに異なる形態での配信を行え、視聴者はアバターとなり、同じ空間で体験することができます。

2. 高クオリティなリアルタイム映像: 独自開発のシェーダー技術を利用して、リアルタイム性と高品質な映像を両立。バーチャルキャラクターやエフェクトで、より表現力豊かなエンターテイメントを実現しています。

3. インタラクティブな演出: 様々な配信プラットフォームの機能との連携を可能にすることで、視聴者のコメントやリアルタイムの反応が、XR空間の演出に影響を与えるといったインタラクティブ性を持たせています。例えば、日本と中国での同時生配信中、各国の視聴者からのリアルタイムコメントに応じて、演出が変わる可能性があります。

4. オペレーションの省力化: 従来のシステムでは手動で行われていたキャラクターのセットアップが、自動化により容易になります。これにより、ライブ本番には少人数での操作が可能になり、コスト効率の良い運営を実現します。