パナソニックHDが開発した触覚反応AI「T-Rex」の革新技術に迫る

パナソニックHDが開発したロボット操作AI「T-Rex」

パナソニックホールディングス株式会社（パナソニックHD）は、カリフォルニア大学バークレー校やNVIDIA、スタンフォード大学などと共同で、触覚に応じてリアルタイムで動作を調整するロボット操作AI「Tactile-Reactive Dexterous Manipulation（T-Rex）」を開発しました。この技術は、視覚と言語だけでなく、指先の触覚情報を活用して器用な両手作業を実現します。

T-Rexの革新性

従来のVLA（Vision-Language-Action）モデルは視覚的なデータに依存していましたが、T-Rexは触覚情報を統合することで、作業における細やかな力加減や接触する物体の状態に瞬時に対応可能です。例えば、薄いカードを引き出す時や、鍵を回す時など、従来のモデルでは困難だった微細な調整が行えるようになっています。

実験結果では、T-Rexは12種類の実環境タスクにおいて、平均成功率65％を達成しました。これは既存の手法を30ポイントも上回る素晴らしい性能です。この成果は、2026年11月にアメリカのオースティンで開催される国際会議「Conference on Robot Learning（CoRL）」において発表される予定です。

技術の詳細

T-Rexの特徴は、視覚・言語を基にした低頻度の動作生成と、指先から得られる触覚に応じた高速な動作修正を一つのモデルに統合している点です。具体的には、視覚と言語処理を行うモジュールが5 Hzで動作の大枠を作成し、一方で触覚処理を行うモジュールが20 Hzでリアルタイムに接触状態を捉えています。

これにより、カメラによる画像認識の遅延を気にせず、接触があった際の微妙な動きの補正を即座に行うことができます。このアプローチは、ロボットが接触している物体を自然に扱うための有効な手段となります。

学習データの収集

本研究チームは、描写された日用品と基本動作を組み合わせて、合計7,700件を超えるロボット操作データを収集しました。データには、映像情報、ロボットの状態、触覚センサからのデータ、自然言語の指示が同期して記録されています。これにより、T-Rexは多様な状況において高い適応能力を持つことが証明されています。