メタバース研究の成果が国際会議ICML2024に採択！クラスターメタバース研究所の革新的な研究

国内最大級のメタバースプラットフォーム「cluster」を運営するクラスター株式会社は、同社のメタバース研究所が発表した研究論文が、機械学習のトップカンファレンスであるInternational Conference on Machine Learning (ICML) 2024に採択されたと発表しました。

今回の論文は、メタバース研究所の早瀬友裕氏を中心としたチームが執筆したもので、深層学習におけるMLP-Mixerのスパース性に着目した研究成果が評価され、採択に至りました。

MLP-Mixerのスパース性に着目した研究

深層学習の分野では、近年、MLP（多層パーセプトロン）に基づいた構造、特にMLP-Mixerが注目されています。しかし、従来のMLPと比べてMLP-Mixerがどのように優れているのか、そのメカニズムは十分に解明されていませんでした。

早瀬氏らのチームは、この謎を解き明かすため、MLP-Mixerのスパース性に着目した研究を行いました。その結果、MLP-Mixerの性能向上にスパース性が大きく貢献していることが明らかになりました。

幅広いスパースMLPとしてのMLP-Mixer

論文では、クロネッカー積を用いることで、MLP-Mixerを幅の広いスパースMLPとして表現できることを示しました。この表現を用いることで、スパース性によって深層学習分野で期待されている特性が、実際にMLP-Mixerで具現化していることがわかりました。

具体的には、活性化関数を抜いた場合、MLP-Mixerが暗黙的なスパース正則化を引き起こしていること、および、スパースパラメータ行列の一形態であるモナーク行列との隠れた関係を持っていることを明らかにしました。

さらに、一般的なケースにおいても、MLP-Mixerと非構造化スパース重みMLPとの間に定量的な類似性があることを実証しました。この類似性は、ノード接続数を固定したとき、幅とスパース性が増大するにつれて性能が向上するという性質によって示されています。

クラスターメタバース研究所の今後の展望

クラスターメタバース研究所は、今後もメタバースにおける様々な課題を研究し、より創造的なメタバース空間の実現を目指しています。今回の研究成果は、今後のメタバース空間の進化に大きく貢献するものと期待されています。

早瀬友裕氏について

早瀬友裕氏は、2019年に東京大学大学院数理科学研究科にて博士（数理科学）を取得しました。博士課程では、ランダム行列、自由確率論、作用素環論を用いた機械学習の研究に取り組んでいました。大学院卒業後は、富士通人工知能研究所にて深層神経回路の理論研究、Contrastive Learning、転移学習の研究に従事していました。2022年には、クラスターメタバース研究所に一人目の研究者として加わりました。

クラスターメタバース研究所について

クラスターメタバース研究所は、「人類の創造力を加速する」というクラスター全体の目標を先導しています。科学的な知見やプラットフォームに蓄積されるデータを活用し、CV/CG/HCI/VR/BMIおよび、全体をまたぐML領域の研究に取り組み、プラットフォームであるクラスターに短期的・長期的を問わず還元していく成果と、人類全体を前に進めるアカデミックな成果も生み出し、融合していくことを目指しています。

クラスター株式会社について

クラスター株式会社は、誰もがバーチャル上で音楽ライブ、カンファレンスなどのイベントに参加したり、友達と常設ワールドやゲームで遊ぶことのできるメタバースプラットフォームを展開しています。スマートフォンやPC、VRといった様々なデバイスから数万人が同時に接続することができ、大規模イベントの開催や人気IPコンテンツの常設化を実現しています。

同社は、バーチャル大阪、渋谷区公認のバーチャル渋谷、ポケモンのバーチャル遊園地「ポケモンバーチャルフェスト」など、数多くのメタバースイベント事業を実施しています。