ZOZO研究所がSIGGRAPH Asia 2024にて論文採択！AIによるファッション美的評価の実証分析

ZOZO研究所が世界的カンファレンスで成果を発表

株式会社ZOZO NEXTが運営する「ZOZO研究所」が、2024年に行われるコンピュータグラフィックスの国際会議「SIGGRAPH Asia 2024」のTechnical Communicationsにおいて、論文が採択されたことを発表しました。今回の研究で著者となったのは、当所の研究員である平川優伎さんです。彼が執筆した論文は、「An Empirical Analysis of GPT-4V’s Performance on Fashion Aesthetic Evaluation」（邦題：ファッション美的評価におけるGPT-4Vのパフォーマンスに関する経験的な分析）です。この研究は、AI技術を活用し、ファッションの美的評価に関する新たな知見を提供するものです。

研究背景

ZOZO研究所は、「ファッションを数値化する」というミッションを掲げており、AI技術を活用して様々なファッション関連の問題を解決することに取り組んでいます。特に、写真の中で人物に最も似合うファッションコーディネートを予測する技術（ファッション美的評価）は、今後のファッション推薦システムの進化に欠かせない基盤技術です。従来の購買履歴や閲覧歴に基づく推薦システムから、より効率的で精度の高い推薦が可能になることが期待されています。

通常の美的評価に関する研究では、多様な画像を認識できる大規模言語モデルであるGPT-4Vが、人間による評価と非常に高い相関を示すことがわかっています。この高い相関関係がファッションの美的評価でも成立するのか、ZOZO研究所はこの仮説を検証するために研究を行いました。

論文の概要

本文では、ファッション美的評価におけるGPT-4Vの有効性を探るため、数百人の人による評価データを基にした信頼性の高い検証用データセットが構築されました。このデータセットは、30代の女性モデルが異なるコーディネートを着用した多様なスナップ写真から成り立っています。

研究では、 OpenSkillというオンラインレーティングシステムを使用し、評価ツールを開発しました。具体的には、同じ人物が異なるコーディネートを着用している2つのスナップ写真に対し、どちらがより似合うかを評価することを繰り返し行いました。その結果から得られた評価値をもとに、GPT-4Vと人間の評価との整合性を検証しました。

実験結果

実験により、GPT-4Vはファッションコーディネートアプリ「WEAR by ZOZO」における評価指標よりも人間の評価により近い結果を予測できることが明らかとなりました。しかし、コーディネートの色の多様性が乏しい場合には、人間評価との整合性が低くなる傾向が見られ、今後の研究によってさらなる改善が求められます。

今後の展望

本研究の成果は、GPT-4Vのファッション美的評価における有効性を示唆しています。今後は、より多くのデータを収集して、GPT-4Vが持つ傾向のバイアス分析を進め、ファインチューニング技術の有効性についても研究を続ける予定です。この研究によって、ファッション業界におけるAI技術の進化と、消費者への新しい価値提供が加速することが期待されています。