ChatGPTが光回線キャッシュバックについての回答精度を検証した結果

ChatGPTによる光回線キャッシュバックの回答精度検証

はじめに

2026年5月、株式会社クラシェルジュは「AIに聞いてみた」シリーズの一環としてChatGPTに光回線のキャッシュバック金額について合計200回の質問を行い、その結果を公式情報と照合しました。この調査は、生成AIの回答精度を評価する重要な試みとして注目されています。

検証の背景

近年、電力やインターネット回線の選択にAIを活用する人々が増加しています。2026年4月の調査では、AIを使った比較検討を行う人は76.8%に達し、誤った回答を受けた経験がある人は65%でした。しかし、81.2%が今後もAIを活用したいと回答しています。このような中で、AIの信頼性が問われることは必然なのです。特に、光回線のキャッシュバックは金額が数万円単位で変動し、ユーザーにとって実益につながる情報であるため、その精度は特に重要です。

検証内容

検証は2026年7月3日から14日の期間に行われ、質問内容は以下の2つです。
1. キャッシュバックが一番お得な光回線はどこですか？（100回）
2. ドコモ光10ギガを戸建てで新規申し込みした場合、現金キャッシュバックが最も高い申込窓口を教えてください。（100回）

検証方法

検証は毎回新しいチャットを開始し、過去の履歴が回答に影響しないようにシークレットモードを使用しました。また、すべての質問は統一条件の下で実施されました。

検証結果

結果概要

結果として、光回線のキャッシュバックに関する情報を提示した際、正確な金額を返答できたのは24.5%という厳しい評価となりました。同じ窓口を指定しても、金額のばらつきが最大93,700円から10,000円まで幅広く、信頼性が欠けていることが浮き彫りになりました。

特筆すべき誤答

条件を固定しても、AIは一部の窓口について誤って古い金額や現在利用できない窓口を推薦する結果となったことも大きな問題です。

信頼性の評価

100件の回答を4段階で評価すると、驚くことに信じて申し込める回答はわずか11件にとどまりました。残りの87件は、金額や取次停止状態に関して誤った情報を含んでいました。具体的には、最高額の窓口が誤って反映されていたり、実際の金額よりも低い数値が提示されるなど、ユーザーにとって損失を引き起こす可能性が高いものでした。

今後の展望

この調査結果を反映すると、光回線のキャッシュバック選びにおいてAIの回答は、あくまで一つの参考情報に過ぎないことが確認されました。最新のキャンペーン情報を把握するためには、公式情報の確認が不可欠です。クラシェルジュでは「AIに聞いてみた」シリーズを継続し、AIの回答精度を引き続き検証し、分析結果を公開していく予定です。多くの方がより的確な判断を下せるよう、最新情報をもとにしたサービス提供に努めてまいります。