カラクリが開発した国産AI、動画一つでPC業務を自動化する新技術

新しい業務自動化の時代が到来

カラクリ株式会社が開発した新たなAIアプリケーションが、動画を撮影するだけでPC業務を自動化する技術を実現しました。この画期的な技術は、株式会社TENTIALにおけるカスタマーサポート現場での実証実験によって、年間約200時間の業務削減効果が確認されています。

開発の背景

今や国内のコンタクトセンター市場は約1兆円規模に達し、さまざまなツールが日常的に利用されています。これに伴い、自動化ツールであるRPAの導入例も増えてきましたが、その多くはエンジニアによる設定やシナリオ構築が求められるため、現場での導入は容易ではありませんでした。このような状況を踏まえ、カラクリは「新人に教えるように、AIに教える」という新たなコンセプトのもと、動画撮影だけで自動化を始められるアプリケーションを開発しました。

自動化プロセスはシンプル

このアプリケーションは、次の3つのステップで業務の自動化を実現します。

1. 業務を撮影する
- 自動化したい業務を画面録画しつつ、口頭でその内容が説明されます。このときの感覚は、新人スタッフに業務を教えるのに近く、普段通りの操作を行うだけです。

2. マニュアルを自動生成する
- Googleが開発した大規模言語モデル「Gemini」が、この撮影された動画を解析して業務手順書を自動で作成します。音声と映像を基に、再現可能な手順書へと変換されます。

3. AIが業務を自律実行する
- カラクリが独自に開発した視覚言語モデル「KARAKURI VL2」が、生成された手順書に基づいてPC操作を自律的に実行します。設定にかかる時間は業務動画の撮影とアップロードを含めて約15分です。

実証実験の結果

株式会社TENTIALとの実証実験では、「お問い合わせの振り分け作業」を対象にして効果が検証されました。結果として、わずか15分の初期設定で年間約200時間もの業務削減が見込まれました。

項目	内容
----	---------
対象業務	お問い合わせの振り分け作業
初期設定	業務動画の撮影・アップロード（約15分）
削減効果	年間約200時間

技術の構成

本アプリケーションは、各工程に最適なAI技術を組み合わせて構成されています。

工程	担当技術	役割
----	----	--------
マニュアル自動生成	Google Gemini	動画の解析と手順書の自動作成
PC操作の自律実行	KARAKURI VL2	手順書に基づくPC画面の認識と操作
アプリ全体	カラクリ	ソリューション設計と開発、UI構築

KARAKURI VL2は、経済産業省の支援を受けて開発された国産視覚言語モデルです。特徴としては、約80億パラメータを持つ軽量設計で、ローカル環境での動作が可能です。また、機密データを外部に送信せずに運用できるため、セキュリティが求められる業務環境でも特に適しています。

未来に向けて

カラクリは今後、KARAKURI VL2をベースにしたAIエージェントアプリケーションのサービス化を進めていく予定です。カスタマーサポートの現場を出発点に、レガシーシステムを含む複数アプリケーション間の操作自動化を拡大し、「人に教えるようにAIに教える」ことで、あらゆるPC業務の自動化が実現できる未来を目指します。

会社情報

カラクリは「Friendly Technology」というビジョンを掲げており、大規模言語モデルを活用したカスタマーサポートの実用化に取り組むAIスタートアップです。2018年から研究を開始し、2022年からはGPTを含む大規模言語モデルの研究に本格的に着手しています。これまでの成果には、さまざまなプログラムへの採択が含まれています。