同研究成果は、2023年5月29日～6月2日にロンドンで開催されるロボット関連の国際会議「ICRA 2023」で発表される予定である。

FRIDAは、絵筆を付けたロボットアームで、OpenAIのChatGPTのような人工知能（AI）モデルなどを使って、人間と協働で芸術作品を制作する。FRIDAに絵を描くように頼むと、筆をとって作業をはじめるのだ。

ユーザーは、テキストで説明を入力、または、インスピレーションとなる他の作品や写真を投稿することで、FRIDAに指示できる。また、研究チームは、音楽などの音声入力による方法も試みている。

FRIDAは、絵画製作過程において、何度か機械学習を利用する。まず、絵筆の使い方を学習し、次にインターネットから収集したテキストと画像を組み合わせた大規模なデータセットで訓練した視覚言語モデルを用いて、入力内容を理解し、新しいデジタル画像を生成する。

さらに、そのデジタル画像に基づいて、FRIDAは絵画を物理的に制作する。FRIDAは、コンピューターの画面上にカラーパレットを表示し、人間が調合してロボットに提供する。筆と絵の具を手にしたFRIDAは、最初の一筆を描き、その様子を頭上カメラで撮影し、画像から作業の進捗を確認し、必要に応じて計画を練り直す。現在、研究チームは、FRIDAによる絵の具の自動調合を開発中である。

カーネギーメロン大学のJean Oh准教授は、「FRIDAプロジェクトの最大の目的は、人間の創造性を高めることです。実際、画家になりたかった私が、FRIDAと共に自分のアイデアを絵で表現できるようになりました」と説明した。

（fabcross for エンジニアより転載）