このプロジェクトは、天気予報の情報から画像を生成し、具体的な気象条件をピカソが描いたような抽象的な絵で表現してディスプレイに表示するというものだ。例えば、傘をさす人物で雨天を、空に渦巻く模様で強風を表現する。

このシステムは、Raspberry Pi Pico、イーサネット通信対応のマイコン評価ボード「W5100S-EVB-Pico」、SeeedStudio製0.66インチ有機ELディスプレイで構成。Pythonライブラリー「Beautiful Soup」を使用したWebスクレイパーを使って、韓国の大手ポータルサイトNAVERから天気情報をスクレイピングし、取得データから「晴れ」や「雲」などその日の天気に関連する単語や気温データを抽出している。

画像生成用のストーリー作成にはOpenAIのチャットボット「ChatGPT」を、また、ピカソの抽象画のような画像生成には同社の画像生成AI「DALL-E 2」を使用。スクレイピングで取得したデータから抽出した天気に関する単語と気温に対応したストーリーをChatGPTで生成し、さらにそのストーリーをDALL-E 2に入力して画像を出力している。

ChatGPTでストーリーを出力する時のプロンプトには「あなたはとてもクリエイティブで面白いライターです」という前提を加えた上で、独創的なストーリーを2文以内で紡ぎ出すように指示している。

生成された画像は、Raspberry Pi PicoのフラッシュメモリーにBMP形式で保存してからディスプレイに表示する方法を採用している。ただし、データの入出力時はSRAMにデータが格納される関係上、DALL-E 2での画像生成時に出力画像のサイズをSRAMのメモリーサイズより大きくすることはできない。また、画像サイズが53KBを超えると、プログラムが正常に動作しなくなるとのことで、開発者は将来的にこの部分を改良したいとしている。