同大コンピュータ科学科のKurt Luther助教授は、研究に着手することになったきっかけを、2013年にピッツバーグで開催された南北戦争に関わる展示を訪ねた際、ペンシルバニア歩兵連隊に所属していた数世代前の先祖の写真を見つけたことだったという。「歴史的な写真は、単に家族の歴史に留まらず、教科書を読む以上に深いメッセージを語ってくれる」とLuther助教授。

南北戦争時代の古い写真は約400万枚に上り、写真の中の兵士を特定の人物に識別するのは、干し草の山から針を探すようなものだ。だが研究チームは、まさに「干し草の山から針を探す方式」を採用した。この方式は、干し草の山の構築、干し草の束への絞り込み、そしてその束から針を見つけるという3ステップで構成される。

Photo Sleuthは、米国戦史研究所などの公的機関および私的な所蔵にあるパブリックドメインな1万5000以上の特定された兵士の写真の参照データベースからスタートした。次に、クラウドソーシングを通してユーザーに南北戦争兵士の写真の表裏のスキャン画像を投稿させる。アップロードの際には、写真の形式や題辞とともに、着衣の色や袖章、肩章、襟や帽子の記章などの視覚的な手掛かりになるメタデータを付ける。このようなタグは、検索フィルターにリンクされており、マッチングの優先順位付けに使われる。例えば、帽子に「狩猟用ラッパ」の記章がある兵士の場合、歩兵隊に従軍した兵士に対応する可能性が大きく、騎兵隊や砲兵隊からは除外される。

次に、参照データベースと詳細不明な写真を突き合わせ、最先端の顔認証技術を使い、全く異なって見える顔を除外し、似ている残りの人達を選別する。タグ付けと顔認識の組み合わせが、干し草を束へと絞り込む。最後に、確率が最も高いマッチングを詳細に探索することにより、干し草の束から針を探すことになる。こうして、誤検出のリスクを減らしながら、不詳の兵士を特定することができる。

この研究チームの活動は、マイクロソフトの「Cloud AI Research Challenge」にエントリーして賞金を獲得、学会においても最優秀デモ賞に輝いた。Photo Sleuthは、歴史的な写真を特定することを超えて、人間と人工知能の各々の強さを補完的に活用する、新しい認識システムを生み出す可能性がある。

（fabcross for エンジニアより転載）