機械学習エンジニアのVictor Sonck氏が作ったこのシステムは、Raspberry Pi経由でパソコンのロックを定期的に実行し、ロック解除するには設定した回数の腕立て伏せを実行する必要がある。Raspberry PiはAIカメラ「OAK-1」に接続されており、カメラからの映像で腕立て伏せの回数を検知する。設定回数分の腕立て伏せをカウントした後、リモートコントロールでロックを解除する仕組みだ。

Raspberry Piとパソコンの接続にはSSHを使用し、腕立て伏せの検知には機械学習モデルを採用している。カメラで撮影した動画を1フレーム単位で解析し、Googleの姿勢推定技術「BlazePose」によってフレームごとに骨格の位置を取得し、腕立て伏せが実行されたかどうかを判定している。

BlazePoseモデルは、人体が写っている画像データから骨格のみをデジタル化して人体の姿勢を推定するので、最初にBlazePoseモデルを実行することで、腕立て伏せの判定に必要なデータは保持しつつ不必要なデータの削減に成功している。元の動画データは数万ピクセルもあるが、腕立て伏せの判定には骨格関節に関連する33個の座標のみを使用している。

Sonck氏によると、実装において苦労した部分はロックの実行ではなくロックを解除する仕組みだったとのこと。ロック実行はスクリーンセーバーのコマンドを呼び出すだけでできるが、ロック解除にはメインシステムの認証パスワードを求められるため、xdotoolユーティリティを使用し、コマンドラインから任意のキーストロークを送信することで解決している。