Google、頭や顔の動きだけでPC操作を可能にするオープンソースプロジェクト『Project Gameface』を発表。プレビュー版をGitHubで公開中

Googleは、頭や顔の動きによってPCゲームの操作を可能とする、オープンソースのプロジェクト『Project Gameface』を発表しました。

Googleが公開した動画では、顔の動きだけでゲームをプレイしたり、文字を描いたりする様子を確認できます。

『Project Gameface』は、筋力低下や筋萎縮をもたらす筋ジストロフィーを患うストリーマー Lance Carr氏と共同で開発されているツールです。

本ツールは、Googleが提供するオープンソースの機械学習ソリューション「MediaPipe」をもとに開発されています。

仕組みとしては、Webカメラに映ったユーザーの頭や顔の動きを機械学習によって検出し、マウスの動きやクリックなどの操作に割り当てるというもの。Webカメラ以外は使わないため、比較的安価にハンズフリーの操作を可能としています。

マウスの左クリックを顔のどの動きに割り当てるか選択している画面（画像は公式ブログより引用）

記事執筆時点で、Project Gamefaceのプレビュー版は、Apache License 2.0ライセンスにてGitHubで提供されています。

詳細は、Google公式ブログをご確認ください。