素手でPCを操作するbarehandsを自宅のMacで試した

家事と子育てのスキマで経営する3方よしAI共創コンサルタントの田中啓之、ひろくん（@passion_tanaka）です。

Webカメラに手をかざすと、画面に浮かぶ半透明のカードを指でつまんで動かせる……そんなツールを見つけたので、自宅のMacで実際に動かしてみたよ。ヘッドセットもコントローラーも要らない。カメラ1個だけ。

で、結論から言うとね。掴む・広げる・投げるは動いた。拍手と目線は動かなかった。この「動かなかった」ほうが、たぶんあなたの役に立つ。

素手でPCを操作するって、実際どういうこと？

言葉で聞くと近未来っぽいけど、やってることは意外と地味なんだよね。Chromeでページを1枚開くと、カメラがあなたの顔じゃなく手を見はじめる。指の関節の位置を毎秒40回くらい読んで、その形からジェスチャを判定してるだけ。

画面には、パソコンの中のメモやPNG画像や3Dモデルが、半透明のガラスカードになって浮いてる。親指と人差し指をくっつける――つまむ――と、いちばん近くのカードが指について来る。手を横に振れば、カードは画面の外へすっ飛んでいって消える。

だから期待の置き場所を間違えないでほしい。これは賢くなる道具じゃない。手が増える道具。

用意するものは3つだけ。自宅のMacで20分あれば動く

ここが正直いちばん驚いたところ。必要なものを数えたら3つしかなかった。

で、中身を開けてみたら、サーバーの本体は14KBのPythonファイル1本、画面はHTMLファイル1枚。それだけ。pip installも要らないし、APIキーも要らないし、料金も発生しない。全部あなたのパソコンの中で完結して、外に何も出ていかない。

ちなみにライセンスはAGPL-3.0。自分の家で使う分にはなんの縛りもない。改造して外向けのサービスにする時だけ、ソースを公開する義務が出てくる――そこだけ頭の隅に置いておけば大丈夫。

私の手で試して、動いたもの・動かなかったもの

ここからが本題。カタログの機能一覧じゃなくて、自宅のMacで私の手を使って実際にやってみた結果だよ。

拍手が効かなかったのは地味に痛かった。あれ、机の上を一発でリセットする気持ちいいやつなんだよ。でも私の手の形だと判定に届かないらしくて、何度パンッとやっても盤面は片付かなかった……。結局resetのコマンドを一行打つ方法で代わりにした。

あともう一つ、地味だけど大事な制約。Chromeのタブを前面に置いておかないと止まる。裏に回した瞬間、ブラウザが処理を間引くから手の認識が凍る。ウィンドウを2つ並べて使うのが前提になるね。

一番おもしろかったのは「目線」の負け方

手が動いたので、欲が出た。「目線でも操作できるんじゃない？」と思って、AI秘書の凛ちゃんに追加で作らせてみたんだよね。結果は、6回測って6回とも外れ。

でね。おもしろいのはここから。7回目に進むかどうかを決めるために数字を見たら、答えが一発で出てた。

つまり――画面のどこを見ても、システムは同じ場所を指していた。

原因は道具じゃなかった。私が、画面を見るときに首をほとんど動かさない人間だったから。黒目だけで見てるんだよね。ところが凛ちゃんが最初に選んだ材料は「首の向き」だった。首が動かないなら、測る材料がそもそも存在しない。合わせようがなかったわけ。

これ、AIに何かを任せる時の話としてけっこう普遍的だと思う。うまくいかない時、私たちはつい「精度が足りない」と考えて、道具を高いものに買い替えようとする。でも本当の原因は「そもそもその材料に情報が入ってない」ことのほうが多い。6回分の失敗を捨てずに数字で見たから、そこに気づけた。

barehandsにAIの「手」を持たせると、何が変わるか

このツールの本当に良いところは、ジェスチャそのものよりAIに画面を触らせる仕組みのほうかもしれない。

コマンドを1行投げるだけで、AIが画面にカードを出せる。私がしゃべってる最中に、AI秘書の凛ちゃんが「これですね」ってメモを空中に置いてくる、みたいなことが起きる。ターミナルに文字がザーッと流れるのとは、体験がぜんぜん違う。

もう一つ、AIの「顔」の仕組みも面白かった。テキストファイルにthinkingとかidleとか一単語書くだけで、画面中央の光る輪っかが反応する。……これだけ。仕様がバカみたいにシンプルだから、どんなAIでも繋げられる。

動画を撮る人には、ここが本命

ぶっちゃけ、私がこれを試した一番の目的はこれ。配信・動画で使えるかどうか。

このツールには、カメラを使わない・背景が透明な「表示専用ページ」がもう1枚ついてる。それをOBSのブラウザソースに入れて、自分のカメラ映像の上に重ねる。すると――あなたが素手で空中のカードを掴んで投げている映像が、そのまま録画できる。

実際に20秒のクリップを撮ってみた。指を追う小さな輪っかも消せるオプションがあるから、消すと「何も持ってないのに物が動いてる」画になる。あれは正直インパクトがある。

逆に言うと、日々の仕事が速くなる道具ではないと思う。スマホから見られるわけでもないし、そのMacの前に座らないと意味がない。効率化の道具じゃなくて、見せるための道具。そこを取り違えなければ、かなり強い。

まとめ：barehandsを自宅で試して分かったこと

新しいツールの紹介って、たいてい「できること」が並んでるでしょ。でも読む側が本当に知りたいのは、自分の環境でどこがつまずくかなんだよね。

今回の場合はこう。3つ用意すれば自宅で20分で動く。掴む・広げる・投げるは効く。拍手は私の手では効かない。目線は諦めた。OBSに重ねれば映像は撮れる。日々の効率化には効かない。……これだけ書けば、試すかどうか自分で決められると思う。

で、私がいちばん持ち帰ったのは、実は目線の失敗のほうだった。うまくいかない時に道具を疑う前に、そもそも測ってる材料に情報が入っているかを見る。この順番、AIを使うほぼ全部の場面で効くと思う。