Stream DeckでAIタスクの進捗がわかる＆切り替えできる！AGI Cockpit連携術

STEP 1　Stream Deckアプリを入れて、本体を挿す

Elgatoのダウンロードページから「Stream Deck」アプリを入れます。私のMacには前から入っていました。

本体はUSBでMacに挿しておきます。私はここを飛ばして、後でAI秘書に言われて挿しました（このあとのSTEP 3の話です）。

STEP 2　AI秘書に、参考記事のURLと一言を渡す

私がAI秘書に送ったのは、この1行です。

私 → AI秘書の凛ちゃん

俺バージョンでSteamDeck使ったこれやりたい
https://tech-lab.sios.jp/archives/54936

2026年9月30日 14:45。Cockpitのタスクに送った原文です

設計図も仕様も書いていません。「これ」が指すのは参考記事です。「バージョン」と書いたのは、herdrではなく私のCockpitで作ってほしい、という意味でした。AI秘書は記事を読み、Cockpitのどのコマンドでタスクの状態が取れるかを調べて、プラグインを作りました。

12分後の14時57分に、確認のAskが届きました。プラグインとキーの見本画像ができていて、本体が挿さっていないので実機ではまだ確かめていない、と書いてありました。

STEP 3　Askに答えて、実機で確かめてもらう

本体を挿して、Askの「挿した（実機で確認して）」を選びました。そのとき、一言だけ添えています。

私 → AI秘書の凛ちゃん

声はオフでやって。

15:59。Askの選択肢に添えた一言

AI秘書は読み上げを全部切り、Stream DeckにCockpitのページを足しました。15キー全部がプラグインにつながったことを、AI秘書はプラグインの記録で確かめています。キーの見た目はAI秘書からは見えないので、目で見るのは私の役です。

STEP 4　キーを見て、気になったことを一言で返す

実機を見て、気になったことをそのまま送りました。1つ目はこれです。

私 → AI秘書の凛ちゃん

1画面しかでないけど全部でないの？

16:36

答えは「出ます」でした。1画面は14件で、そのときの対象は35件、つまり3ページあります。右下の件数キーでめくれる作りでしたが、声を切った状態では長押しが必要だったので、短く押してもめくれるように直してくれました。

私 → AI秘書の凛ちゃん

音声はどうやるとONオフできるとかある？出したい場合は出す、けど止めたい場合もある

16:49

声は普段は要らないけれど、欲しい時もある。これには、右下のキーを2秒押すたびに声のオン・オフが切り替わる形で返ってきました。切り替えた状態はMacを再起動しても残ります。

私 → AI秘書の凛ちゃん

件数を読み上げはいらない

16:52

私 → AI秘書の凛ちゃん

短く押したら次のページにいって

16:52

最初の作りでは、右下のキーを押すと「判断待ち何件、作業中何件」と読み上げていました。件数はキーに書いてあるので外してもらい、短く押したら必ず次のページへ進むようにしてもらいました。

ここまでで、送った言葉は6つです。どれも、キーを見て感じたことを、そのまま書いただけです。

STEP 5　赤いキーを押して確かめる

赤いキーを1つ押して、Cockpitでそのタスクが開けば完成です！右下の件数キーを短く押すと、表示の「1/3」が「2/3」に変わります。

STEP 1　Stream Deckアプリを入れて、本体をつなぐ

Stream DeckをMacにUSBでつなぎ、Elgatoのダウンロードページから「Stream Deck」アプリを入れて起動します。

STEP 2　Node.jsを入れる

Node.jsの公式サイトから入れて、ターミナルで版を確かめます。

node -v
# v20 以上なら OK（私の環境は v22.16.0）

STEP 3　プラグインのフォルダを作り、SDKを入れる

Stream Deckのプラグインは「名前.sdPlugin」というフォルダです。好きな場所に作って、Elgato公式のSDKを入れます。使い方はElgatoの公式ドキュメントにあります。

mkdir -p ~/streamdeck/com.example.cockpitdeck.sdPlugin/{bin,imgs}
cd ~/streamdeck/com.example.cockpitdeck.sdPlugin
npm init -y
npm i @elgato/streamdeck@1

STEP 4　AIにプラグイン本体を作ってもらう

Claude CodeかCodexに、STEP 3のフォルダを開いた状態で次の文章を渡します。AI秘書が私の版を作った時の仕様を、依頼文にまとめ直したものです。

Stream Deck（Mac）用のプラグインを Node.js で作ってください。@elgato/streamdeck（v1系）を使います。

■ 役割
AGI Cockpit のタスク状態を Stream Deck のキーに並べる。

■ データの取り方
- 3秒ごとに `cockpit task list --summary` を実行し、JSON の data 配列を読む
  （各要素: id, name, status, hasPendingAsk, updatedAt）
- cockpit コマンドは ~/.agi-tools/bin/cockpit をフルパスで呼ぶ

■ 並べ方（左上から順に）
1. hasPendingAsk が true → 赤「判断待ち」
2. status が error → 紫「エラー」
3. status が running → 黄「作業中」
4. waiting_confirmation で updatedAt が30分以内 → ミント「完了」
5. waiting_confirmation で updatedAt が6時間以内 → 青「待機」
それより古いタスクは並べない。同じ色の中では新しい順。

■ キー
- アクションは1種類だけ。置いた位置（行×列）で役割を決める
- 右下の1キー = 件数キー（色ごとの件数と「1/3」のようなページ番号を表示）
  - 短く押す: 次のページ
  - 2秒押す: 声のオン・オフを切り替え、config.json に保存
- それ以外 = タスク枠
  - 短く押す: `cockpit task goto <id>` でそのタスクを開く
  - 0.6秒以上押す: 最新の報告を要約して読み上げる（声がオンの時だけ）
- キー画像は 144×144 の SVG を data URL で setImage する。
  上半分に状態ごとの 14×12 マスのドット絵（450ミリ秒ごとに2コマで動かす）、
  下半分に状態名と、タスク名の先頭14文字を2行で

■ 読み上げ（任意・初期はオフ）
- 最新報告は `cockpit task wait <id> --timeout 3` の data.report.message
- 要約は Ollama（http://127.0.0.1:11434/api/generate）の gemma4:12b。
  リクエストに "think": false を必ず付ける（付けないと答えが空になる）
- 声は VOICEVOX（http://127.0.0.1:50021・話者3）。VOICEVOX が起動していなければ macOS の say -v Kyoko
- Stream Deck にキーが1つも表示されていない時は読み上げない

■ 設定ファイル config.json
{"voice": false, "speaker": 3, "llmModel": "gemma4:12b"}

■ 出力
com.example.cockpitdeck.sdPlugin フォルダ一式（manifest.json・bin/plugin.js・imgs/ のアイコン）。
manifest は SDKVersion 2、Software.MinimumVersion 6.5、Nodejs.Version 20、CodePath bin/plugin.js。

中身の要は2つのコマンドです。状態を聞く時は一覧を、押された時はそのタスクを開くコマンドを呼びます。

# 3秒ごとに状態を聞く
~/.agi-tools/bin/cockpit task list --summary

# キーが押されたら、そのタスクを開く
~/.agi-tools/bin/cockpit task goto <タスクID>

STEP 5　Stream Deckアプリに読み込ませる

作ったフォルダを、Stream Deckアプリのプラグイン置き場からリンクして、アプリを起動し直します。

ln -s ~/streamdeck/com.example.cockpitdeck.sdPlugin \
  "$HOME/Library/Application Support/com.elgato.StreamDeck/Plugins/com.example.cockpitdeck.sdPlugin"

grep cockpitdeck ~/Library/Logs/ElgatoStreamDeck/StreamDeck.log | tail -3
# 「Plugin connected」と出ていれば読み込まれています

STEP 6　15キーに並べる

アプリの右側のアクション一覧に出た項目を、15キー全部にドラッグします。置いた位置で役割が決まるので、右下に置いたものが件数キーになります。

STEP 7（任意）　声をつける

Ollamaで要約用のモデルを入れて、VOICEVOXを起動しておきます。あとは右下の件数キーを2秒押すと声がオンになります。

ollama pull gemma4:12b
open -a VOICEVOX