AI動画をベンチマークループで作る全手順｜世界一のショートと目隠し比較

ベンチマークループとは｜私が組んだ品質の詰め方

まず言葉の説明から。ベンチマークループは私が付けた名前なので、ここを飛ばすと以降が全部意味不明になっちゃう。

一言で言うと、こう。

実在する世界最高の現物を「物差し」に置いて、別のAIに目隠しで比べさせ、負けた軸を言葉にして作り直し続ける。全軸で勝つか同等になるまで止めない。

普通のAI活用と何が違うのか、3つだけ。

① 採点者を自分から取り上げる

普通は「AIに作らせて → 自分が見て → OK/NG」だよね。この真ん中に自分がいるのが問題で。自分の目は自分の癖に慣れちゃうから、だんだん採点が甘くなる。

ベンチマークループでは、採点を自分から取り上げて別のAIに渡す。しかもどっちが自分の作品か分からない状態で。

② 「うまい/へた」じゃなく「勝った/負けた」で測る

「もっと良くして」は指示じゃない。実在する1本と比べて、どの軸で負けたか——ここまで落とさないとAIは直しようがないんだよね。

だから物差しは「理想」じゃなくて実在する現物にする。今回で言えば再生1,098万回の公式バズショート——つまり世界一まわってるショートを直接の相手にした。妄想の100点じゃなく、実際に世の中で勝ってる1本ね。

③ 終了条件を先に決めて、そこまで止めない

「3回やったら終わり」じゃなくて、「全軸で勝つか同等になったら終わり」。回数じゃなく状態で終わる。だから何ラウンドかかるか最初は分からない。今回は3ラウンドだった。

料理で言うと、隣の名店と食べ比べて「うちの方が塩が足りない」って言われるまで出さない、ってこと。自分の厨房の中だけで味見してたら、うまくなったのか舌が鈍っただけなのか一生分からないからね。

── これが型の中身。次は、この型がどこから来たのか。

この型がどうやってできたか

元ネタがある。そこを辿れば同じ材料に触れられるので、出どころごと書いておくね。

発端は松丸彗吾さんのX投稿

2026年7月27日、松丸彗吾さん（@k_matsumaru／メンタリストDaiGoさんの「D-Lab」を開発・運営、AIアニメ「AI-mation」の制作・監督）がXに、Call of Duty級のFPSをAIに一発で作らせた実行プロンプトを公開した。12時間、AIチームが自分たちで直し続けたという追試だった。

そのプロンプトの中に、私が固まった一文がある。

Don’t stop until each sub-agent is utterly wowed with the quality when compared with the actual Call of Duty game. It should literally compare them side by side blind and say which one looks better. — 松丸彗吾さん（X投稿・実行プロンプトより）

「実物のCall of Dutyと、文字どおり横に並べて、目隠しで、どっちが良いか言わせろ」。

ここが芯。AIに品質を上げさせたいなら、実物を横に置いて目隠しで比べさせる——このプロンプトに最初から入ってた考え方だよ。

同じプロンプトには、こういう指定もあった。

That separate sub-agent should be a really harsh critic, and if it doesn’t look triple A, it should keep going.

作る係とは別のサブエージェントに、辛口の批評家をやらせる。自分に甘い点をつけさせない。

れんくんが持ってきて、解説してくれた

これを私に持ってきてくれたのが、れんくん（戸野塚蓮・Claude Code講座主宰）。毎週月曜13時のAI経営術LIVEの冒頭で、いきなり画面を出して「さっき教えてもらってちょっと衝撃を受けた」って。

私が「さすがにOpusだけで作ったわけじゃないよね」って聞いたら、返ってきたのが「なんとオーパスだけなんですよ」。マジか、って口に出た。

で、れんくんが言ったのがここ。

「ワンプロンプトでできるっていう風に捉えちゃうとちょっと語弊があって、プロンプトは確かに重要なんですけど、そうではなくちゃんとループを設計するっていうところと、評価軸を設けるというところと、あとクロードコードのウルトラコードっていうところを使っていったりしてる」 — れんくん（2026年7月27日 AI経営術LIVE）

「ループを設計する」「評価軸を設ける」。 この2語がなかったら、私はたぶん「すごいゲームができたね」で終わってた。れんくんが構造の話に引き上げてくれたから、自分の仕事に持ち込めた。

私が足したもの

あの日のLIVEで、私はこう感じてた。お手本があるものは、AIにとってもう再現の対象でしかない。クロード・オブ・デューティーが作り切れたのも、元ネタのCall of Dutyがあったから。

だったら逆に使える。お手本＝実在する一流を、こっちから物差しとして置きにいけばいい。

そこから8月3日のソロ回で、ゲーム用のプロンプトをそのまま別ジャンルに流用した。肉のハナマサの非公式シミュレーションゲーム、朝ライブを53ページの雑誌に、そして『嫌われる勇気』をベンチマークに置いてKindle本を1冊。ゲームじゃなくても回る、が確認できた。

そこまで来て、ようやくスキルとして固めた。最初の名前は「他流試合」。道場破りのイメージね。でも一言で何をするか分からないから「ベンチマークループ」に変えた。

私が足したのはこの3つ。

さらに、判定基準そのものがズレてないかを確かめる外側のゲートは、まさおさん（@まさお@未経験からプロまでAI活用）がnoteで公開してた記事の設計を読んで組んだ。「作った本人の物差しが、そもそもズレてないか」を別の目で確かめる仕組みね。まさおさん、ありがとうございます。

AI動画で何を作ったのか

作ったのはこれ。26.7秒、縦型、セリフゼロの3DCGスラップスティック。

主人公は「ポン」——驚くと体が風船みたいに膨らむ、手のひらサイズの丸い砂漠生物。敵役は「ザザ」——飛べないくせに態度だけデカい、首と脚だけ異常に長い鳥。ポンがサボテンの実を取ろうとして、毎回ひどい目に遭う。それだけの話。

で、最後に実がサボテンの上に戻って、冒頭とまったく同じ絵になる。だから何回でもループする。

キャラも世界観もゼロから作った完全オリジナルだよ。既存のIPには一切寄せてない。

なぜ物差しが要るのか｜60点で止まる理由

ぶっちゃけ、生成AIに「面白い動画作って」って言えば、それっぽいのは30分で出る。問題はそこから先なんだよね。

自分で見て「まあ悪くないかな」……この「まあ」が曲者で。比べる相手がいないと、脳は勝手に採点を甘くする。私はこれで何度もやらかしてる。

だから今回は最初に決めた。実在する、いま世界で一番再生されてる同ジャンルの現物を物差しにする。今回は再生1,098万回の公式バズショートを選んだ。そして「その現物と横に並べて、第三者が見分けられない or 勝つ」まで作り直す。

人間は縦に掘る、AIは横に広げる——横に広げたものを縦に締めるのが、この物差しの役目なんだよね。

全手順1：キャラを「設計書」で物理的に固定する

いきなり動画を作らない。まず設計書（デザインバイブル）をJSONで1枚作る。

これをサボると、クリップごとにキャラの色も形も変わる。生成AIは前のカットを覚えてないからね。

実際に書いたのはこんな内容。

{
  "protagonist": {
    "name_ja": "ポン",
    "silhouette": "ほぼ真円。尻尾なし・短い手足・頭頂の3つのコブ。膨張時は完全な球体",
    "visual_keys": [
      "マットなアプリコットオレンジの小石状スキン",
      "クリーム色のハート形お腹パッチ",
      "星形ハイライト入りの巨大なアンバー色の瞳",
      "尻尾なし・ちび手足・頭の3コブ王冠"
    ],
    "signature_gag": "驚くと勝手に膨らむ。第2幕でこれを自分から武器化する"
  }
}

ポイントは3つ。

• シルエットで identify できるまで削る（真円 vs 縦長S字。遠くからでも判別できる）
• 色は16進数で書く（#F5A05A みたいに。「オレンジ」だと毎回ブレる）
• 既存IPとの違いを5個、自分で言語化する（これをやっておくと、あとで「パクリじゃないの？」に即答できる）

あ、そうそう。この設計書の英訳ブロックを、このあと全部のプロンプトの先頭に毎回まるごとコピペする。ここが一番大事。長くなるけど、削っちゃダメ。

全手順2：静止画で「最初の1枚」を作る

動画をいきなり作らずに、まず各シーンの先頭フレームを静止画で作る。これで絵柄を確定させてから動かす。

私が使ったのはCockpitの画像生成コマンド。

cockpit gen-image \
  --provider codex \
  --model gpt-image-2 \
  --prompt "$(cat assets/charsheet_prompt.txt)" \
  --size 1024x1024 \
  --out assets/charsheet.png

最初にキャラクターシート（設定画）を1枚作って、それを --reference で渡しながら各シーンの先頭フレームを作る。こうすると顔が別人にならない。

cockpit gen-image \
  --provider codex \
  --prompt "$(cat assets/ff1_prompt.txt)" \
  --reference assets/charsheet.png \
  --size 1024x1024 \
  --out assets/ff1.png

実際に作ったのは、キャラシート1枚 + 先頭フレーム3枚。合計4枚。

全手順3：静止画をAI動画にする

先頭フレームができたら、それを起点に動画化する。ここも1コマンド。

cockpit gen-video \
  --image assets/ff1.png \
  --prompt "$(cat assets/vp1.txt)" \
  --duration 10 \
  --out clips/clip1.mp4 --json

3本まとめて回すシェルは実際こう書いた。これがそのまま動いたやつ。

#!/bin/bash
D=(10 10 6)
for i in 1 2 3; do
  d=${D[$((i-1))]}
  echo "=== clip$i (${d}s) start $(date +%H:%M:%S) ==="
  cat assets/vp$i.txt | cockpit gen-video --stdin \
    --image assets/ff$i.png --duration $d --out clips/clip$i.mp4 --json
done

動画プロンプト（vp1.txt）の中身も見せるね。秒数で区切って、動きと音を全部書くのがコツ。

Duration: 10 seconds. Vertical 9:16, silent-comedy 3D animation,
no dialogue, no on-screen text; generate synchronized cartoon SFX
and light ukulele-and-whistling BGM.
[ここに設計書の英訳ブロックを丸ごと貼る]
ACTION: 0-2s from the very first frame PON, crouched at the cactus base,
instantly springs at the fruit and smashes face-first into the cactus
within the first second — a huge exaggerated rubbery SPLAT
(loud boing plus crash cymbal), then he pops into a full sphere and
ricochets twice across the sand like a runaway beach ball.
2-5s he deflates with a squeaky air-leak hiss...
5-8s side wide shot: he stacks pebbles with quick xylophone plinks...
8-10s ZAZA's neck telescopes down with a slide-whistle stretch,
plucks the fruit (pop)...

音も文字で指定できるんだよね。「スライドホイッスル」「クラッシュシンバル」「レコードスクラッチ」みたいに効果音の名前で書くと、ちゃんとそう鳴る。ここ、知らなかった人多いと思う。

生成された実尺は 10.04秒 / 10.04秒 / 6.04秒。指定どおり。

全手順4：クリップをつなぐ

ここからはAIじゃなくてffmpeg。無料。

# 連結リストを作る
cat > /tmp/list.txt <<'EOF'
file 'clips/clip1_r2.mp4'
file 'clips/clip2.mp4'
file 'clips/clip3_r2.mp4'
EOF

ffmpeg -f concat -safe 0 -i /tmp/list.txt -c copy final/joined.mp4

再エンコードなしの -c copy で一瞬。同じモデルで作ったクリップは解像度もフレームレートも揃ってるから、これで通る。

全手順5：ループの継ぎ目を物理的に消す

ここが今回いちばん効いた工程。

ショート動画は「勝手に2周目が始まる」のが強い。だから動画の最後のフレームと、最初のフレームを物理的に一致させる。「だいたい同じ」じゃダメ。ピクセルで合わせる。

やり方はシンプル。冒頭の1フレームを静止画として抜いて、それを末尾にクロスフェードで重ねる。

# 1. 冒頭フレームを1枚抜く
ffmpeg -i final/joined.mp4 -vf "select=eq(n\,0)" -vframes 1 final/frame0.png

# 2. その静止画から1.2秒の無音クリップを作る
ffmpeg -loop 1 -i final/frame0.png -f lavfi -i anullsrc=r=48000:cl=stereo \
  -t 1.2 -c:v libx264 -pix_fmt yuv420p -c:a aac -shortest final/still.mp4

# 3. 末尾0.6秒をクロスフェードで重ねる（xfade + acrossfade）
ffmpeg -i final/joined.mp4 -i final/still.mp4 -filter_complex \
  "[0:v][1:v]xfade=transition=fade:duration=0.6:offset=25.5[v]; \
   [0:a][1:a]acrossfade=d=0.6[a]" \
  -map "[v]" -map "[a]" final/ours_r3.mp4

効いたかどうかは目視じゃなくて数字で見る。冒頭フレームと最終フレームの差をRMSで測った実測値がこれ。

RMS diff (0-255): 3.83

0〜255のスケールで3.83、つまり1.5%しかズレてない。ここまで来ると、ループの継ぎ目で視聴者は「あ、2周目だ」と気づかない。むしろ「ポンがまた挑戦し始めた」に見える。

全手順6：目隠し比較（A/B審査）にかける

ここが本丸。作ったAIとは別のAIに、どっちが自分の作品か分からない状態で採点させる。

私がやった設計はこう。

なんで入れ替えるかというと、AIって「先に出てきた方」を選びがちだから。順番を変えて同じ答えが出た軸だけ信じる。これでかなり潰せる。

審査軸は10個に固定した。

冒頭2秒フック / キャラの可愛さ / 物語構成 / ループ設計 / 動きの質 / 映像品質 / 音 / カット間の一貫性 / テンポ / オリジナリティ

目隠し比較の実際の結果（3ラウンド分）

Round 1：ボロ負けした軸があった

{"hook2s": {"r1": "loss", "r2": "tie-pass", "agree": false},
 "loop":   {"r1": "ours-win", "r2": "both-fail", "agree": false}}

冒頭2秒フックで負け。ループも「両方ダメ」判定。

いやー、これが良かった。自分では「まあまあ面白いじゃん」と思ってたから……完全に身内の味見だったわけ。判定が割れてる（agree: false）軸も要注意で、これは「まぐれ」の可能性が高い。

敗因を「タグ」にして差し戻す

ここが技術というより運用のコツ。負けた理由を、そのままプロンプトに貼れる短い指示に変換する。

「もっと面白くして」じゃ、まず直らない。秒数と動作で書く。

Round 3：最終結果

{"hook2s": "PASS(win)", "charm": "PASS(win)", "story": "PASS(win)",
 "loop": "SPLIT", "motion": "PASS(win)", "render": "PASS(win)",
 "sound": "PASS(win)", "consistency": "PASS(equiv)",
 "tempo": "PASS(win)", "originality": "PASS(win)"}

10軸中、8軸で勝ち、1軸（カット間の一貫性）が同等、1軸（ループ）は判定が割れた。

ループだけは最後まできれいに揃わなかった。入れ替え1回目は「両方ダメ」、2回目は「こっち勝ち」。物理的な一致（RMS 3.83）は取れてるのに、審査AIの評価は割れたまま。ここは私の宿題として残ってる。

あと、基準を知らない別のAIに「素の視聴者役」で見せたら、信じられる度90点・満足度85点。内側の採点（勝率ベースで約95点）との差が7点くらい。この差が小さいほど「身内ウケじゃない」ってことになる。

AI動画1本にかかったもの

• 時間: 生成〜審査3ラウンドで実働2時間ちょい
• 追加課金: ゼロ円。全部サブスク枠内（画像・動画・審査AIぜんぶ）
• クリップ数: 5本生成（うち2本は差し戻しでの作り直し）
• 審査回数: 10軸 × 入替2回 × 3ラウンド

しかもね。3ラウンド目で作り直したのはクリップ1と3だけ。負けた軸に関係するクリップだけを作り直せば済むから、2周目以降はどんどん軽くなる。

ベンチマークループを真似する時の最短手順

AI動画をベンチマークループで作る全手順を、コピペで動く順番にまとめておくね。

1. 物差しを1本決める（実在して、いま世界一まわってる現物。再生数やランキングで選ぶ）
2. 設計書をJSONで書く（キャラ・世界観・色を16進数まで。既存との違いを5個）
3. キャラシートを1枚生成 → それを --reference に渡して各シーンの先頭フレーム
4. 先頭フレーム＋秒数割りプロンプトで動画化（音は効果音の名前で指定）
5. ffmpegで連結 → 末尾を冒頭にクロスフェード（RMS差を測って5以下を目標）
6. 別AIの新規セッションで目隠しA/B（A/B入替2回、両方一致した軸だけ採用）
7. 負けた軸を「秒数と動作」で書き直して差し戻す → 該当クリップだけ再生成
8. 全軸クリアするまで6〜7を回す

動画じゃなくてもいい。LP、セールスレター、スライド、なんでも同じ型で回せるよ。物差しを置いて、目隠しで比べて、負けた理由を具体語で差し戻す——それだけ。

気をつけたこと

• 既存IPに寄せない：設計段階で「既存キャラとの違い」を5個ずつ言語化してから作った
• 比較物は全部捨てる：ベンチマークとして取得した動画・匿名化コピー・連結ファイルは、審査が終わった時点で全削除。手元に残さない
• 「公式と同等品質」とは言わない：これはあくまで参照分析であって、品質保証じゃない。ここは線を引いておく

このベンチマークループ、スキルにしました

ここまで読んで「面白いけど、毎回この手順を覚えてられない」と思った人。私もそう思った。

だからこれ、Claude Codeのスキルとして丸ごと自動化してある。「ベンチマークループ」と打つだけで、物差しの決定 → 生成 → 目隠しA/B審査 → 敗因の差し戻し → 再生成、のループが全部走るようにした。この記事の工程は、実際そのスキルが回した記録なんだよね。

そのスキルは cc-booster Pro版（私が使ってるClaude Codeの環境をまるごと渡すキット）に収録してる。

で、このPro版は単品では売ってない。分身AI講座の「講座限定特典」としてだけ渡してる。講座を受けてくれた人には、私がふだん実際に回してるスキル一式がそのまま届く形。「AIの使い方を教わる」んじゃなくて「私の作業環境ごと持って帰る」ってイメージが近いかな。

もちろん、この記事の手順どおりに自分で組んでも同じことはできる。コマンドは全部そのまま載せたからね。スキルは「毎回書かなくていい」だけの話。

あわせて読みたい関連記事

• 歴史漫画はAIでどこまで動画になる？Grokで実際に作って分かったこと — 同じくAI動画を実際に作った回。今回の「物差し」を入れる前の素の作り方はこっち
• AGI CockpitのQoder・Cursor・ローカルQwen・Fleetを試して、どれをいつ使うか決めた — 今回 cockpit gen-image / gen-video を叩いてる土台の話
• AIエージェント新標準「Agent Plugins」をひろくんが解説 — 生成と審査を別AIに分ける発想の続き

まとめ｜AI動画の質は「物差しをどこに置くか」で決まる

AIの出力品質を決めてるのは、実は指示の上手さじゃないと思ってる。どこに物差しを置いたか。

自分の目だけで採点してると、だんだん自分の癖に慣れて、それを「良さ」だと思い込む。悪いことこそ宝物——負けた軸が言葉になった瞬間が、いちばん伸びるタイミングなんだよね。

まずは自分の一番いい成果物を1つ選んで、世界で一番結果が出てる同ジャンルの現物を横に置いてみて。それだけで、次にやることが1個見つかるはずだよ。