Codex Terra・Sol・Luna比較｜一番高いモデルが最下位だった

家事と子育てのスキマで経営する3方よしAI共創コンサルタントの田中啓之、ひろくんです。

「テラって安いらしいよ」から始めた実験が、思っていたのと逆の結論になりました。

Codexには今、賢さと値段の違う3つのモデルがある。Sol（一番高い）、Terra（真ん中）、Luna（一番安い）。この3つにまったく同じ発注書を渡して、同じお題のWebページを1枚作らせて、どっちが本物か伏せたまま審査AIに並べさせた。作り手だけが変数です。

で、1回目の結果がこれ。

Lunaの199倍払って、5倍描き直して、最下位。しかも審査AIに「どれに一番手間がかかってると思う？」と聞いたら、Terraを指さした。一番かけたSolが、一番手を抜いた案に見えていたってことだね。

……で、ここで終わってたら「安いモデルで十分」というよくある話でした。そうならなかったのは、この後2回やり直したから。3回やって、3回とも1位が違った。変えたのはモデルじゃない。私が渡した発注書と素材のほうです。

順を追って書くね。

料理で言うと、同じ厨房・同じコンロで、料理人だけが3人いる状態。時給5000円のベテラン（Sol）、時給2000円の中堅（Terra）、時給200円の新人（Luna）。

値段はこう。100万トークンあたりの単価です。

「テラが安い」の正体はこの2割引き。ニュースの主役は実は8割引きのLunaのほうだったんだけどね。単価はOpenAIの価格改定の発表が一次ソースです。

あ、そうだ。器のほうは3つとも同じでした。一度に読める量も、一度に書ける量も、知識の新しさも同一。違うのは賢さと値段だけ、というのが公式の説明です。

で、私みたいにサブスク枠で使ってる人にとって効くのは単価そのものより「枠の減り方」のほう。安いモデルは同じ時間により多く投げられる。つまり作業が途中で止まる回数が減る。これが一番の実利かな……と思って始めた実験でした。

お題は「地域の実業者が無料で載せられるポータルサイトのトップページ1枚」。塗装屋さんも居酒屋も士業も、まとめて無料で入居できる。じゃあ誰が払うの？ という説明までを1枚で見せる、という設計書を渡しました。

審査の作り方はこう。

• 3モデルに同じ紙を渡す。紙にはモデル名も、競争相手がいることも書かない
• できた画面を、実在する商用ポータルの実物と並べて、どっちが本物か伏せて審査AIに見せる
• 審査は別ベンダーのAIで固定。自分びいきが効かないようにする
• 負けたら指摘だけ持ち帰って描き直し。上限5回

ここで1つ、私のミスで実験が汚れかけました。作業場を自分の母艦フォルダの中に置いてしまって、Terraが「安全規約により書き込めません」と20秒で止まったんです。うちのルールを読んで、正しく止まったんだね。Solは読んで止まらなかった。

つまりあのまま続けてたら、測っていたのは「ページを作る力」じゃなく「ハウスルールに従うかどうか」でした。作業場を3つの独立したまっさらな机に分け直して、撮り直し。ぶっちゃけこの手の汚れは、気づかないまま結論だけ持っていくのが一番こわい。

1回目、Solは5ラウンド回して一度も実物に勝てませんでした。スコアは34→37→37→33→37。しかも審査AIの講評が5回とも同じ。

絵は毎回一番うまい。中身が毎回空っぽ。しかも2つ、人間の新人とそっくりな癖が出ました。1つ目、横に展開しない。第1ラウンドで「見出しが単語の途中で改行してる」と直させたのに、第3ラウンドで別の見出しに同じバグを新規で作った。2つ目、揺り戻す。「他社事例をトップから外して」と言って直したのに、次のラウンドでトップの主役に復帰してきた。スコアは37から33に下がりました。

……ここまで書いておいて、なんですけどね。この負け方は、半分は私のせいでした。

私が3モデルに配った発注書に、こう書いてあったんです。

「写真を使うな」と私が命じていた。だから3枚とも文字とカードだけの画面になった。そして審査AIは毎回そこを減点していた——「事業者の顔も現場の写真も1枚もない」って。

相手は写真だらけの実在サイトです。そこに写真禁止で殴りに行かせてた。3モデル全員の天井を、私の発注書が作ってたんだよね。

なんで縛ったかというと、「単一のHTMLで自己完結させれば比較が公平になる」と思ったから。公平にはなった。ただ、全員を等しく不完全にしただけでした。

2回目。職人・大工・惣菜店の女将・コンサル・税理士・打ち合わせ風景の6枚を私が用意して、3モデルに同じ6枚を配りました。「この6枚を必ず全部使え」を必須要件にして。

これは実務のやり方でもある。デザイナーは素材を渡されて、その使い方で腕が出る。素材が同じなら、差は構成力だけになるはずだよね。

で、審査員を3人に増やした。Web制作のプロ、塗装会社の社長、外壁塗装を頼みたい一般の人。視点を変えたら、こうなりました。

3人が、3人とも違うモデルを選んだ。順位を合計すると Sol 5・Luna 6・Terra 7 で、総合1位はSol。1回目に最下位だったモデルです。

面白いのはここ。Terraはプロ評価で1位を取りながら、買う側の2人からは最下位でした。

綺麗すぎて、誰に言ってるのか分からなくなった。いやー、これは刺さったなあ。私も自分のLPで何回もやってる失敗だ……。

逆にSolが社長に選ばれた理由は、実在する海外企業を名指しで出して「その仕組みは他所で回ってる」と示していたこと。1回目に審査AIから4回も「トップから外せ」と叱られた、まさにその要素が、買う側には一番効いてました。審査員の好みと、買う人の判断は別物ってことだね。

2回目を見て、まだ足りないと思いました。どんな写真を使うかを決めるのも、本来はデザイナーの仕事だよね。そこを私が奪ってたから、3枚とも同じ顔になってた。

なので3回目は、各モデルに自分が作ったページを読み返させて、こう指示した。「あなたのページの配色とトーンに合う写真6枚の生成プロンプトを、あなた自身が書け」。深緑基調なら緑が映える光を、というところまで自分で決めさせる。写真は合計18枚、各モデル6枚ずつ作り直しました。

しかもね。Terraが自分で書いた指示がこれ。

「広告的な笑顔を避けろ」を自分で書いて、自分で守った。これがアートディレクション力だと思う。

結果はこう。順位合計は Terra 5・Sol 6・Luna 7。3つの視点すべてで2位以内から落ちなかったのはTerraだけでした。プロの講評はこう。

同じ講評の中で、Lunaはこう言われてる。「ヒーロー写真が右側の角丸ボックスに収まり、4カテゴリは各カード左端の小さなサムネイル。写真の色温度とUIカラーが噛み合わず、写真だけが浮いて見える」。

同じ枚数を持たせても、使い切れるモデルと逃げるモデルに分かれた。これは素材を配っただけの2回目では測れなかった差です。

で、3回並べるとこうなる。

3回とも1位が違う。動いたのはモデルじゃなく、私の側の条件でした。

ちなみに3モデルとも、共通して同じ弱点を残してました。運営会社が「（仮称）」のままで社名も所在地も出てこない、掲載実績がゼロ、業者向けの話が先に来て依頼者が置いていかれる——この3つ。3人の審査員が別々に同じ指摘をした。これもモデルの差じゃなくて、私の発注書に穴があったという話だね。