Clef vs Jev 比較｜同じ50件で互角、普段はClef-flash、難問はJev

家事と子育てのスキマで経営する3方よしAI共創コンサルタントの田中啓之、ひろくん（@passion_tanaka）です。

10月1日、CloudflareがClefという判定AIを公開しました。私はそれを伝えるXのポストを、10月4日にAI秘書の凛ちゃんへ送りました。

Clefを使いたい。Jevと比べたい。公式の最新情報を、3日以内のものに絞って調べてからまとめてほしい。頼んだのは、それだけです。

AI秘書の凛ちゃんは、Cloudflareのブログ、Hugging Faceのモデルカード、Cloudflareの開発者ドキュメント、TypeSafeの公式を読みました。そのうえで同じ日の12時53分〜54分に、9月にJevとLayaで測ったのと同じ実物50件を、Clef-flashとClefに流しています。MacからWorkers AIのAPIを直接呼ぶ形です。

結果は、別のAI（Codex）にも検収させています。私がしたのは、ポストを送ることと、「同じ50件で3つを実測で比べる」を選ぶことだけでした。

Jevの記事は9月20日から26日に続けて書きました。その5日後にClefが出て、10月4日には比べ終わっている。投稿の「なんてスピードで切り替わるんだ。。」は、この短さに向けた一言です。

🎯 今日やること：自分が毎日目で仕分けているもの（アンケート・問い合わせ・メールの返信）を1つ書き出す。

Clefは、文章を書くAIではありません。選ぶ。分ける。はい／いいえを決める。点数を付ける。その答えを、確率つきで返す「判定AI」です。

大きさは2つあります。小さい方がClef-flashで、いわゆる「9B」。元になったのはQwen3.5-9Bで、約94億パラメータです。大きい方のClefはQwen3.8-27Bを元にした約274億。どちらもApache-2.0で、重みが公開されています。

基本の違い（公式の情報）

投稿の「マルチモーダルだし」は、ここの話です。Clefとflashは、文字・JSON・画像・動画を読めます。Jevは文字だけ。Jevは TypeSafe AI 製で重みは非公開なので、手元のMacで動かすこともできません。今の公式はJev 1.13です。

で、大事なのがAPIの形。ClefはJevと同じ形のAPIなんです。呼び先のモデル名を替えるだけで乗り換えられます。

🎯 今日やること：今使っているAIの「呼び先の名前」が、どの設定のどこに書いてあるか1か所確かめる。

50件の中身は、私が主催したセミナーのアンケートの自由記入や、メルマガへの返信です。実物ですが、本文と氏名は載せません。正解は、9月21日にAI秘書の凛ちゃんがJevを回す前に付けたものです。

同じ実物50件の正解数（同じ質問・同じ正解）

満足しているか（38件）は、flash 36・Clef 38・Jev 38。悩みの型（50件）は43・43・44。次に何を見せるか（37件）は29・28・27。差は0〜4件でした。

精度だけ見れば、主役交代とは言えません。互角です。

ちなみにLayaは28・28・13で、全項目で大差でした。細かい結果は前の記事（Jev vs Laya 比較）に書いています。

🎯 今日やること：AIを比べる前に、同じ質問・同じ正解を付けた手元の50件を先に用意する。

公式の数字では、1回の判定の時間（中央値）はflashが38.8ms、Clefが209ms、Jevが524msです。公式の数字のままなら、flashはJevの十分の一以下です。

ただし、これはCloudflareが自社で回した数字で、第三者が測り直したものではありません。

1回の判定にかかる時間（中央値）

私のMacから呼んだ実測（中央値）は、flash 479ms・Clef 636ms・Jev 517msでした。公式の38.8msは、Macからだと出ません。待ち時間の大半は、日本のMacとの往復だったんです。

推測: Cloudflare Workersの中から呼べば、公式の数字に近づくはずです。Macから使う限り、どれも速さは大きくは違わない。ここは正直に書いておきます。

🎯 今日やること：速さの数字を見たら、「どこから呼んだ時の数字か」を1行メモする。

公式の単価（入力100万トークンあたり・出力は0扱い）は、Jev 0.042ドル、flash 0.09ドル、Clef 0.24ドル。1トークンあたりで一番安いのは、Jevです。

同じ50件でも、入る量は違いました。flashとClefは合計47,983トークン、Jevは63,154トークンです。公式の単価に実測のトークンを掛けると、50件でflashが約0.004ドル、Clefが約0.012ドル、Jevが約0.003ドル。

値段（公式単価・入力100万トークンあたり・出力は0扱い）

じゃあ、投稿の「安いし」は何だったのか。中身は2つです。

1つ目。10月4日の時点で、Vercel経由のJevは、課金していない利用者は呼べない状態（HTTP 403）でした。使うには、Vercelへのクレジット購入が要ります。2つ目。flashは、Cloudflareの1日10,000 Neuronsまでの枠の中で回りました。推測: 今回の50件で使ったのは約1,440 Neuronsです。

単価で選ぶならJev。10月4日に課金の手続きをせずに回せたのはflash。比べる軸が違うんです。

🎯 今日やること：使っているAIについて、「単価」と「呼ぶのに課金が要るか」を分けて書き出す。

公式のベンチマーク41本のうち、25本でflashがJev以上でした。AI秘書の凛ちゃんが、モデルカードの表から数えた数字です。逆に言えば、16本はJevが上。

公式ベンチの得意・不得意（英語・Cloudflareが自社で測定）

家電操作の指示を正しく出す試験は、flash 97.7に対してJev 52.3。振り分けの速さと正確さは、flashの得意分野です。

「どれにも当てはまらない」を見抜く試験はClefが97.4、AIの作り話を見つける試験もClefが79.4で一番でした。flashはそれぞれ66.8と35.6。ここは大きい方のClefの出番です。

そして専門家級の難問（GPQA Diamond）は、Jevが78.3でトップ。MMLU-Proは82.7対65.9、BBHは92.9対73.7で、どちらもJevがClefに勝っています。数字で見ると、Jevの方がいいところは、この難問の側にあります。

ただ、どれも英語のデータで、Cloudflareが自社で回した数字です。日本語で同じ差が出るかは、公式にも書かれていません。

🎯 今日やること：自分の判定を「振り分け」と「難しい推論」に分けて、1つずつ印を付ける。

正解数は互角でも、外し方はバラバラでした。flashは外すと資料「Aiport」へ寄る（6件）。Clefは関連記事へ寄る（6件）。Jevは「何も出さない」が4件、メルマガが4件です。

flashにはもう1つ癖がありました。満足していない人を、満足と読みやすいんです。満足していない2件に、flashは0.71と0.67を付けました。ClefとJevは0.38以下です。

一方で、満足している26件には、flashはすべて0.87以上を付けていました。並び順は合っている。今回の50件では、迷いが出たのは0.5〜0.9のあたりでした。

そこで、flashで全部判定して、満足の確率が0.5〜0.9だった6件だけをClefで見直す組み合わせを計算しました。

組み合わせ（flashで全部判定し、迷った6件だけClefで見直す）とJev

満足は38件すべて正解。悩みは50件中44、次の1つは37件中31でした。Jevの38・44・27と比べて、3項目ともJev以上です！同じ形のAPIなので、2つを呼び分けるのも呼び先の名前を替えるだけでした。

🎯 今日やること：AIの答えに確率が付くなら、0.5〜0.9の「迷い」だけを見直しに回す線を1本引く。

結論は、投稿のとおり使い分けです。

普段の判定（振り分け・分類・はい／いいえ）はClef-flash。「どれにも当てはまらない」と、AIの作り話を見つける判定はClef。専門家級の難しい推論はJev。画像を見て判定するなら、ClefかClef-flashです。Jevは文字しか読めません。

戻すのも簡単です。APIが同じ形なので、呼び先の名前を替えればJevに戻せます。

実際に入れたのは、アンケートをClefで読む手順（スキル survey-clef）です。10月6日に私が「スキルだけ作る（自動便には入れない）」を選びました。毎日の自動便には入れていません。この手順で、勉強会のアンケート1,292件をClefで読みました。

9月のJevとLayaの比較も、結論は使い分けでした。主役は1か月で替わる。でも、同じ50件で測ってから決めるという順番は変わりません。

一人で全部抱えている経営者ほど、アンケートやメールを夜に自分の目で仕分けているかもしれません。その仕分けを判定AIに自分の代わりに動かしてもらえば、荷物が1つ下ります。

🎯 今日やること：手で仕分けている作業を1つ選び、判定AIに同じ50件を解かせてみる。

同じ実物50件で、Clef-flash・Clef・Jevは互角でした。主役が替わったのは精度ではなく、速さ（公式の数字）と、画像も読めることと、10月4日に課金せずに回せたことのほうです。

単価はJevが一番安い。Macから呼ぶと、速さも3つで大きくは違わない。数字を並べると、投稿の「鬼速いし安いし」には条件が付いていたことも見えてきます。

だから使い分けです。普段の判定はClef-flash、迷った所はClef、専門家級の難問はJev。flashで全部判定して、迷った6件だけClefで見直すと、3項目ともJev以上になりました。

手を動かしたのは全部AI秘書の凛ちゃんで、私は眺めていただけです。あなたが毎日自分で仕分けているものを1つ、同じやり方で判定AIに渡してみてください。