Jev vs Laya 比較｜アンケート50件の仕分けは精度でJev、速さと手元で動く安心はLaya

家事と子育てのスキマで経営する3方よしAI共創コンサルタントの田中啓之、ひろくん（@passion_tanaka）です。

AI WITH Rithesh さんの動画「Laya Is INSANE… Open-Source AI Just Challenged Jev!」を、AI秘書の凛ちゃんに送りました。タイトルのとおり、判定だけするAI「Jev」に、オープンのLayaが挑んだ、という動画です。

Jevは、このブログで何度も使ってきました。読者の声の仕分け。ブログ全記事の監査。検索の意図がずれた記事のふるい分け。どれもクラウドのJevに判定を頼んでいます（Jevそのものの説明はこちらの記事）。

で、動画のURLをAI秘書の凛ちゃんに送って、Jevの代わりに試してほしいと頼みました。頼んだのはそれだけで、数えるのも比べるのも学習を回すのも、手を動かしたのは全部AI秘書の凛ちゃんです。

使ったのは私のMac（Apple M5 Max）。GPUはMPSです。9月25日に、素のまま、追加学習1回目、直して2回目、の順で試しました。

🎯 今日やること：自分の仕事で「Jevに頼んでいる判定」を1つ書き出す。乗り換えを測る場所は、そこです。

Layaは、判定専用のモデルです。動画の説明欄によると、選択・点数・はい／いいえを1回の計算で返します。約33ミリ秒です。

重みはApache 2.0で公開されています。公開直後にHugging Faceのトレンド1位になった、と説明欄にあります。開発者はNanda Kishoreさん。2025年3月に論文・重み・データ・pypiを公開していた、とも書かれています（公式GitHub／Hugging Face）。

説明欄の主張はこうです。素の重みは弱い（日本語のベンチマークで0.362）。でも追加学習すると89.6%で、クローズドのモデルに勝つ。この2行が、今回の実験の出発点です。

今回使った版はlaya 0.3.20。日本語に対応したmultilingual（3.22億パラメータ・重み615MB）です。

🎯 今日やること：新しいAIの説明欄を読んだら、「どの試験で」「何と比べて」の数字かを1行メモする。

まず、素のままのLayaです。以前Jevで測った「読者の声50件」を、同じ質問・同じ正解で解かせました。

50件の中身は、私が主催したセミナーのアンケートの自由記入や、ダイエット本の読者からのメルマガ返信です。実物ですが、本文と氏名は載せません。正解は、9月21日にAI秘書の凛ちゃんがJevを回す前に付けたものです。

テスト①：読者の声50件（同じ質問・同じ正解）

速さは、Layaの勝ちでした！1件0.12秒。クラウドのJevは0.59秒なので、約5倍速です。私のMacの中で、この速さで動きました。

でも、当たる率が低い。109問と69問って、同じ50件で、ここまで開きました。

外し方は2種類でした。勧めるべき人18件に「何も勧めない」と答えたこと。集客の悩みは正解が5件なのに、11件を「集客の悩み」と判定したこと。速いのに、肝心の仕分けが外れるってことです。

🎯 今日やること：AIを乗り換える前に、同じ質問・同じ正解で、手元の50件を先に解かせる。

動画の説明欄は「追加学習すると勝つ」と言っています。で、追加学習を1回試す、と私が選びました。

教材にしたのは、9月22日にJevがブログ監査で付けた判定で、ai-kidou.jpの1,714本（対象は1,713記事）を章ごとに判定したものを、そのままLayaの正解役にしました。質問は「出し惜しみがあるか」「読者は満足するか（0〜2）」「登録の呼びかけがあるか」です。

学習用は1,414記事。試験用は300記事・2,566章。学習用と試験用に重なりが0件なことは、スクリプトで確認しました。学習は1,996問で28分です。

結果です。学習後のLayaは、2,566章すべてに同じ答えを返しました。出し惜しみ＝いいえ。満足＝1。呼びかけ＝いいえ。全部、これです。

ところが正解率だけ見ると、76%から99%に伸びたように見えます。理由は簡単でした。Jevが「出し惜しみあり」と判定した章は、2,566章のうち21章だけ。だから何も読まずに全部「いいえ」と書けば、99.2%当たる試験だったんです。

正解率が上がった、だけでは喜べません。答えの種類が1つに張り付いていないかって、先に見ないと、99%という数字にだまされます。

🎯 今日やること：AIの正解率を見たら、「全部同じ答えで何%当たる試験か」を先に計算する。

1回目の失敗を見て、直してもう1回学習する、と私が選びました。AI秘書の凛ちゃんが直したのは、次の点です。

• 「はい」が少ない側の例を7倍に増やして学習する
• 学習の強さを1回目の1/5にする
• 1周ごとに保存して、確認用データで一番良い周を採用する

学習は43分。4周のうち1周目を採用しました。1章あたり0.11秒。答えの種類は、1回目の1種類から、2回目は7種類に増えました。章ごとに違う答えを返すようになった、ってことです。

登録の呼びかけ（Jevが「あり」とした394章）

出し惜しみ（Jevが「あり」とした21章）

「言いすぎ」は大きく減りました！学習前の770が127に。でも「見逃し」は残っています。呼びかけ394章のうち208章。出し惜しみ21章のうち17章。半分以上を見逃しました。

読者の満足（0〜2）でJevと同じ段階を答えた章は、学習前1,130、1回目1,631、2回目1,714（2,566章中）。ただし全部「1」と答えるだけで1,631当たる試験です。

あと1つ。2回目が出し惜しみを当てた4章のうち、3章は同じ見出し「AI氣道の最新情報をチェックしよう」の章でした。推測ですが、中身ではなく見出しの形で覚えた可能性があります。

🎯 今日やること：追加学習をしたら、正解率より先に「答えの種類が何通りあるか」を数える。

公平のために、Layaが勝っていたところも書きます。

1つ目は、文章がMacの外に出ないこと。今回、読者の声50件もブログの章も、外部のサービスへ送らずに判定しました。Jevは今回、クラウドのAPI（Vercel AI Gateway経由）へ文章を送って判定させています。外に出せない文章を手元で判定できるのは、Layaの強みです。

2つ目は、重みが公開されていること（Apache 2.0）。手元に置けて、自分のデータで追加学習できます。今回もMacで2回、28分と43分で学習しました。学習後の重み（614MB）も、手元に残っています。

3つ目は、速さ。1件0.12秒で、Jevの0.59秒より約5倍速でした。

4つ目は、動く場所の多さです。動画の説明欄によると、MLX・CoreML（Apple Neural Engineで3.7ミリ秒）・ブラウザ（WASM・524MB）・Node・Androidなど、公開から約72時間で6つの環境に移植されたそうです。ここは今回試していません。

公平のためにもう1つ。Jevにも、ローカルで動かすオープンソース版「kev」（GitHub: jaredpalmer/kev）があります。以前の記事で紹介しました。今回はkevは試していません。

🎯 今日やること：外に出せない文章が自分の仕事にあるか、1つ書き出す。あるなら、手元で動く判定AIを試す候補になります。

注意点を書いておきます。

今回測ったのは「LayaがJevの判定をどこまで真似できるか」で、テスト①だけは人が付けた正解と比べましたが、テスト②と③はJevが正解役なので、Jevが人間より正しいという話ではありません。

動画の説明欄の89.6%は、別の教材・別の試験での数字です。今回の結果は、それを否定も肯定もしません。私のブログの章と、私の読者の声で測ったら、こうだった。それだけです。

測る条件が違えば、数字も違います。だから「動画で89.6%だった」と「手元で69問だった」は、並べて見るものではなく、分けて見るものだって分かりました。

🎯 今日やること：AIを比べた数字を見たら、「正解を付けたのは誰か」を確かめる。

結論は、使い分け、です。速さは約5倍。でも、素のままでは109問と69問。追加学習1回目は全部同じ答え。直した2回目でも、呼びかけ394章のうち208章、出し惜しみ21章のうち17章を見逃しました。

だから、精度が要る仕分けはJev。文章を外に出したくない場面と、速さが要る場面はLaya（またはkev）。文章がMacの外に出ない。重みも学習後の重みも手元に残る。今回の日本語の仕分けの精度ではJevが上でしたが、精度はJev、速さと手元で動かせる安心はLaya、というのが今回の実測です。

今後どっちの進化も楽しみです。

やってみて分かったことを並べます。①速さと当たる率は別。②正解率は、全部同じ答えで何%当たる試験かを先に見る。③追加学習で直しても、少ない側の見逃しは残った。

順番はこうです。まな板の上で同じ50件を切ってみて、当たる率を先に見る。速いかどうかを見るのは、その後です。

🎯 今日やること：「速いから乗り換える」を一度止めて、当たる率を同じ正解で測ってから決める。

動画で話題のLayaを、Jevの代わりに私のMacで試しました。速さは約5倍。当たる率は、109問と69問でした。

追加学習の1回目は、全部同じ答えで失敗。直した2回目は張り付きが消えた代わりに、見逃しが半分以上残りました。

精度はJev、速さと手元で動かせる安心はLaya。だから使い分けです。精度が要る仕分けはJev、文章を外に出したくない・速さが要る場面はLaya（やJevのローカル版kev）。動画の89.6%は否定も肯定もしません。今後どっちの進化も楽しみです。

手を動かしたのはAI秘書の凛ちゃん。私は動画を送って、追加学習を1回、直してもう1回、と選びました。その分担もそのまま書きました。