ローカルLLMはどこまで実用か、外のAIに渡す前に手元で個人情報を置き換える

出典: 【サブスク不要】ローカルLLMはどこまで実用になったか検証した件

自分の機械の中で動くAIは、仕事に使えるところまで来たのでしょうか？動画の出だしは、まさにこの問い。ローカルLLMが実用レベルになってきた、という見立てから始まります。

Sasageさんの見立ては、ローカルLLMは実用レベルに入ってきた、というもの。

Sasageさん（動画の中で・1:38〜）

でもローカルLLMがもうね、Mac1台でもちょっとしたものならばGLM5.3フラッシュとかなら動くし、ま、ま、生成速度も、ま、それなりに出るような感じになってきてますよと。

言い換えると、Mac1台でも小ぶりなモデルなら動き、文章を作る速さもそれなりに出るようになった、ということです。例に挙がったGLMは、モデルの名前のひとつ。その軽い版です。

これはSasageさんの見立て。動画のデモは、このあと第3章で出てくる再現の画面で進みます。

続いて、医療の現場での関心へ。医療系の展示会で、ローカルLLMを動かすのによく使われるマシン、DGX Spark のブースが大人気だった、という報告がXにあったと言います。

常に何人ものお医者さんが話を聞きに来ていた、とも。その報告を見て、今はそういう状況なのかと感じた、とSasageさん。

DGX Spark は求める人が多く、値段が上がってきている、という話も出ます。

実用かどうかは、速さだけでは決まらないんですよね。同じモデルでも、要約を頼むのか、数字を抜き出すのかで、求められる確かさが変わります。決め手は、何を任せるかの線引き。

私なら、実用かどうかは、任せる範囲を決めて、範囲ごとに確かめます！

動くかどうかと、生成の速さ。動画が見せた物差しは、この2つです。私はその手前で、任せる仕事を小分けにしておきたい。

その線について、手元で動かすQwenを含む4つの道具を試した記事の、手元のQwenの節で、私はこう書きました。

私の記事より（4つの道具を試した記事の、手元のQwenの節）

ここは使える。社外に出したくないメモの、一次整理に向く。

…

手元の要約は、Qwen 3.6で実用になった。ただしAGI Cockpit経由では、小さい原稿でも大きな器が必要になりうる。厳格な抽出には、後段の事実チェックが要る。

引用の中の器は、AIが一度に読める文章の量のこと。その記事では、最初の器が小さくて拒否され、器を大きくして通った、と書いています。引用の中の英語の名前は、同じ記事の冒頭で、AIを何個も同時に使える箱、と書いたアプリです。

動画の実用レベルの話も、この分け方で見ると具体的になります！整理を頼むのか、抜き出しを頼むのか。それで実用かどうかの答えは分かれます。

私が手元のモデルに向くと書いたのは、社外に出したくないメモの、一次整理まで。厳しく抜き出す仕事には、後ろで事実を確かめる手順を置く、とも書いています。

精度だけなら、クラウドの方が上。そう分かっていても、ローカルを選ぶのはどんな仕事でしょうか？動画は、ローカルで動かす理由へ移ります。

Sasageさんは、精度だけならローカルでない方がいい、と前置きします。それでもお医者さんが注目するのは、普通のLLMがそもそも使えないから。

Sasageさん（動画の中で・3:03〜）

もうすごい個人情報の塊りなんで。

外に出せるかどうか。これは、精度を比べるより前に引く線なんですよね。

私なら、AIに渡す前に、家族とクライアントの情報を、渡す物と渡さない物に分けます！

最初の例は医療です。患者の情報は、病院の外に出してはいけない決まりがある。だから、ローカルで動かす機械を院内に入れたい、という話になります。

次は弁護士や法務の仕事。さまざまな情報を扱うので、ローカルにしたいと考える人がいる、と続きます。

3つ目は、セキュリティ要件の厳しい企業。外に出せない所が、まだ残っていると言います。

どの仕事も、理由は同じ。外に出せない情報があるから、ローカルLLMが注目されている、という流れです。

その線について、個人情報を預ける前に預け先の責任範囲を確かめる記事で、私はこう書きました。

私の記事より（預け先の責任範囲を確かめる考え方を書いた記事）

私の分身AIの元になる文書の禁止事項の一つに、個人情報の漏洩を避け、家族とクライアントの情報は守る、があります。預けても、この線は変わりません。

…

持つ・預ける・AIに渡すの境界は、最後に私が決めます。

預ける相手が変わっても、この線は自分の側に置いておけます。クラウドでも手元でも、守る情報は同じ。

動画が見せたのは、外に出せないから手元で動かす、という使い分け。私の線はその一歩手前で、どこで動かすかより先に、誰に何を渡すかを決める所にあります！

渡す物と渡さない物が分かれていれば、機械を選ぶ時も、何を手元に残すかがはっきりします。

ローカルLLMが動くと分かると、次は機械ごとの速さが気になります。けれど、手元に無い機械の速さは、どうやって知るのでしょうか？動画が選んだのは、買わずに試す方法。

そのマシンを買うのは大変なので、エミュレーションにした、とSasageさんは言います。エミュレーションは、ネット上の報告をもとに、その機械で動かした時の様子を再現して見せることです。

元にしたのは、実際にそのMacで動かしたらこれぐらいの速度や性能が出た、という報告。ネット上にたくさんあったものだと話します。

動画の画面は、その報告を読み込ませて、同じように動かしたらどういう動きになるかを見る作りだ、と説明されます。

使うのは、Open WebUIという、モデルを選んで質問する画面。ここで構成とモデルの組み合わせを選びます。画面の裏側はネット上のサービスにつながっている、とSasageさんは話します。

比べる構成は3通り。M5 Pro・M5 Max・M5 Ultraは、チップの名前の違いです。

Mac mini（M5 Pro・メモリ48GB）は、約30万円から。Mac Studio（M5 Max・メモリ128GB）は、約94万円。Mac Studio（M5 Ultra・メモリ256GB）は、約167万円。3つの違いは、メモリの量に大きく出ます。

使うモデルは、Qwen系やGLMなど。Qwenも、モデルの名前です。Sasageさんがそのマシンを持っているわけではないことも、出演者の質問に答える形で明かされます。

Sasageさん（動画の中で・6:01〜）

ちょっとエミュレーションなんで正しいかどうか分からないですけど、ま、雰囲気をね、ローカルLMを使ってる時こんな感じになるんだみたいな雰囲気を分かってくれれば

引用の中のLMは、LLMのことです。

私なら、再現の数字は、実測の値として並べず、雰囲気をつかむ材料として読みます。

雰囲気でつかめるのは、どの構成で待ちが長くなるかの向き。実際に私の机で何が起きるかは、別に見ておきたい所です。動かす前の準備も、その中に入ります！

数字を見ると、自分の机でも同じ速さが出る気がしませんか？私はそこで一度、手を止めたいんです！

デモの質問は、社内の勉強会で、生成AIを業務に取り入れる時の注意点を3点挙げ、それぞれ短く説明する、というもの。対象は営業部とサポート部のメンバーです。ITにあまり詳しくない人も含みます。

画面には、Ultra構成に7秒間の思考、Mac mini構成に41秒間の思考と出ます。同じ質問を、2つの構成に流した時の表示。どちらも、第3章で見た再現の画面の上の数字です。仕事で毎日使うと、この差はどれくらい影響してくるでしょうか？

Sasageさんは、同じ質問を2つの構成に同時に流します。並ぶのは、Ultra構成と、約30万円のMac mini構成。その秒数を、答えが出るまでの時間として語ります。画面の表示は思考。答えを書き出す前に考えていた時間です。

Sasageさん（動画の中で・7:03〜）

ま、やっぱウルトラだともう7秒でバーンで出してくれるんで。

Ultraなら、普段使うAIとあまり変わらない感覚で使える、という話です。

Sasageさん（動画の中で・7:16〜）

で、やっぱ30万円ぐらいのモデルだと、え、なかなか時間がこんな短いやつでもかかってしまうっていう。あ、だけど41秒か。41秒で出ていきますという感じ。

出演者から、モデルが違うのに比べになっているのか、という質問が出ます。答えは、そのマシンで動く一番いいモデルを使っている、というもの。厳密な同条件ではありません。

画面のMac mini構成の欄には、Qwen3.8-27Bと出ています。

Sasageさん自身も試してみて、普通のことを聞く分には、ここに挙げたモデルは変なことを言わない印象だったと言います。

Sasageさん（動画の中で・7:58〜）

ま、めっちゃアホだなっていうことはなくて、ま、どっちかというと、ま、どれぐらい時間が答えるまででかかるのかっていうところがネックになってくるのかなっていうイメージでしたね。

Qwen系は中国で作られたモデルなので、答えの後ろの方に中国語が混ざることがたまにある、とも。

私なら、画面の秒数だけでなく、動かせるようになるまでの手間も含めて見ます。

私は2026年8月18日から19日にかけて、手元のLM StudioでQwen 3.8を動かそうとして、うまく動きませんでした。LM Studioは、手元でAIを動かすアプリです。

最後に読み込み直したのは、qwen3.8-27b-mlx。動画のMac mini構成の欄にあったQwen3.8-27Bと、同じ名前のモデルです。私の机は、再現の画面とは別の環境です。

私がAIに送ったのは、ちゃんと動くようにして、という言葉。続けて、LLMロード2個されちゃってる、なんで、と聞きました。

AIに調べてもらうと、動かなかった原因は3つ。

1つ目は、同じQwen 3.8が二重に読み込まれていたこと。同じモデルが、2つ同時に立ち上がっていた状態です。

2つ目は、長い指示と多くの道具の定義が、一度に送られていたこと。道具の定義は、AIが使える機能を知らせる説明書きです。それが長い指示と一緒に、1回の問いかけに乗っていました。

3つ目は、削除したQwen 3.6の指定が残っていたこと。消した古いモデルの名前が、設定の中に残ったまま。

対処は2つ。qwen3.8-27b-mlxを1つだけ、同時に2件まで受ける設定で読み込み直すこと。送る文章の形を整える仲介役を、手元に常駐させること。

動画の画面に出ていたのは、7秒間の思考、41秒間の思考という、考えていた時間の表示です。

M5 UltraとDGX Sparkを比べる動画を紹介した記事で、私はこう書きました。

私の記事より（表の数字より先に見る物を書いた記事）

私なら、表の数字より先に、自分の仕事のプロンプトと答えの大きさを見ます。

プロンプトは、AIに渡す指示や文章のこと。短い質問でも、考える時間の表示だけで41秒と出るなら、長い文章を読ませる仕事では、待ち方から考え直したくなります！

問い合わせの記録や相談の文面には、名前や連絡先がそのまま入っています。こうした文書を外のAIに読ませたい時、どうしますか？動画は、ローカルLLMの使い方の例として、個人情報の扱いへ進みます。

個人情報をAIに読ませていいのかは、よく問題になる、とSasageさんは言います。そこで出てくるのが、先にローカルLLMでマスキングしてから、本命のLLMへ渡す使い方。マスキングは、氏名などを別の言葉に置き換えて見えなくすることです。

Sasageさん（動画の中で・9:52〜）

やっぱ個人情報をローカル、え、普通のLMに投げるのは良くないみたいな話があると思うんですけども、ま、それを先にローカルLLMでマスキングしてから本ちゃのLM投げる使い方が結構便利なんじゃないかなと個人的には思ってます。

引用の中の本ちゃのLMは、本命として使う外のAIのことです。

私なら、個人情報は本命のAIへ渡す前に置き換えて、置き換え漏れを別のやり方で確かめます。

試すのは、問い合わせの記録に見せたダミーのデータ30件。個人情報が大量に載っていて、全部マスキングしてください、という指示を与えます。選んだ組み合わせは、M5 Max 128GBの構成とQwenのモデル。

この30件の実演も、第3章の画面の中の出来事です。画面の裏側はネット上のサービスにつながっているので、ローカルで動いた証拠にも、本物の個人情報を流してよい証拠にもなりません。

考えている途中の表示のあと、30件の出力が並びます。途中、名前が残って見える所があり、出演者が慌てる場面も。ただ、指示には、社員の苗字は置き換えないでください、と書いてありました。担当者の苗字が残るのは、指示どおりです。

氏名などが指示どおりに置き換わった、というのが、画面を見たSasageさんの受け止め。件数を数えた話ではなく、画面を見た感想です。どの記録がどの人のものか、後から見分けられるかは分からない、という指摘も出ます。

使い道としては、こういう事案があって改善をどうするかを考えたい時、というイメージだと続けます。

Sasageさん（動画の中で・12:03〜）

あんまり違和感なくちゃんとしたこと答えるなってイメージは全体的に受けたので、そういう個人情報とかたくさん取り扱っているところは検討してみてもいいかもしれません

動画では、置き換えそのものを機械に頼んでいました。ただ、漏れの確認まで同じ機械に任せると、確かめる手順がひとつきり。

本物の記録に使う前に、作り物の記録を手元で通して確かめたい！

2026年7月14日には、文書どうしの関係を探す道具を、手元でAIを動かすアプリのOllamaだけで手動で動かし、外のAIへは送らないと決めました。

私の記事で、手元のQwen 3.6の要約を、原文に書いてある範囲だけで見ると、はみ出した箇所があった、と書いています。日付から日数を足した記述と、次にやることを勝手に決めた箇所です。

原文の抜き出しではなく、推論寄りでした。厳格な抽出にはあとで事実チェックが要る、とも書きました。

手元で動くことと、出力が原文どおりであること。この2つは別の話です。置き換え漏れを別の手順で確かめたいのは、そのため。

マスキングを機械に任せる所までが、動画の見せ場。私は、置き換え漏れを確かめる所までを、自分の側に残します！

モデルが公開されていれば、手に入れたそのまま、自分の機械で動かせるのでしょうか？動画は、マスキングのあと、オープンウェイトへ移ります。モデルの大きさと、それを受け止める機械の話です。

出演者から、オープンウェイトにはテラ級の大きさのものがあるけれど、どうやってダウンロードするのか、という質問が出ます。

オープンウェイトは、公開されていて、ダウンロードして自分の機械で動かせるモデルのこと。テラ級は、サイズがテラバイトの単位になるほど大きいことです。

ダウンロードのリンクを押しても、何日もかかるのでは、という話も出ます。答えは、ダウンロードできても、それを動かす方が難しい、というもの。今回紹介した構成は、そういう大きさとは別だ、とも付け加えられます。

（動画の中で・13:07〜）

ダウンロードできたとしてもそれを動かすサーバーがもうどうすんねんみたいな話なんで。

動画の中では、ダウンロードまで済んでも、動かすサーバーをどうするのかが問題になる、という意味で語られます。その動かす先のサーバーの価格が上がっている、と続きます。

ローカルLLMを動かすのによく使われるマシン、DGX Spark が話題になり、M5 Ultra も人気がある、と進みます。

Sasageさん（動画の中で・14:16〜）

ま、実際にね、使わ、実際に買ってる人も増えてるし、ま、実際の会社でも会社とか医療機関でも使われるケースが増えてきているっていうのが、ま、情勢としてありますよという感じですね。

モデルが手に入ることと、動かせることは別の問題。ここ、見落としやすいんですよね。

私なら、機械を買う前に、自分の仕事で外に出したくない情報は何かを、先に書き出します。

外に出したくない情報が決まっていれば、要る機械の大きさも、手元で動かす範囲も、ぐっと決めやすくなります！

逆に、そこが決まらないまま比べ始めたら、機械の比べ合いはいつまでも終わらない気がしませんか？

買う人が増えている、というのがSasageさんの語る情勢。機械選びは、その書き出しの後でいい、と私は考えます。

この記事では、Toruさんの進行のもと、Sasageさんが解説とデモを担い、Ikedaさんも加わってローカルLLMの今を確かめた動画を、6つの章で追いました。

ローカルLLMは、どこまで実用か。動画の再現の画面では、約30万円のMac mini構成に41秒間の思考と出ました。私が手元で確かめて書き残したのは、社外に出したくないメモの一次整理に向く、という所まで。私の答えは、任せる範囲を決めて、範囲ごとに確かめる、です！

7秒と41秒は、再現の画面に出た、考えていた時間の表示。答えが全部出るまでの時間とは分けて読みます。

医療や法務のように、個人情報を外に出せない仕事では、なおさら線が先です。機械を選ぶ前に線を引き、置き換えたら、置き換え漏れを別の手順で確かめる所までを、自分の側に残します！

動画は、ローカルならどこまで動くかを、速さと使い方で見せてくれました。その手前の問いをひとつ。今の仕事で、AIに渡さない情報を、迷わずひとつ言えますか？

まずは、外に出さない情報の種類を3つ書き出してみてください。書いたら、記事の最初の折りたたみの依頼文に貼って、線の整理をAIに手伝ってもらえます。