ChatGPTの声に「目・記憶・専門知識」がついた｜結局、声とテキストどう使い分ける？

家事と子育てのスキマで経営する3方よしAI共創コンサルタントの田中啓之、ひろくん（@passion_tanaka）です。今回は金曜あさのGPTs研究会LIVEから、ただっち（多田啓二）と友くん（田中友紀）の「ChatGPTのボイスライブが進化した」回を紹介するね。

今日のお題はずばり、ChatGPTの音声対話モードが進化して「目・記憶・専門知識」がついたという話。私はLIVEには出てない視聴組なんだけど、この切り口がめちゃくちゃ実用的だった。いやー、ただっちは友くんが来る前から一人でスタートしてて、その場でChatGPTのボイスモードに「何が変わったの?」って直接聞いてみせる実演からスタート。友くんは5分遅れで「寝坊しました」と登場したかと思えば……そこからは怒涛の実演ラッシュ。小樽旅行のホワイトボード写真から声だけで旅のしおりを作ったり、失敗しないステーキの焼き方が書かれたPDFを声で30秒要約させたり、極めつけは「鬼コーチ」に明日のライブのオープニングを採点してもらうロープレイまで飛び出した回——ぶっちゃけ、ここまで実演てんこ盛りの朝LIVEも珍しい。LIVEを見てない人も全容がわかるようにまとめていくね。

出演者プロフィール：ただっち（多田啓二） ／ 友くん（田中友紀）

▶ この場面を動画で見る（00:01〜）

今日は友くんが遅れていたため、ただっちが一人でスタート。コメント欄には常連さんたちの「おはようございます」も続々届く中、まず今日のテーマをこう説明していました。

ただっち（00:01〜）

「今日のテーマですね、チャットGPTのボイスライブですね。音声対話のモードが進化をして、音声に目と記憶と専門知識がついたということで、どういうふうに声と文字を使い分けるのか、そこをテーマにお届けしていきます」

ただっちは「一人で頑張るみんなの親友」のコンセプトで活動するAI開花マーケター。テーマを説明したあと、なんと友くんが来る前に自分ひとりでChatGPTのボイスモードを起動して、画面の中のAI本人に「今日はチャットGPTのボイスライブが進化したって聞いたんですけど、何が変わったのかを教えてもらっていいですか？」と直接質問する実演から始めていました。画面の向こうのChatGPTが答えてくれた内容をまとめると、大きな進化ポイントは、①会話の自然さ（挨拶や同時に話す・言い直しがスムーズになった）、②しゃべった内容が画面にテキストでも同時表示されるようになったこと、③同じ会話の中で画像・ウェブ検索・記憶も使えるようになり「話しながら一緒に資料を見て考えて作業する相棒」に近づいたこと、④直近1週間ではボイス会話中にファイルアップロードとプロジェクト機能が扱えるようになったこと、の4点。画面共有やビデオはまだ別モードのままとのことでした。

そうこうしているうちに友くんが登場。あ、そうそう、第一声がこれでした。

友くん（05:19〜）

「ありがとうございます。あの、今日はですね、寝坊してしまいまして、みなさん。久々にこんな感じになっております。よろしくお願いします」

朝から笑いが起きるオープニング。友くんは元理学療法士で、今は「AIと愛で世界をカイテキに変えていく」をビジョンに掲げるAIカイテキサポーター。ChatGPTのLive（ボイス）モード自体は1ヶ月ほど前に登場していたものの、7月8日にさらに流暢さがアップデートされていたとのことで、無料版でも大きな遜色なく会話ができる仕様に。声のキャラクターを「昭和のスナックのお姉ママ風」に変えて話しかけるデモも披露しつつ、ここからが今日の本題、直近1週間で追加された「目」と「プロジェクト機能」の話に入っていきました。ちなみに友くんいわく、この声のキャラクター設定は「反応速度」や「鼻歌をはさむかどうか」まで細かく調整できるそうで、移動しながらとか洗濯物を畳みながらとか、両手がふさがっているタイミングでこそ効いてくる機能だと話していました。

で、ここで私が「へえ」と思ったのは、進化の中身が単なる音声認識の精度アップじゃなくて、「会話の自然さ」そのものだったってところ。挨拶がかぶったり、言い直したりする——人間同士の会話でふつうに起きることに、AIがちゃんとついてこられるようになった、ってことだよね。しかも画面上にテキストが同時に出て、会話の途中で画像や検索、記憶まで呼び出せる。単なる「聞き取ってくれるAI」から「隣に座って一緒に作業してくれる相棒」に一段ギアが上がった感じ。友くんが「洗濯物畳みながらとか、こういう時に使えたりする」って言ってたのも、地味だけど実は核心的な話。家事のスキマとか移動中とか、手がふさがってる時間にこそAIを使いたい場面があるのに、これまではキーボードの前に戻らないと本格的な相談ができなかった。声が「使える相棒」レベルまで来たなら、その戻る手間そのものが要らなくなる。家事と子育てのスキマで仕事を回してる私としては、この感覚には正直、ぐっとくるものがあったよ。

▶ この場面を動画で見る（10:34〜）

友くんが最初に実演したのが「目がついた」機能。話しながらその場で写真をアップロードして、それについて声でやり取りできるというものです。用意していたのは、家族で「夏休みどこ行きたいね」と話し合った様子を書いたホワイトボードの写真でした。

友くん（10:50〜）

「はい、これはもう皆さんあのお察しの通り架空の写真でございます」

この一言に、ただっちも「そう、めちゃめちゃ綺麗な事例だね」とツッコミ。

ただっち（10:55〜）

「そう、めちゃめちゃ綺麗な事例だね」

友くんいわく、スマホでパシャッと撮っておいたホワイトボードの写真をボイス会話に読み込ませて「それについて話す」ことができるとのこと。実演では「行き先は小樽になりました。2泊3日で安くておすすめのプラン探して、しおりを作って」と声だけで依頼すると、画面の向こうのChatGPTが「車なしで小樽駅周辺に2泊して、徒歩と路線バス中心に回ること。空港からはJR1本で行けるし、宿は駅から近くて泊まりやすい」といった具体的なプランを声で返してくれる様子が実演されました。しかも、その場で「ホワイトボードに書いてあったことも含めて、旅のしおり1枚を画像で作っておいて」と続けて頼むと、1分ほどで小樽の栄町通りや小樽水族館が描かれた旅のしおり風の画像が出来上がる場面も。友くんは「音声の状態で画像生成はうまくできなかったんですけど、一回×ボタンを押せば1分後にはこんな感じ」と、声と画像生成を組み合わせるコツも紹介していました。

もう一つの実演が、お盆にちなんだキュウリの馬とナスの牛の写真。「昔こういうのがあってさ」と声で思い出話をしながら「ちょっと投稿っぽい画像にしといてよ」とお願いすると、その場で投稿用の画像を作ってくれる様子も見せてくれました（本人いわく「これはちょっと失敗作ですけどね」とのことで、完璧ではない場面も正直にシェアしていたのが印象的でした）。友くんは「これも一回音声はオフにしておいてから、じゃあこれでちょっと今の喋ったことで画像を作ってよって言うと、連携して作ってくれる」と、声と画像生成の連携パターンを整理してくれました。声で話しかけながら画像そのものを作らせるのはまだ発展途上でも、声で会話しておいてボタン一つで画像化するという「合わせ技」ならもう十分実用レベル——このあたりの見極めの正直さが、友くんの実演の信頼できるところだなと聞いていて感じました。

この一連の流れで私が面白いと思ったのは、友くんが正直に「うちにはホワイトボードがなかったので、これは昨日作ってもらいました」ってタネを明かしてたところ。実演って、つい「本物っぽさ」を演出したくなるものだけど、架空だと前置きした上で「でも中身のやり取りは本物だよ」って見せてくれる。これ、実は結構信頼できる姿勢だと思う。しかも肝心の中身が、「小樽駅周辺に2泊」「JR1本で行ける」「有料体験は水族館とロープウェイに絞る」みたいに、けっこう具体的な予算感覚まで踏み込んでいたのが印象的だった。写真1枚と声のやり取りだけで、ここまで実務的な提案が返ってくるなら、家族の予定調整とか、ちょっとしたメモを形にする作業とか、日常のいろんな場面で使えそうだなと思う。冷蔵庫の中身を写真で見せたら、その場で献立を提案してくれるようなもの。材料さえ渡せば、あとは声でどんどん相談していけるっていう感覚が、今回いちばん伝わってきた場面だった。

▶ この場面を動画で見る（18:28〜）

「目」がついた話の流れで、友くんが気になっていたのが資料そのものへの対応。ボイスモードで話しながら「資料の種類は何でもいいの？」と本人に聞いていました。

友くん（18:38〜）

「声で聞ける感じになったんだよ。資料の種類は何でもいいの？」

画面の向こうのChatGPTいわく、よく使う資料系（PDF・Word・PowerPoint・Excel・テキストファイルなど）はだいたい対応しているものの、Googleドキュメントはそのままだと読めないので、一度PDFなどに書き出してからアップロードするのが安全とのことでした。実演では、たまたま見つけたという「失敗しないステーキの焼き方」PDFを事前に貼っておいて、「この資料参考に、今日家で焼肉バーベキューやるんだけど、美味しい肉の焼き方のコツをわかりやすく30秒で説明して」と声で依頼。すると「常温に戻して表面の水気を拭く、塩は焼く直前、強火で片面をカリッと焼いてから返す、焼いたら少し火を弱めて中まで焼き、切らずにアルミホイルで2〜3分休ませる」といった手順を、本当にPDFの内容を踏まえた形で30秒ぴったりに読み上げてくれました。

ただ友くんが正直だったのは、ここからの一言でした。

友くん（22:35〜）

「はい、でこれ、本当にこれちゃんと、今までもできたやつなんですけど、ボイスがちゃんとこれファイル読み取ってくれてんのかなと思って、でもこれを確かめようがなくて、やり取りで。一回オフにしてみると、一応このボイスじゃないときには、ここを参照してるよっていうのは言ってくれたんですよね」

便利さに乗っかるだけじゃなく「本当に資料を読んでいるのか」を一回テキストモードに戻して裏取りする、というひと手間を挟んでいたのが友くんらしいところ。スマホの場合はプラスボタンからカメラ機能を呼び出せて、風景を撮って「ここどこかわかる？」と聞くとランドマークから場所を推測してくれる、という小ネタも紹介されていました。写真だけじゃなく資料そのものについても声で聞ける、という発見に友くん自身も終始「え、そうなんだ」というリアクション。実演しながら一緒に驚いている、そんな空気が伝わってくる時間。便利機能を紹介する側なのに、本人も知らなかったことをその場で見つけて驚く——この距離感が、視聴者としても「一緒に試している感覚」につながっていたように思います。

この「資料を声で読ませる」って機能、地味に見えて実は応用範囲がかなり広い。ステーキの焼き方みたいな趣味の話だけじゃなくて、契約書のポイントを移動中に確認するとか、会議前に資料をざっと頭に入れるとか、そういう「読む時間が取れない」場面にこそハマる。今までは画面を開いてPDFをスクロールしながら読む必要があったのが、声で「要点だけ教えて」って頼めば、必要な情報だけ抜き出してもらえる。しかも30秒っていう制限時間を守って答えられるあたり、単なる音読じゃなくて、ちゃんと要約する頭を持ってるってことだよね。ただっちの「Googleドキュメントそのままは読めない」っていう補足も地味に大事。完璧じゃない、っていうのを正直に言ってくれるのがいい。PDFに書き出すひと手間さえかければ対応できるってことだから、実用上はそこまで大きなハードルじゃない。むしろ、こうやって「ここまではできる、ここはまだ」って線引きをはっきり示してくれる実演のほうが、あとで自分が試す時に迷わなくて済む。派手な成功例だけ見せられるより、よっぽど親切だなと思う。

▶ この場面を動画で見る（24:01〜）

ここからが友くんいわく「今日一番便利」な話。ChatGPTには「プロジェクト」というフォルダ機能があり、これまでは流暢なLiveモードがそのフォルダの中では使えなかったのが、ついに使えるようになったとのことでした。

友くん（24:01〜）

「仕事の背景文脈っていうふうに書いてあるんですけど、仕事でもいいし、さっきの家族旅行でもいいし、試験勉強でもいいんですけど、チャットも積み重ねることができる」

フォルダには「このフォルダではこういうルールで話してね」というカスタム指示や、PDF・画像・Excelなどの参考資料（情報源）も置いておけるとのこと。友くん自身、毎週の金曜ライブや先週のライブの壁打ち・サムネイル作成をこのフォルダで積み重ねているそうで、こう話しかけて実演を見せてくれました。

友くん（26:20〜）

「僕の金曜日のライブの傾向を分析して、20秒で大阪弁で教えてください」

これまでのチャット履歴を踏まえた分析を、フォルダの中のAIが即座に返してくれる様子が実演されていました。ゼロから説明し直す手間がいらない——部屋ごとに文脈を育てていく感覚が伝わってくる場面。

そして今日いちばんの盛り上がりが、この「プロジェクト機能」を使ったロープレイ機能の実演でした。

友くん（27:03〜）

「ロープレー、鬼コーチ採点付き。こういうことができます」

友くんが「明日のライブ内容についてロープレイしたい、鬼コーチ採点でお願い」と頼むと、ChatGPTが視聴者代表兼鬼コーチとして登場。採点軸は「①初心者に伝わるか②今日やってみたいと思えるか③話が長すぎないか④画面メモにつながる期待感があるか⑤友くんらしい安心感があるか」の5項目・各20点満点。友くんが今日のライブのオープニング60秒を実際に話してみせると、鬼コーチが78点と採点。ただの点数だけじゃなく、こんな具体的なフィードバックまで返ってきていました。

鬼コーチ（ChatGPT・採点結果）

「78点。”目がついた”という例えが初心者向けで強い。惜しいのは機能説明止まりで『私に何がいいの？』で視聴者が止まりやすいから、冒頭で一緒にやってみようの空気と、資料を開いてこれ要点だけ教えてって声で頼めるような生活シーンを一発入れると、今日使えるって刺さるよ」

ただの褒め言葉じゃなくて、惜しいポイントと直すならここまで具体的に返してくる。これ、聞いてて私も鳥肌が立った。ただっちも「いや、すごいね、いいね。いろんな応用考えればいろいろできそうだね」と感心。友くんは「新人対応の電話研修とか、お客さん役になってもらうロープレイにも使えそう」と、活用の幅の広さにも触れていました。さらにこのフォルダはブラウザ版のChatGPTに限り、ただっち・友くん・仲間内で共有もできるとのことで、「同じ背景・文脈を持ったチャッピーと複数人で話し合える」のがプロジェクト機能最大の強みだと友くんは締めくくっていました。

▶ この場面を動画で見る（32:10〜）

一通りの実演を終えて、友くんが「結局どっちがいいと思いましたか？」とただっちに聞くと、こんな答えが返ってきました。

ただっち（32:10〜）

「使い分けかなと思いますね。この声聞かれてても、ちょっとやっぱ焦りとか出ちゃうんで早く答えなきゃ。別に待っててもらえばいいんですけど、ちょっとなんか待たせてるなっていうのがちょっと不安に思う時があるので、使い分けかなと思ってます」

友くんも深く頷きながら、自分なりの使い分け方をこう整理していました。

友くん（32:27〜）

「めちゃめちゃ気を使ってますね。まさに今おっしゃっていた通りで、声だと思いつきを話せるし、思考を広げられる一方で、流れていっちゃう時は流れていっちゃうんですよね。その時はバッテンで一回オフにして、もう一回文字にして見返したりとか、なんか表にしてとか言っていると表にしてくれたりするので、結構ボイスにしたり戻したりということをしていただくといいと思います」

友くんのおすすめは、はじめにやりたいことを声でバーッと話しておいてから、途中でテキストにして整理し、最後は絵（画像）にするという流れ。声じゃなきゃいけないというより、声も選択肢の一つとしてうまく使うのがコツとのことでした。注意点として、カメラで写しながら動画のように話しかける使い方は今のところ非対応（以前できていたのが今はできなくなったとのこと）で、そこは一つ前の「アドバンスドボイスモード」のほうが対応しているとの補足もありました。

最後は告知タイム。ただっちからGPTs研究会がもうすぐ9000名に近づいていること、明日はゲストにあやこさんを迎えて「AI×起業」がテーマになること。自分自身が何を提供したいのか、お客さんが何に困っているのか、自分がワクワクできることは何なのか、どんなポジションで行くのがいいのか——この4つの大事なポイントを扱う回になるそうです。

友くんからは日曜日のAIニューストピックス番組（WACAコラボ）の案内もありました。前半30分はGPTs研究会メンバーの1週間の活用事例を紹介し合い、後半は7時半からWACAのZoomで1時間のライブ。最新情報だけじゃなく「みんなの活用場面・応用場面」が見どころとのことで、当日ライブを見ると無料チケットがもらえることもあるそうです。そしてもう一つ、友くんから9月23日に登壇する「AI時代の不登校革命サミット」の告知もありました。友くん自身、3人の不登校の子を持つ父親でもあり、「不登校の子どもたちこそ、AIという新しい光の中で輝ける可能性がある」というテーマで話すとのこと。ボイスモードの実演からこの告知まで、友くんが本業でもプライベートでも「AIをどう人に寄り添わせるか」を一貫して考えてる人なんだなというのが、今日のLIVEを通して改めて伝わってきました。今日のロープレイ鬼コーチの実演も、根っこは同じ。誰かの練習相手になったり、うまく言葉にできない気持ちを引き出したりする道具としてAIを使う——友くんのそういう姿勢が、声のAIというまだ新しい技術と一番相性がいいんだろうなと思いながら、今日のLIVEを見終えました。

ChatGPTのボイス（Live）モードに「目」がついて写真やホワイトボードを見せながら会話でき、「プロジェクト機能」の中でも使えるようになったことで、記憶と専門知識を持った状態で声のやり取りができるようになった——今日のLIVEはまさにそれを実演てんこ盛りで見せてくれる回でした。友くんが本業でも使っているという「鬼コーチ採点付きロープレイ」は、朝ライブの準備から新人研修まで応用が効きそうな、今すぐ真似したくなる使い方でした。

そして何より印象的だったのが、便利さに流されず「本当にファイルを読んでくれてるのか、確かめようがなくて」と一度テキストモードに戻して裏取りしていた友くんの姿勢と、ただっちの「声だと待たせてる気がして焦る」という正直な感想。ふたりの結論は「声は思いつきを広げる道具、テキストや画像で最後は着地させる」という使い分け。私はLIVEに出てなかった分、実演を聞きながら「そうそう、これぐらい正直に検証してる姿を見せてくれると安心して使える」と何度も頷いてしまった……声のAIが気になっていた人は、まず自分の困りごとを一つ、声で話しかけてみるところから始めてみてはどうでしょう。