ElevenLabsで音声AIエージェントを作って遊んだ日のこと

家事と子育てのスキマで経営する3方よしAI共創コンサルタントの田中啓之、ひろくん(@passion_tanaka)です。
11月10日の月曜日、ただっちと2人で朝LIVEをやりました。テーマは「最新AIを遊びながら試す」。成果を出しにいくというより、面白そうなものを触ってコメントをもらい、わいわい楽しむ30分にしようと、ただっちと話していました。その日、私が「今日ちょっと実験したい」と言って紹介したのが、ElevenLabsを使った音声AIエージェントです。クリエイティブプラットフォームとエージェントプラットフォームの2系統があって、後者を使うと音声で自然に会話するAIが作れます。エージェントを電話番号に紐付ければ、100人に同時電話もできます。GeminiのRAGとつなぐと、カルピスの原液を学んだ分身AIが動き回れます。そこまで話が広がって、30分があっという間に終わりました。
この朝LIVEを続けているGPTs研究会は2023年11月に始まり、この日で5900人を超えて、今月中に6000人に届きそうだと、ただっちが紹介していました(30:27〜)。
ElevenLabsにはクリエイティブとエージェント、2つのプラットフォームがある
音声AIエージェントを作って遊んだ日の一部始終を、観た順番のまま残しておく。

この日の朝LIVEで私が「今日ちょっと実験したいな」と言って取り上げたのが、ElevenLabs(11ラボ)の音声AIエージェント機能です。ElevenLabsは音声生成のプラットフォームとして知られていて、テキストから人間に近い音声を作れます。日本語にもちゃんと対応していて、声質や感情表現も細かく設定できます。そのうえ、テキストを音声にするだけでなく、AIが自分で会話を続けるエージェントまで作れるんです。
私がLIVEでElevenLabsを開いた時の入り口が、この発言でした。
ひろくん(5:48〜)
「11ラボって音声を作成するツールがあるんですけど、あれでAIのエージェントを作って音声対応ができるので、それをライブのゲストにしようとなっています」
ただっち(2:17〜)
「ありがとうございます。ぜひ皆さん朝のコメントもいただけたら」
ひろくん
「今ちょっと少しパンが焼けてしまったので1分ほどお待ちください」
ライブのゲストをAIにしてしまおう、という発想が出発点だった。音声で会話できるエージェントをその場で作って、ライブに出演させてみる。ただっちと私の2人のライブに、AIが3人目として加わるイメージで進めていた。

実際にElevenLabsを開いてみると、画面上部に大きく2つのカテゴリが並んでいる。
ひろくん(6:09〜)
「ちょっと今11Lab立ち上げて、11Labってクリエイティブプラットフォームとエージェントプラットフォームって2つあるんですけど、エージェントプラットフォームって押すとこのエージェントが作れるんですね。マインドフルネスコーチとかセールスエージェントとかあるんですけど、このエージェント作成って押すと自分で作れる」
画面はクリエイティブ系とエージェント系の領域に分かれていて、この日私がメインで触ったのはエージェントプラットフォームの方です。エージェント側は、AIが自分で会話を進める仕組みを作る領域で、LIVEでは電話応答やヒアリングの形で実演しました。エージェント作成のボタンを押すと、「マインドフルネスコーチ」「セールスエージェント」といった雛形がすでに用意されています。そのまま使ってもいいし、ゼロからカスタムで作ってもいいんです。テンプレートがあるので、最初の一歩が踏み出しやすくなっています。作り方もシンプルで、使う声とキャラクター設定(プロンプト)を入れるだけで動くものができます。ここまで裾野が広がってきているんだなと、LIVEの中で実感しました。
音声生成で知られてきたElevenLabsで、エージェント機能も使えます。作って、動かして、直すサイクルを、とても短い時間で回せる作りになっています。この日の朝LIVEで実際に触りながら見せたのも、まず遊んでみるのが私たちのやり方だからです。
日本語の声を選んでキャラクター設定を試した

エージェントプラットフォームで設定を進めていて、まず気づいたのが管理画面が日本語になっていることです。以前は英語だけだったのが、いつのまにか日本語に対応していました。地味ですが、これは結構大きな変化で、英語が苦手な人でもかなり直感的に操作できるようになっています。
ひろくん(6:33〜)
「最近日本語にも対応したらしくて管理画面も日本語になってるので、めちゃくちゃ伝えやすいかなと思います。今ちょっとデモ的に簡単に作っちゃいますけど、日本語を話す人で、おはようございます、ライブ出演できて嬉しいですって、まあこれ今ライブ出演させようとしてます、AIに」
この声選びの時間が、見ていて一番わくわくしたところでした。
管理画面が日本語になったおかげで、設定項目の意味をいちいち調べながら手探りで進める必要がなくなった。AIエージェントのキャラクター設定は、どんな性格でどんな役割を担うのかを日本語で書くだけ。この日のLIVEでは「日本語を話す人で、おはようございますと挨拶して、ライブ出演できて嬉しいですと言う」というようなプロンプトを設定した。
次に取り組んだのが声の選択です。私が「この声が選べます、世界中の声があってElevenLabsの特徴で、すごく高精度の声で感情的な声も出せます」と紹介しながら、日本語フィルターでキャラクターを絞り込んでいきました。若い声や中年の声など、複数のキャラクターが並ぶ中から、試聴しながら候補を選びます。ただっちと私で「かわいい女の子の声にしよう」という方向になり、いくつか試した末に声が決まりました。声を選ぶだけで、エージェントの印象ががらっと変わるのが面白いところです。
ひろくん(7:18〜)
「本当はもっと緻密に設定してもいいんですけど、一旦これでやってみましょうかね。これだけで日本語喋るエージェントができました。でワークフローという機能を使うとここでまたいろんな機能をつなげられる」
LIVEの現場で適当に作ったエージェントが、ちゃんと日本語で返答してくれたのは正直驚いた。細かく作り込めばもっと精度は上がるわけだけど、まず動くものを最短で作ってみるというのがAIを触る時の良い入り方だと思う。ワークフロー機能を使うと、エージェントとの会話を起点にした処理の自動化も設計できるという。
ひろくん(10:07〜)
「これテストってやると、これでエージェントの電話ができます」
テストボタンを押すだけで、その場でエージェントと会話を試せる。実際にテストしてみると、テンション高めに「おはようございます!」と返ってきて笑ってしまった。このテスト機能があることで、設定を変えながら何度も試せる。LIVEでその様子を見てもらいながら「こういう感じで声の分身が作れるんだよ」という流れで話を進めていた。
テストの次に、エージェントに役を頼んでみました。朝ライブに出てほしい人として偉人の案も出ましたが(11:56〜)、私が頼んだのはこれです。
「あなたは、女性のアナウンサーとして、朝ライブを進行してください。僕はひろくんで、あとただっちもいます。あなた入れて3人でやってきます。お願いします」(12:38〜)
すると「承知いたしました。私、女性アナウンサーとして朝のライブを進行させていただきます。ひろさん、ただっちさん、そして私の3人で楽しい朝をお届けできるよう頑張りますね」と返ってきました(12:53〜)。続けて最新のAIネタを「探してきてくんない?」と頼んだ所では、「止まってそうな気がする」という声も出ていました(13:23〜)。
管理画面が日本語になり、テンプレートが整い、テスト機能まで揃っています。触りながら「これなら今すぐ触れるな」と、素直にそう思いました。
電話というアナログの入り口から誰でもAIと対話できる

エージェントを作ってみた後、話が大きく広がりました。それが「電話」という入り口の話です。私が「アウトバウンド電話をかけるという機能がある」と話しました。電話番号をつないで、AIエージェントが実際に電話をかけにいく仕組みです。「電話か、それは面白い」と思った理由はシンプルで、電話はスマホもパソコンも関係なく、誰でも使えるインターフェースだからです。
ひろくん(14:22〜)
「電話はできるじゃないですか。大体みんな誰でも。だからお年寄りの人とかでもAIとまさにこの対話を通じて、例えばおじいちゃんおばあちゃんになんかSNS発信をしてもらおうと、孫役の声で電話をして。孫と電話をしてる感覚で、柿を使ってサラダを作ると意外と美味しいんだよとかって話してると、終わったら、それをブログ記事にしてレシピを載せてとかって」
この例が私はすごく好きだった。おばあちゃんが孫と話すような感覚で電話をして、その会話が自動でブログ記事になる。AIを意識せずにコンテンツが生まれていく。SNSの発信とかブログとか、デジタルツールが苦手な人にとって「電話」という入り口は本当に自然で、ハードルがない。だからこそ、デジタル化が進めば進むほど、アナログな電話がかえって重要になる場面が出てくるんじゃないかな。

ただっちもこの話の流れに乗ってきた。
ただっち(16:05〜)
「設計しておいてあげればね、ゴールと質問さえ用意しておいてあげて、対話しておいてくれればできちゃうっていうのはいいね」
この発言が核をついていると思った。ゴールと質問を設計するのは人間の仕事で、あとはAIが対話を通じて情報を引き出してくれる。ヒアリングの設計を一度やっておけば、あとはAIが回してくれる。この考え方は、終盤の「いかにAIに問いを出させるか」という話とも通じている。
料理しながら、子育てをしながら。手足は動かせなくても、耳と口は空いている時間って意外と多いんです。その隙間にAIと対話して、思いついたことを話しておけば、後でワークフローが処理してくれます。手が塞がっていても使える入り口として、電話AIはこれから一気に広まっていく気がしました。
電話というなじみの手段でAIにアクセスできる、これがこの仕組みのいちばん面白いところ。スマホの操作を覚えなくても、アプリをダウンロードしなくても、ただ電話をかけるだけでAIとやり取りできる。この入り口の低さは、観ていて素直にわくわくした。電話番号ひとつでここまでできるのか、というのが正直な感想。難しい設定の前に、まず電話してみるところから始まるのがいい。この敷居の低さは、実際に画面で動かしてくれたからこそ伝わる説得力があった。
電話さえできれば、あらゆるコンテンツが作れます。私はそう思っています。電話を入り口に、裏でAIエージェントチームが動いて、ブログ記事や動画、画像などのコンテンツが生まれます。いつも言っている「リープフロッグ」で、アナログな電話というなじみの手段のまま、デジタルの豊かさへ一気に飛び移れます。そこにこそ、このAIエージェント電話の可能性があると思っています。電話がデジタルへの橋渡しになる、という発想は自分でも腑に落ちました。
100人に同時電話して、使うほど本体AIが進化する

話が進んで、アウトバウンド電話の話になりました。私が「こういう感じで電話番号を追加して、ここに例えば100人とかお客さんに入れると、100人に分身が同時に電話をできる」と話しながら、画面で実演しました。
ひろくん(17:39〜)
「こういう感じで電話番号を追加してコンサルタントサポートのAIに電話をかけるってやると、ここに例えば100人とかお客さんに入れるじゃないですか。そしたら100人に僕の分身が同時に電話をできる。今日どうですかとかって僕の声でコンサルティングサポートをして、結果を全部データで文字起こしされたものが来る」
100人に同時に私の声でコンサルの電話がかかっていく。その会話の結果がデータとして手元に届く。これを聞いた瞬間、スケールの感覚が根本から変わる気がした。私が一人で100人のお客さんを同時にサポートするのは物理的に不可能だけど、AIの分身なら同時にできる。この規模感の話を、デモの延長線上で具体的に想像できたのが大きかった。しかも通話内容は文字起こしされて送られてくるので、お客さんの課題の傾向まで見えてくる。聞きっぱなしにならず、あとから読み返せるのもありがたい。記録が自動で残る安心感は、運用する側には大きい。このデータを使ってサービスを改善していける。
良い話ばかりではありません。孫の役の声で電話をすると、「もしもし、俺だけど」の詐欺に使われそう、という話も出ました(14:37〜)。
「逆に言うと、そういうAIが一般的に使われるようになってくるのがもう間近だと思うので。電話はちょっと、なんだろう、可能性結構あるな。ただ怖いのは、さっき言った詐欺とか、本当に悪用されると怖いなってとこはありますよね」(19:01〜)
声の分身で100人に電話できる便利さの裏に、こうした怖さもあります。配信の中で、その両方を話していました。
さらにここで出てきたのが「多重影分身の術」という話だった。
ひろくん(20:45〜)
「使えば使うほど、自分の分身のAIなので、多重影分身の術なんで。トレーニングさせたらどんどん強くなってくるので、お悩み相談をどんどんしてもらうほど解決能力が全員に共有される」
私が「個別のAI 100体が個別にバージョンアップするんじゃなくて、全部本体のAIがバージョンアップする」と話しました。使えば使うほど分身が強くなって、その学習成果はみんなに共有されます。お悩み相談をしてもらうほど、解決能力が全員に共有される仕組みです。忍者の多重影分身の術のイメージそのままで、分かりやすくて面白いです。使い続けることに意味がある仕組みは、コンサルやコーチングの立場からもかなり大事な視点だと思います。
また、この電話AIを活用したアイデアとして、店舗のSNS更新代行の話も出た。例えばラーメン屋さんなら、そのお店のメニューや営業時間を学習したAIが電話でインタビューをかけてきて、「今日の日替わりなんですか?」と聞く。店主が「今日はこれとこれとこれだよ」と答えると、それが自動でSNSの投稿になる。電話という入り口を通じてコンテンツが生まれていく仕組みで、デジタルが苦手なお店にこそぴったり合うんじゃないかな。
ラーメン屋が日替わりメニューをSNSに投稿していく、という例で話は進んだ。それが電話1本で済むようになるなら、発信のハードルは大きく下がる。観ていて、これは現場の人ほど刺さるアイデアだなと感じた。
GeminiのRAGとカルピスの原液、独自ナレッジをAIに学ばせる

LIVE後半、話がさらに深くなった。ElevenLabsのエージェントと組み合わせる上で欠かせない技術として出てきたのが、GeminiのAPIに載っているRAGだ。RAG(検索拡張生成)っていうのは、料理でいうと冷蔵庫に自分専用の食材をたっぷり仕込んでおくようなもの。AIに自前のデータを大量に渡しておいて、聞かれた時にそこから必要な分だけ取り出してきて答えに使う。それがRAGの正体だ。
ただっち(24:50〜)
「1個のAI情報的なところを共有しておくと、GeminiのAPIのRAGが作れる機能っていうのがファイルサーチ。まさに自分の情報ナレッジをAIに共有してくる時も、このチャンク分けをこうしてとかこのベクトルのデータベースを作るときに何次元にするとかすんごい設定がマニアックで細かくて難しかったのが、全部Geminiが考えて勝手にいい感じにしてくれる」
以前はRAG(ラグ)を組もうとすると、チャンク分けやベクトルデータベースの次元数といった細かい設定を自分でやる必要があって、かなり難しかった。でも今はGeminiがその辺りを全部考えてくれる。設定の複雑さが消えていっていて、誰でも自前のナレッジをAIに組み込める状態に近づいている。

このRAGに突っ込むデータとして話が広がったのが「カルピスの原液」という例えだ。
ただっち(25:20〜)
「自分のまさに出版している著者の方とか講座やっている講師の人とかは、自分独自のナレッジをこのGeminiのAPIに突っ込んでおくと11ラボのにつながるので。例えば自分の分身を作りました時に、自分のあらゆるコンテンツとか価値観とか思いとかを学習済みの分身のAIが作れて、それを電話の窓口にもできるし動画にもできるし…」
自分のコンテンツ・価値観・思いをGeminiのRAGに学ばせて、それをElevenLabsのエージェントとつなげます。そうすると、電話口でも、動画の出演でも、その人の考え方を体現したAIが動き回れるようになります。著者や講師の方は特に、自分のナレッジを「原液」として溜めておく価値があると思います。原液が濃ければ濃いほど、つないだAIの品質もぐっと上がります。
ただっち(25:55〜)
「いかにこのカルピスの原液をやっぱり溜めておくかっていうのがますます大事」
原液を溜めておくこと。これが、ますます大事になっていきます。AIのツールが良くなるほど、中に入れる原液の質と量が問われます。原液さえ持っていれば、新しいAIツールが出るたびにどんどん活用できます。逆に原液がなければ、ツールの進化をうまく使えないまま終わってしまいます。この日のLIVEで出てきた話の中で、私がいちばん響いたのはこの話でした。
原液を持っている人にとって、AIは最高の増幅装置として機能する。今のうちに自分の言葉・経験・価値観をどれだけ形にして残しておけるかが、これからの時代の準備になる。ElevenLabsとGeminiのRAGの組み合わせは、その原液を実際に活かすための具体的な経路として、この日の話で初めてクリアに見えてきた。
本物が輝く時代と、自分の軸の話

LIVEの終盤、私とただっちの話はだんだん深いところへ向かっていった。AIがどんどん簡単に使えるようになることで、社会全体のパラダイムシフトが起きるという話だ。
ただっち(26:28〜)
「より簡単に、考えなくても勝手にやってくれるっていうのが来てるので、そこでパラダイムシフトが一気に。ますます強い人がより強くなってくる。本物がより輝いてくる。だからハリボテの人はどんどん剥がれてきちゃうっていうのはあるので」
ツールが民主化されて、誰でも同じものを使えるようになる。だからこそ、そのツールを使って何を出せるかという中身の差が際立つようになる。ハリボテというのは、ツールの力を借りて表面だけ取り繕っている状態で、そういう人はAIが進化するほど剥がれやすくなる。一方で、本物の経験や思いや価値観を持っている人は、AIを使えば使うほど輝きが増す。ElevenLabsのエージェントもGeminiのRAGも、この「本物の中身」を持っている人ほど効果的に使える仕組みになっている。
この流れで、私もつい本音がこぼれた。
ひろくん(27:23〜)
「AIが何でもできちゃうからこそ、本当自分が何をやりたいのか、自分が何をワクワクするのかっていうところが、ぶれちゃう人がね、本当にAIに驚かされちゃうんで」
AIが使えることが前提になる時代では、「何のためにAIを使うのか」という目的が問われます。目的がはっきりしている人ほど、AIを精度高く使いこなせます。逆に「とりあえずAIを使ってみよう」だけでは、ツールに振り回されて終わるかもしれません。自分が何をやりたいのか。この問いが、AIを使う前の最初のステップになります。AIに軸ごと飲み込まれていく人と、AIを使いこなす人の差が、くっきり見えた瞬間でした。
ただっち(27:07〜)
「AIといかに対話するかっていうのは、いかにAIに問いを出させて、自分からのこの内側の声を出させるかって、本音を出せるかっていうのはね、大事になってくる」
内側の声を引き出すためにAIを使う、という発想は、私が分身AIに取り組んできた理由とも重なっている。AIは質問してくれるし、回答を整理してくれるし、言語化を助けてくれる。でもそこから何を得るかは、問いかける人間の深さにかかっている。AIに問いを出させて、内側の声を引き出す。ここが肝だと改めて感じた。どれだけ高機能なエージェントを作っても、そこに吹き込む「自分らしさ」がなければ、ただの自動応答で終わる。この日、ElevenLabsのエージェントを実際に動かしながら、それをもう一度確かめた気がした。自分の本音や軸をどれだけ深く持てるか。この30分を通じて、そこに何度も立ち返ることになった。技術の話をしていたはずなのに、最後は生き方の話になっている。この流れがこのLIVEらしかった。

IF塾 ASHURA
非エンジニアのためのAI開発コミュニティ「アシュラ」。
AIで仕事を片付ける道具「秘奥義」45巻以上が、回数無制限で使い放題。
受け取り口は、アシュラ公式LINE。友だち追加して、30日無料体験へ。
体験中も全部使えます・いつでも解約OK
押すと、アシュラ公式LINEの友だち追加に進みます(30日無料体験はLINEから)
ひろくんコラム:声の分身を動かしながら気づいたこと

この日のLIVEで、ElevenLabsのエージェントに既存のボイスを選んで乗せ、応答をテストするところまで触ってみた。
声を選び、キャラクター設定を書き、応答を試す。LIVEのその場でひと通り動くところまで行けた。AIが自分の代わりにしゃべる入り口がこんなに近いのかと、少し不思議な気持ちになった。
声はその人そのものだと思っています。だから中身が空っぽのまま声を複製すると、本当に空虚なものになります。逆に言えば、日々の言葉、考え方、失敗談。そういう「カルピスの原液」がちゃんと溜まっている人ほど、AIの分身が生きてきます。
私が取り組んでいる分身AI.comも、同じ考えから始まっている。本体の人間がどれだけ深く掘れているかで、分身の質が決まる。ElevenLabsは「声の入れ物」を作る道具として、この分野でますます欠かせない存在になっていくはずだ。
遊ぶことから始める。それが一番の近道だと、今日も確認できた朝でした。まさに、作って遊んだ日でした。
よくある質問
- ElevenLabsのエージェントは日本語に対応していますか?
- はい。日本語の音声を選んでキャラクター設定ができます。このLIVEでも日本語ボイスのリストを確認しながらキャラクター設定を試しました。
- ElevenLabsで100人に同時電話するとはどういうことですか?
- 私が「電話番号を追加して、ここに例えば100人とかお客さんに入れるじゃないですか。そしたら100人に僕の分身が同時に電話をできる」と話しながら実演していました。AIエージェントを電話番号と紐付けることで、多数の相手に同時に電話をかけることができます。
- ElevenLabsのエージェントとGeminiのRAGは連携できますか?
- ElevenLabsにはワークフロー機能があり、AIどうしの連携も設計できます。LIVEではGeminiのRAG(ファイルサーチ)の話と合わせて、自前ナレッジ活用の広がりが語られていました。自分独自のナレッジをGeminiのAPIに入れておくとElevenLabsのエージェントとつながる、という話がLIVEで語られていました。
- ElevenLabsを試すのに技術的な知識は必要ですか?
- 配信の最後には「簡単に試せるので、ElevenLabsで是非作ってみていただければ」という呼びかけがありました。複雑な設定を省いて一旦やってみるスタイルで動かすことができます。
- ElevenLabsのクリエイティブ系とエージェント系の違いは何ですか?
- クリエイティブ系は音声生成を中心とした制作プラットフォームです。エージェント系は対話型AIエージェントを作るプラットフォームで、電話番号を使って誰でも話しかけられるエージェントを構築できます。この2系統が1つのサービスに共存しているのがElevenLabsの特徴です。
🎯 AIと愛で、未来をひらく。「あいあいらぼ。」
起業家・経営者のためのAI実践型コミュニティ。AI実践ワークショップ・AIクリエイティブ会・AI目標達成会が月額5,500円で遊び放題!AIMUNIQ(株)主催。
📱 ただっちのFacebook 🌐 あいあいらぼ。関連記事
- AIに全部任せたら何が残る?|委ねた先に残る”あなたの物語”
- Gemini Omni Flash到来?Claude Code /workflowsも【最新AIニュース解説】2026年5月25日号
- Notion AIが課金開始?xAI Grokは声まで複製【最新AIニュース解説】2026年5月4日号
🎁 無料プレゼント
Aiport(ClaudeCode AIエージェント実践会)
ClaudeCodeでAI秘書+分身AI+AIカンパニーが無料で作れるキット&解説動画をプレゼント!
▶ 無料で入会してキットを受け取る🤖 AI生成コンテンツについて
この記事はAIツール(Claude Code)を活用して制作しています。構成・文章生成・画像制作にAIを使用し、最終的な内容の確認・編集・公開判断はひろくん(田中啓之)本人が行っています。「分身AIひろくん」(bunshin-ai.com)とは別のコンテンツです。