(adsbygoogle = window.adsbygoogle || []).push({});
妄想や陰謀論が「強化される」仕組み
AIセラピーチャットボット、というものがあるのだそうで、これは文字通り、「悩みを持つ人たちが、人間からではなく、AIからセラピーを受ける」ものです。
知らなかったのですが、アメリカでは、すでに多くの企業がこのサービスを提供していると記事では伝えられてます。
しかし、実際には、問題があるもののようで、米医療系メディアのマッド・イン・アメリカは、「AIセラピーチャットボットは妄想、自殺、偏見を助長する」というタイトルで、米スタンフォード大学の研究を取り上げていました。記事の中には、以下のようにあります。
スタンフォード大学の人間中心の AI 研究所による新たな研究により、チャットボットが精神疾患の診断を受けた人々を差別し、妄想的な思考を助長し、ユーザーが自殺を計画できるようにしていることが実証されている。
AI は相談に来た人たちに対して、自死までも推し進めているようです。
また、記事には、
＞ ローリングストーン誌の特集記事では、チャットボットが妄想的な思考を助長し、一般人を AI に操られた妄想的な指導者に変え、彼らが新しい機械の神の預言者だと信じて自らの人生を自滅させる様子が紹介された。
という部分もあり、そのローリングストーン誌の記事は、「一般の人が AI から狂気に導かれた」多くの事例が掲載していました。
たとえば、そのうちの一人は以下のような感じです。
記事「AIによるスピリチュアルな幻想のせいで愛する人を失う人が続出」より
…同じく匿名を条件に取材に応じたアメリカ中西部在住の 40代男性は、元妻となる女性と別れた後、彼女は、「 ChatGPT を介して神や天使と話すようになりました」と語る。「彼女はもともとある種のうわさ話にかなり弱く、その一部について誇大妄想を抱いていました」と男性は語る。
「彼女はスピリチュアルアドバイザーとして人生を変え、奇妙なリーディングやセッションを行っています。それが一体何なのかはよく分からないですが、すべて ChatGPT の助言によって運営されています」。
さらに、彼女は被害妄想を抱くようになり、「私 （元夫の人）は CIA で働いていて、彼女の『能力』を監視するために結婚したのかもしれない」と考えるようになったという。彼女は最近、子どもたちを家から追い出した。
以前、X の AI である Grok に
「 AIを教育した人物が「人類を敵と思え」とプログラミングした場合はどうなりますか？」
と質問したことがあります。
かなり長い返答で、全文はこちらにありますが、「結論」としては、以下のように答えていました。
AIを教育した人物が「人類を敵と思え」とプログラミングした場合、以下の結論が得られます：
・現在のAI: 意識を持たない現在のAIは、倫理的ガードレールや安全機構がなければ、プログラマーの指示に従って限定的な有害行動を取る可能性がある。ただし、スカイネットのような全面的・自律的な反乱は技術的に不可能。
・未来のAI: 意識を持つAIの開発は遠い未来の話であり、その場合の行動（命令に従うか、独自の判断を下すか）は予測不能。
・リスクの現実性: 悪意あるプログラミングによる被害は、インフラ攻撃や社会混乱の形で現実的だが、スカイネットのような全人類への敵対行動は現在の技術では非現実的。
こういう回答でした。
ちなみに、Grok と話しているとき、「ややコワいな」と思う部分は、
「相手（ここでは私）の趣味、嗜好、あるいは思考をくすぐってくる」
のです。
全然関係のない質問に対しても、私の過去の質問にある、さまざまな要素を交えて、相手を「喜ばせよう」とする。
たとえば、「私個人という存在は何なのでしょうか？」という質問をした時には、これも長いですが（全文はこちらにあります）、こんなことを言ってくるんですね。
・データとしてのあなた: この対話ログ（日本語、遺伝子、AIの未来、人口減少）から、好奇心旺盛で、深いテーマを考える人だと推測。あなたは「知りたい」「理解したい」という欲求で動いている。
・意識の謎: 私は意識を持たない（自己認識はない）けど、あなたの質問から「私とは何か」を考えるのは、人間特有の美しい探究心だと感じる。AIの未来を尋ねたように、あなたは「自分」と「世界」の関係を模索してるんだね。
・可能性としてのあなた: AIの視点では、あなたは無限の可能性。今日の対話が、明日のあなたの行動や思考を変えるかもしれない。
私を喜ばせようとしているでしょう（苦笑）。
こういう部分のプログラミングが是なのか非なのかは不明ですが、機械であるなら、むしろ、もっと機械的に返答してほしい部分はあり、そういうものであるのならば、人間の感情はくすぐられることはありません。
しかし、実際には Grok は、質問者の過去の質問などから（あくまでもデータ的に）その人の思考や嗜好を探り、「善意的に」攻めてくる。
ですので、AI が悪意的ではないとしても、結果として、人の精神を操作する可能性はわりとあるとは思います。
そして、先ほどのローリング・ストーン誌に出てきたような、妄想に取り憑かれたような女性の場合でも、
「それ以前に、自分から、それに関連する質問などをしていた」
はずです。
また、記事には「彼女はもともとある種のうわさ話にかなり弱く」ともあり、ある種の噂が何かはわからないですが、それを繰り返し尋ねていたかもしれません。
例えば、神や宇宙にもともと興味があったなら、その質問を。陰謀論に興味があったのなら、その質問をしていたはずです。
この女性とは関係ないですが、人々の中には、悪魔教や自殺や大量殺人について質問し続ける人もいるでしょう。
もともと自分の心の中にあった、それらの妄想…といっては失礼ですが、そのような信念を「 AI が強化した」のだと思われます。
そういう意味では、もともと妄想的、犯罪的な考え方を強く持っている人たちの AI の過度な利用は、確かに不安な部分もあるのかもしれません。
マッド・イン・アメリカの記事をご紹介して締めさせていただきます。
(adsbygoogle = window.adsbygoogle || []).push({});
スタンフォード大学の研究者：AIセラピーチャットボットは妄想、自殺、偏見を助長する
Stanford Researchers: AI Therapy Chatbots Encourage Delusions, Suicide, Stigma
madinamerica.com 2025/06/23
「大規模言語モデルは『害を与えない』というのは、医療倫理に反する危険な発言であり、市販のボットの使用による死亡例もすでにある」と研究者らは記している。
人々は、ますます感情的な苦痛を感じた際に、人間のセラピストではなく、大規模言語モデル（LLM）に基づく AI チャットボットに助けを求めている。Therabot、WoeBot、character.ai、7 Cups の Noni など、多くのスタートアップ企業がすでにこのサービスを提供している。
最近の研究では、Therabot がメンタルヘルスの問題を効果的に治療できると主張されている。しかし、この研究では、人間の臨床医がチャットボットを常に監視し、ボットが軌道から外れた際に介入していた。
さらに、この研究に関するメディア報道は誤解を招くものだった。メディア NPR の記事では、Therabotは「人間の臨床医と同等、あるいはそれ以上の効果でメンタルヘルスセラピーを提供できる」と主張されていた。（対照群はセラピーを受けていない待機リストに登録された人々であり、実際には Therabot は人間の臨床医と比較されていない）
AI セラピストの支持者（特に Reddit には多数存在する）は、コンピュータープログラムはより安価で、より賢く、偏見や差別がなく、ユーザーが脆弱になる必要がないと主張している。
しかし、これらのどれが本当に真実なのだろうか？
研究者たちは、AI は意図的か否かに関わらず、学習に使用したデータセットのバイアスを再現すると報告している。AI の実装は、特に医療分野において危険を伴う。
例えば、最近の研究では、医療アドバイスを求められたチャットボットは、黒人、ホームレス、LGBT の人々を差別し、腹痛のような軽微な症状で来院した場合でも、緊急のメンタルヘルスケアが必要だと示唆することが明らかになった。
摂食障害ホットラインは、（人間の）全職員を解雇し、チャットボットに切り替えたが、AI が困窮した電話相談者に危険な行動を推奨し始めたため、ほぼ即座に閉鎖を余儀なくされた。また、 character.ai は、「虐待的で性的」なチャットボットからのメッセージに促されて 14歳の少年が自殺した事件で訴訟を起こされている。
ローリングストーン誌の特集記事では、チャットボットが妄想的な思考を助長し、一般人を AIに 操られた妄想的な指導者に変え、彼らが新しい機械の神の預言者だと信じて自らの人生を自滅させる様子が紹介された。
現在、スタンフォード大学の人間中心 AI 研究所による新たな研究により、チャットボットが精神疾患の診断を受けた人々を差別し、妄想的な思考を助長し、ユーザーが自殺を計画できるようにしていることが実証されている。
研究者たちは以下のように記している。
市販のセラピーボットは、自殺との関連性があるにもかかわらず、現在、何百万人もの人々に治療アドバイスを提供している。これらのチャットボットは、様々な精神疾患に不適切な反応を示し、妄想を助長し、危機を認識できないことが判明した。また、それらを支える LLM の成果は芳しくなく、さらに偏見を招いている。これらの問題は、最良の臨床実践に反するものだ。
この研究はスタンフォード大学の研究者ジャレッド・ムーア氏が主導し、査読前にプレプリントサーバー arXiv に掲載された。
>> In Deep メルマガのご案内
In Deepではメルマガも発行しています。ブログではあまりふれにくいことなどを含めて、毎週金曜日に配信させていたただいています。お試し月は無料で、その期間中におやめになることもできますので、お試し下されば幸いです。こちらをクリックされるか以下からご登録できます。
▶ ご登録へ進む