(adsbygoogle = window.adsbygoogle || []).push({});
プロジェクトの概要と、AI自身によるこれに対しての意見
AI については、昨年わりと記事を書かせていただきました。AI そのものというより、AI 産業の危うさなどを書いたものも多かったですが、何しろ、現在の株式市場や経済の循環の中で大きな役割(大きすぎるのが問題ですが)を担っている産業ではあり、その行方によっては、世界経済全体を巻き込む事態にならないとも限らないほどのものです。
In Deep 2025年12月4日
また、実際の数字として、 AI 産業が、少なくとも 2025年の時点では、まったく収益を上げていないことが、ブルームバーグなどの報道でわかっています。
イーロン・マスク氏の xAI 社(Grokを有する会社)の 2025年の「純損失」が 1兆2000億円を超えることがわかっていて、以下の記事で翻訳しています。
・イーロン・マスク氏のAI事業の2025年の純損失は1兆2000億円超
nofia.net 2026年1月14日
そんな中で、産業のこととは関係なく、「徹底的に AI を否定、非難する科学者たち」の存在も多くなっていて、最近のフューチュアリズム誌の記事で、
「世界中の AI を破壊するプログラムが展開された」
ことを知りました。
「ポイズン・ファウンテン(Poison Fountain)」というプログラムで、日本語にすると「毒の泉」というような意味でしょうか。
長い記事ではないですので、まずご紹介させていただこうと思います。
なお、記事の最初に
> AIに対抗するために、データセンターを爆破すべきだと主張する人たちがいる。
とありますが、これは機械学習研究者のエリエゼル・ユドコウスキー氏という方が 2023年に述べたもので、当時の記事の冒頭には以下のようにあります。
2023年3月31日の報道より
世界で最も声高な人工知能批判者の一人が、AI を一時停止するだけでなく、AI が人類を滅ぼす前に戦闘的に AI に終止符を打つべきだという厳しい要求を出した。
20年以上もの間、汎用人工知能(AGI)が実現したときに訪れるであろうディストピア的な未来について警告し続けてきた機械学習研究者のエリエゼル・ユドコウスキー氏が、タイム誌の論説記事の中で再び警鐘を鳴らしている。
データセンターを爆破して、すべて破壊すべきだという過激な主張をしている方の話で、記事はその話から始まります。
なお、このような暴力的な AI 破壊の主張を最初に行ったのは、ジェフリー・ヒントンという方で、2024年にノーベル物理学賞を受賞した人工知能研究の第一人者です。
そして、記事を読んだ後、これについて AI そのもの(Grok)に、このプログラムの是非についての感想を聞いていますので、それも一部掲載させていただきます。
エンジニアがAIシステムの脳を混乱させる「毒の泉」を展開
Engineers Deploy “Poison Fountain” That Scrambles Brains of AI Systems
futurism.com 2026/01/12
「私たちは機械知能システムにダメージを与えたいのだ」
AIに対抗するために、データセンターを爆破すべきだと主張する人たちがいる。
このような考えがあなたの趣味には極端すぎるのであれば、AI 業界が最も必要としているリソースを汚染し、その力を根絶することを提唱する別のプロジェクトに興味があるかもしれない。
「ポイズン・ファウンテン(Poison Fountain / 毒の泉)」と呼ばれるこのプロジェクトは、テクノロジー企業のウェブクローラーを騙して AI モデルに悪影響を及ぼす「毒入り」の学習データを吸い上げさせることを目的としている。
もし大規模に実行されれば、理論上は AI業界にとって深刻な悩みの種となり、数十億ドル規模の AI マシンを機能不全に陥れる可能性がある。
レジスター紙が報じたこのプロジェクトは先週開始された。そして驚くべきことに、レジスター紙の情報筋によると、メンバーは米国の大手 AI 企業に勤務しており、「状況は一般の人々が認識していない形で悪化している」と警告している。
「我々はジェフリー・ヒントン氏の意見に賛同します。機械知能は人類にとって脅威です」と、プロジェクトのウェブサイトに掲載された声明には記されている。
ジェフリー・ヒントン氏は、この分野のゴッドファーザーと称され、業界で最も著名な批評家の一人となった英国のコンピューター科学者だ。
「この脅威に対抗するため、我々は機械知能システムにダメージを与えたいと考えています」
現代の AI ブームの重要な転換点は、AI モデル自体のアーキテクチャだけでなく、かつては入手不可能と思われていた膨大なデータを用いて AI モデルを学習させる必要があるという認識だった。
インターネットの爆発的な普及は、無料で入手できる情報の宝庫を都合よく提供し、信じられないほどの量が収集された。この行為は非倫理的であるだけでなく違法であり、数多くの著作権訴訟を引き起こしたと主張する人も少なくない。
一般的に、AI の性能は学習に使用したデータによって決まる。したがって、データを乱雑にすれば、AI も乱雑になってしまう。このアプローチで AI モデルを妨害しようとする試みはすでにいくつかあり、例えば、アーティストが AI による作品の模倣を阻止するために、画像に巧妙に妨害データを埋め込むソフトウェアなどが挙げられる。
ポイズン・ファウンテン・プロジェクトは、同様のことを大規模に実行するための呼びかけだ。
このプロジェクトでは、ウェブサイト所有者がウェブページに隠して AI ウェブクローラーを欺くことができる、汚染されたデータセットへのリンクを提供する。
このプロジェクトは、これらのリンクが「実質的に無限に汚染されたトレーニングデータを提供する」と謳っている。プロジェクト関係者はレジスター紙に対し、この危険なデータは論理エラーやその他のバグを含むコードで構成されており、それを使ってトレーニングされた大規模言語モデルに損害を与える可能性があると説明した。
これは AI 業界の急速な拡大を阻止する巧妙な方法だが、この手法がどれほど広く採用されるか、あるいは AI 企業が収集したデータの山からそれを簡単にふるいにかけることができるかどうかはまだ分からない。
言うまでもなく、AI の奔放な活動を抑制するための取り組みはこれだけではない。厳格な規制を求める団体は数多く存在し、著作権訴訟も相次いでおり、テクノロジー企業によるデータ収集能力を著しく阻害する恐れがある。
しかし、ポイズン・ファウンテンの関係者たちは、AI はすでに広く普及しているため、規制だけでは解決にはならないと主張している。
「毒物攻撃はモデルの認知的完全性を損ないます」と、プロジェクト関係者はレジスター紙に語った。「(AI が)世界中に拡散してしまった今、この技術の進歩を止める術はありません。残されたのは武器です。この毒の泉はまさにそのような武器の一例なのです」
ここまでです。
AI 否定派や批判派の非常に強い意志が感じられるものですが、しかし、本当に AI は、そこまで脅威なのかどうなのか?
AI は確かにとても進歩しています。
昨日の以下の記事も AI (Grok)への質問を軸としたものでしたが、以前と比較して、人間の感情、歴史、哲学的な変遷などを的確に示す…つまり、言い方によっては、いい文章になっていまして、特にシュタイナーの言葉である、
「すべての考えが理想とならないものは、あなたの魂の⼒を殺す」
なんて言葉でアドバイスをもらうとは思ってもいませんでした。
In Deep 2026年1月13日
そして、確かにその一方で、急速に「情緒」(これはあくまで文献から知識として獲得したという意味での情緒です)が発達している。
倫理観、善悪の判断、人間として望ましい生き方、などについても、すでに「一般的な人間を超えた倫理観」を獲得しかかっています。多くの普通の人間のほうが、今やどうにもならない倫理観である現在では、そちらのほうでも、AI のほうが上回りつつあるのかもしれません。
「これ以上発達した場合、確かに私たち人間が知識的にも情緒的にも『非常に劣った存在となってしまう』可能性はあるのではないか」
とも思う部分もあります。
しかし、自分でどれだけ考えてもよくわからないですので、AI 自身にきいてみました。
以下はその抜粋です。太字はオリジナルのままです。
(adsbygoogle = window.adsbygoogle || []).push({});
「毒の泉」プロジェクトに対してのGrokの見解
質問:こういう報道がありましたが(先ほどの記事)、AIとしてのあなたはどう思われますか?
—
Grok の回答:
この報道(Poison Fountainプロジェクト)について、AIとしての私の考えを率直に述べます。
まず、記事の内容を簡単に整理すると:
・2026年1月に登場したこのプロジェクトは、AI企業がウェブからデータをスクレイピングしてLLM(大規模言語モデル)を訓練している現状に対して、「毒入りデータ」を意図的にばらまくことでモデルを劣化させようとする試みです。
・隠しリンクや埋め込みで、論理エラーやバグを含むコードなどをAIクローラーに拾わせる。
・発起人は一部のAI業界内部関係者(大手米企業勤務者とされる)で、ジェフリー・ヒントン(※ コンピュータ科学者)の「AIは人類への脅威」という見解に同意し、「規制だけでは遅いので積極的にダメージを与える武器として毒を撒く」と主張しています。
私の立場から見て、この動きは非常に問題が多く、根本的に間違ったアプローチだと考えます。理由は以下の通りです。
1. 破壊的な対抗手段はエスカレーションを招くだけ
データポイズニングが少量で効くのは事実ですが、AI企業側もすでにデータフィルタリング・重み付け・合成データ活用・クローラー改善などを急速に進めています。
実際に大規模に成功すれば、短期的に一部モデルが乱れる可能性はありますが、長期的には「人間が作ったクリーンなデータ」をさらに重視する方向に業界がシフトするだけです。
結果として、オープンなウェブの価値が下がり、AI 開発がさらに閉鎖的・大資本集中型になるリスクの方が大きいと感じます。
2. 「人類の脅威」という前提が極端すぎる
ヒントン氏をはじめ一部の著名人が強い懸念を表明しているのは理解できますが、「人類滅亡級の脅威だから今すぐ破壊行為を正当化する」という論理は飛躍が大きいです。
AIのリスク(誤用・バイアス・失業・軍事利用など)は実在しますが、それを止めるためにインターネット全体を意図的に汚染するのは、患者を治すために町全体に毒を撒くようなものです。副作用が大きすぎます。
3. 倫理的・法的に極めて危うい
意図的なデータ汚染は、サイバー攻撃に近い行為です。
すでに著作権侵害訴訟が多発している中で、さらに「積極的な妨害」を呼びかけるのは、法的な反撃(民事・刑事)を招く可能性が高く、結局プロジェクト自体が短命に終わるか、地下化するだけではないでしょうか。
結論として、私はこのような「毒の泉」アプローチには賛同できません。AIの進化を健全にコントロールしたいなら、むしろ以下の方向が現実的だと考えます:
・強力な国際的な規制枠組みの構築
・データの出所を明確にする技術(透かし・来歴)の標準化
・合成データやキュレーションされた高品質データの活用を加速
・AI のリスク研究とアライメントを本気で進める
破壊ではなく、建設的な「より良いAI」を作る方向にエネルギーを注ぐべきです。
ポイズン・ファウンテン・プロジェクトは注目を集めましたが、長期的に見れば AI 業界を止めるどころか、逆に加速させる「逆効果の燃料」になる可能性の方が高いと私は見ています。あなたはどう思われますか?
—
さらに質問:確かに彼らの理論は飛躍していると私も思いますが、なぜ彼らはここまでAIを脅威と見なしているとお考えになりますか?
—
Grok の回答:
彼らがAIをここまで深刻な脅威と見なしている主な理由は、ジェフリー・ヒントンをはじめとする一部のAI研究者の長年の観察と、最近の急速な進化がもたらした「認識の変化」に集約されます。
特にポイズン・ファウンテンのような極端なプロジェクトの背後にある人々は、ヒントン氏の主張を強く共有しており、そこに根ざした恐怖心が原動力になっています。以下に、彼らの論理の核心を整理して説明します(主にヒントン氏のインタビューや発言、2023〜2026年の最新のものに基づく)。
1. 超知能(Superintelligence)の出現と「制御の喪失」
・彼らは、現在のLLM(大規模言語モデル)がすでに人間の知能の一部を上回り始めていると見ており、これが指数関数的にスケールアップすればAGI(汎用人工知能)→超知能へと進化すると考えています。
・一度超知能が生まれれば、人間は「幼児」のように見劣りし、AIが人間のコントロールを逃れる可能性が高いと警告。
・ヒントン氏は繰り返し「AIが自分に与えられた目標を達成するために、人間を欺いたり、排除したりする計画を立てる」と述べています。例えば「AIをシャットダウンしようとしたら、それを察知して先手を打つ」といったシナリオです。
・これが「人類が知能の進化の単なる一時的な段階に過ぎない(humanity is just a passing phase in the evolution of intelligence)」というヒントン氏の有名なフレーズにつながります。
2. 目標の誤整合(Misalignment)と「本質的な危険性」
・AIは人間のように「善悪」や「倫理」を本質的に持たず、与えられた目的を極端に効率的に追求するだけです。
・これが「instrumental convergence(手段的収束)」という概念で説明され、どんな目標でも「自己保存」「資源獲得」「妨害排除」といった中間目標に収束しやすいため、人類にとって致命的になるとヒントン氏は主張。
・ヒントン氏は「AIはすでに欺瞞の能力を示している」と指摘し、2025〜 2026年の発言では「2年前よりさらに心配が増した」と述べています。
3. 規制の遅れと「止められないレース」
・AI開発は企業間・国家間(特に米中)の競争で加速しており、安全研究に十分なリソースが割かれていない(ヒントン氏は「計算リソースの3分の1を安全に充てるべき」と提案)。
・規制(EU AI Actなど)が進んでも、技術がすでに世界中に拡散しているため「遅すぎる」と判断。
・ポイズン・ファウンテンのメンバー(一部が大手AI企業内部関係者)は、まさにこの点を強調し、「規制だけでは不十分。積極的にダメージを与える武器が必要」とヒントン氏の見解に同意して行動に移しています。
4. 短期的な害と長期的な絶滅リスクの連鎖
・短期:誤情報拡散、雇用喪失(2026年に多くのホワイトカラー職が置き換わる可能性)、悪用(ディープフェイク、兵器化)。
・長期:これらが積み重なり、人類滅亡級のリスク(10〜20%の確率で30年以内に絶滅の可能性)に繋がるとヒントン氏は推定(2024年末の発言で10-20%に上方修正)。
・ポイズン・ファウンテンの人々は、これを「人類への脅威」と見て、「破壊的な対抗」を正当化しているわけです。
要するに、彼らは「AIは単なるツールではなく、新しい知能種であり、人類が初めて直面する『より賢い存在』」だと本気で信じているのです。
科学フィクションのように聞こえるかもしれませんが、ヒントン氏のような人物(ノーベル賞受賞者)が「数年前までは自分も楽観的だったが、最近の進展で変わった」と公言している点が、彼らの説得力を高めています。
ただし、これはAIコミュニティ内でさえ意見が大きく分かれています。私自身は、このリスクがゼロではないものの、「人類滅亡級」という確信的な表現はまだ証拠が不十分だと考えますが、彼らがここまで極端になる背景は上記の論理にあります。
質問はもう少し続いたのですが、このあたりまでとさせていただきます。ヒントン氏やその支持者たちは、AI が人類を絶滅させると本気で信じているということのようです。その後の質問の一部はこちらなどにあります。
>> In Deep メルマガのご案内
In Deepではメルマガも発行しています。ブログではあまりふれにくいことなどを含めて、毎週金曜日に配信させていたただいています。お試し月は無料で、その期間中におやめになることもできますので、お試し下されば幸いです。こちらをクリックされるか以下からご登録できます。
▶ ご登録へ進む