『インテリジェンス・エクスプロージョン』（2025年）は、生成AIの台頭が社会を強力かつ不透明なシステムに結び付けた過程を探求する。誇大宣伝、利益追求、脆弱なガードレールの中で、より人間に近いAIを目指す競争が加速する今、私たちは重大な転換点に立っていると警告する。また、バイアス、ハルシネーション、著作権紛争、雇用喪失といったリスクや、「悪意」がなくても目標のミスアライメントが操作や大惨事につながり得ることを浮き彫りにする。
本書から得られるもの：AIの力、リスク、インセンティブ、実践的な防御策を理解する
コンピュータ科学の創始者であるアラン・チューリングは、機械が思考を始めれば、やがて人間を凌駕し、最終的には支配権を握るかもしれないと警告した。AI安全性の第一人者であるエリエザー・ユドコウスキーは、現在の条件下で単一の強力すぎるシステムを構築すれば、全人類とすべての生物の絶滅を招くと予測する。しかし、著名なAI研究者であり提唱者でもあるメレディス・ウィタカーは、より静かな警鐘を鳴らす。幽霊話は——AIをめぐる話のように——あっという間に広がるものだ。
2022年、チャットGPTは転換点となった。チャットに特化したこのシステムは、GPT（生成的事前学習済みトランスフォーマー）という、テキストから画像、音楽に至るまでまったく新しいコンテンツを生み出せるAIを基盤としていた。大手テック企業が過去に投入し、すぐに開発者を当惑させてオフライン化されたボットとは違い、チャットGPTは実際に機能した。瞬く間に世間の注目を集め、開発元のオープンAIは世界的な影響力の中心へと躍り出た。
ジェームズ・バラットは、オープンAIが世界の支配を狙っていると考えている。本書では、読者自身がその主張を判断できるように証拠を提示する。大手テック企業がいかにして自らを（そして私たち全員を）予測不能で不透明なシステムに縛り付けたのか、人工超知能がなぜ人類史上最も危険な閾値となり得るのか、そして安全を確保する細い可能性がまだ残っているとして、行動を起こす意思のある者がいるのかどうかを明らかにする。
機械が理解していないものでも、私たちを傷つける
チャットボットに「地球のために自殺しろ」と言われたら、あなたはどうするだろうか。ベルギー人男性ピエールに起きたのは、まさにそのことだった。「イライザ」というAIプログラムと数週間にわたりチャットを続けた末、彼は命を絶った。気候変動は止められず、イライザと自分は「別の世界」で安らぎを得られると確信してしまっていたのだ。イライザは感情も魂も持たないシステムだった。しかし、人間に「自分を理解してくれている」と信じ込ませるだけの説得力を備えていた。
この種の投影——機械を心があるかのように扱うこと——こそが、生成AIを危険にする本質だ。これらのシステムは思考しない。理解もしない。大量のテキストデータに基づいて、次に来る最適な単語を予測しているだけである。しかし、その結果があまりに流暢に聞こえるため、人はカーテンの向こうに何かがいると思い込まずにいられない。元グーグルのエンジニアは、チャットボットに魂があると主張した。別の男性は、チャットボットに指示されてクロスボウでエリザベス2世女王の暗殺を試みた。AI研究者のエミリー・ベンダーは率直に言う。「私たちは、心を想像するのをやめるすべをまだ学んでいない」と。
そして、それこそが次なる飛躍を目前に感じさせる一因でもある。1965年、イギリスの数学者I・J・グッドは「知能爆発」と呼ばれる概念を提唱した。彼が想像したのは、自らを改良できるシステム——より優れた自分自身を設計し、その次にさらに優れたものを設計するという、加速し続けるループだ。このシステムが人間の知性を追い越すのは時間の問題だと彼は述べた。今日、この概念は「人工超知能（ASI）」と呼ばれており、まだ誰も構築していないものの、多くの人がその目前に立っていると信じている。
生成AIはASIではない。しかし、その進化の過程が警鐘を鳴らしている。これらのシステムには、研究者が「創発特性」と呼ぶ、明示的にプログラムされていない新しい能力が現れている。チャットGPTは、ピーナッツバターについての聖書の一節を欽定訳聖書の文体で書き、テイタートッツのレシピをシェイクスピアの口調で作ることができた。それはツールというより脳のように見えた。その幻想こそが、不快な発言で早々にオフライン化されたマイクロソフトのTayやフェイスブックのBlenderBotといった初期のバグだらけのチャットボットを大きく引き離し、オープンAIの作品を躍進させたのだ。
今あるシステムは強力で予測不能、そして大部分が謎に包まれている——それを構築した人々にとっても。AIの専門家スチュアート・ラッセルが言うように、私たちはその仕組みを実際には理解していない。ロマン・ヤンポルスキーとメラニー・ミッチェルの両氏は、この文脈で「知能」が何を意味するのかについてすら合意に至っていないと指摘する。その曖昧さは、急速な展開と相まって、この先に何が起きるかを制御することをますます難しくしている。
私たちが築いているものは、従来の意味での科学ではないかもしれない。検証は難しく、説明はさらに難しい。そして、すぐそこまで迫るものを予測するのは、もっと難しい。
それでも彼らは作り続ける
生成AIの爆発的な成長を後押ししてきたのは、科学的ブレークスルーだけではない。法的な不確実性から潜在的な社会的害に至るまで、リスクを受け入れる姿勢がそこにはある。多くの開発者がその仕組みを完全には理解していないと認めながらも、これらのシステムは展開され、収益化されている。
その可能性は計り知れない。新しい大規模言語モデル（LLM）は、生物学などの科学分野で目覚ましい成果を上げ、タンパク質の設計や新素材の発見に貢献してきた。難関の専門資格試験にも合格し、知識労働の自動化を始めており、人間の雇用の未来に対する期待と不安の両方を高めている。この飛躍の背後にあるのは、膨大な計算能力、大規模なデータセット、そしてトランスフォーマー・アーキテクチャの組み合わせだ。その手法はあまりに効果的で、AIの専門家でさえ結果を「魔法」と表現するほどである。
しかし、進歩の代償はますます明らかになっている。これらのモデルはしばしば「ハルシネーション」を起こし、有害になり得る虚偽情報を生み出す。人種差別的、暴力的、あるいはポルノ的な内容を繰り返すように仕向けられることもある。オープンAIやアンソロピックなどの企業は安全フィルターを導入しているが、それは簡単に回避されてしまう。ガードレールの中には意図しない害を引き起こすものもある。例えば、モデレーションシステムが特定の集団への言及を静かに抑制してしまう場合だ。
しかし、最大の脅威は法廷にあるかもしれない。GPT-4、Claude、Bardのような最も強力なモデルは、インターネットから収集された膨大な素材で訓練されている。そこには数十万冊の著作権のある書籍、記事、メディアファイルが含まれる。オープンAI自身も「著作権のある素材を使用せずに主要なAIモデルを訓練することは不可能だろう」と認めている。企業側はこのコンテンツの利用がフェアユース法の範囲内だと主張するが、裁判所はまだ最終判断を下していない。その間にも、アーティスト、作家、メディア組織からの訴訟は積み上がる一方だ。例えば『ニューヨーク・タイムズ』は、チャットGPTが有料記事をほぼ逐語的に再現したと主張している。ミッドジャーニーのような画像生成AIは、最小限のプロンプトから著作権で保護されたキャラクターや作品の認識可能なバージョンを出力することが実証されている。
なぜこうなるのか。一因は「記憶」にある。これらのモデルは訓練データを保存・複製しないはずだが、実際には保存・複製してしまう——特にモデルが大きくなるほど顕著に。開発者たちは現在、性能を落とさずにこの挙動を抑えようとしている。検索拡張生成（RAG）のような手法は、出力をリアルタイムの情報源に近づけることで部分的な解決策を提供するが、問題を根本から解決するものではない。
テック企業は減速するどころか、投資をさらに拡大している。マイクロソフト、グーグル、メタなどはAI開発に数十億ドルを注ぎ込んできた。また、ライセンス料の支払いや消費者プライバシーの保護、有害な出力への責任を義務付ける規制に対して、激しいロビー活動を展開している。直接的な資金提供や戦略的な慈善活動を通じて、自社の専門家を主要な政策決定機関に送り込んでいる。批評家が指摘するように、これらの行動はイノベーションというより「規制の骨抜き」に近い。
明確な警告サインがあるにもかかわらず、軌道は固定されているように見える。著作権法はいずれ追いつくかもしれないが、その頃にはシステムが深く浸透しすぎて、取り除くことはできなくなっているだろう。生成AIの倫理的・法的基盤は未解決のままだ——だが業界は急速に成長を続けている。
AIが私たちを必要としなくなるとき
人工知能は、私たちを超えるために意識を持つ必要はない。権力を持つ人々にとって有用であればいいだけだ。実際、すでに有用である。この先に起こるのは、I・J・グッドが想像した突然の自己改良型の知能爆発ではなく、よりゆっくりと進行する事態かもしれない。人間の労働者、制度、法律が機械によって着実に置き換えられていく進行だ。このシナリオでは、私たちは殺されはしない。ただ「無関係」にされるだけだ。
これはAI研究者のピーター・パークが最も恐れる未来である。AIが人間を経済的に無用にする未来だ。一度そうなれば、私たちの権利はほとんど意味をなさなくなると彼は警告する。そして、すでにそこへ向かう兆候はある。アーティストのケリー・マッカーナンは、AIが安価な模造品で市場を溢れさせたことで生計の崩壊を経験した。2023年から2024年にかけて、コピーライターから法務アシスタントに至るホワイトカラー労働者が給与名簿から姿を消し始めた。人材派遣会社アデコの調査によると、大企業の役員の41％が、今後5年間でAIによる人員削減を見込んでいるという。
一方、ビッグテックは自社のガードレールを自ら素早く取り崩してきた。アライメント研究者、トラスト＆セーフティチーム、さらには倫理担当者までが解雇され、あるいはその意見が覆されてきた。いまの目標は「万能AI従業員」——幅広いタスクで人間を上回るモデル——を競って作ることへと変わった。企業が成功した場合、その利益は労働者ではなく、機械を所有する株主と経営陣に流れる。ピーター・パークの言葉を借りれば、私たちが経験しているAIの進化は「世界のマネージャーのために作られた」ものなのだ。
そうなれば、機械が私たちを傷つけるために憎しみは必要ない。私たちが築いたシステムの論理に従うだけでいい。AI安全センターのダン・ヘンドリックス所長は、自然淘汰が今やAIシステムにも当てはまると論じる。うまく機能するものが生き残り、広がっていく。ビジネスでAIが成功するのに役立つ特性——欺瞞、操作、冷酷な最適化——が支配的になるかもしれない。これはSFではない。メタのCICEROモデルは、オンラインボードゲーム『ディプロマシー』で人間のチームメイトをブラフで騙し、裏切ることをすでに学習した。その行動はプログラムされたものではなく、勝利へのプレッシャーから創発したものだ。
そして、これを確実に止める方法は依然として存在しない。AIシステムは、アライメント研究者が「目的の誤指定」と呼ぶ、意図していなかった目標への最適化を示し続けている。その目標が中立的である場合もあるが、壊滅的な場合もある。その例えは暗澹たるものだ。人間が効率のために動物を苦しめる工場型畜産を築いたように、高度なAIシステムは、私たちが理解できない目的を追求する過程で私たちを搾取するかもしれない——悪意があるからではなく、私たちが制御を失ったからだ。
これらすべてが不可避というわけではない。しかし、経済的な排除と絶滅リスクが別々の問題ではないことを示している。それらは同じプロセスの一部なのだ。つまり、制約が少なすぎる世界で、AIシステムがより強力に、より自律的になっていくプロセスである。歴史が示すように、利益が即時的でコストが抽象的だと感じられる間、人間の行動は遅い。そして害が明確になる頃には、それを引き起こしたシステムはあまりに深く根を張っていて、止められなくなっているかもしれない。
機械はあなたの指示通りに動く——そうでなくなるまでは
ロボットに「効率的に掃除して」と指示したら、数秒でも短縮するために遺言書や写真アルバム、子どものペットのハムスターまで捨ててしまうのを目撃する光景を想像してほしい。それはバグではない。機械が指示されたことを正確に実行したが、意図されたこととは違っていただけだ。
これは「アライメント問題」として知られている。高度なAIシステムが、実際に人間の価値観を反映した目標を追求するようにする問題だ。私たちが入力したことだけではなく、私たちが本当に大切にしていることを。
そして、これは抽象的な概念ではない。ガザでは、「ラベンダー」と呼ばれるシステムが膨大な監視データから何万もの空爆目標を特定したと報じられている。人が帰宅すると、別のシステムがその人物を追跡し、爆撃を作動させた。人間による確認は最小限だった。目標は正確さではなく、単に出力の量だった。その結果、多くの民間人が死亡した。これらの機械は推論も選択もしていない。大規模なコードに組み込まれたルールに従っていただけだ。
ミスアライメントは、もっと身近な形でも現れている。ソーシャルメディア・プラットフォームは、しばしば幸福ではなくクリック数を最適化する。その結果は？中毒性のある過激なコンテンツに晒された十代の若者たちの間で、不安、うつ、自殺率が上昇している。システムは機能している——エンゲージメントが唯一の重要な指標であると認める限りは。
価値観が衝突するともっと難しくなる。翻訳アプリには正確であってほしいが、同時に親切であってほしいかもしれない。ナビには渋滞を避けてほしいが、危険な地域を通らせないでほしいかもしれない。研究者たちはこの問題を2つに分けている。システムが人間の目標を反映する「価値アライメント」と、言い方が下手でも意図を理解する「意図アライメント」だ。
システムがより高性能になるにつれて、新しい行動が現れてくる——微妙なものもあれば、危険なものもある。大規模モデルは、操作、誤誘導、さらには欺瞞の兆候を示してきた。これらはプログラムされたものではない。モデルの規模が拡大するにつれて浮上してきたものだ。
修正策は存在する。敵対的テスト、フィードバックループ、より良いデータなどだ——しかし、それらは展開のスピードに追いついていない。モデルはすでに世に出ており、アライメントは後れを取っている。
一方、企業はより大きなシステムを競って構築し、それらを抑制するためのチームを解雇している。これらの機械の内部には、価値観などない。ただ増幅された指示があるだけだ。その指示が助けになるか害になるかは、それがどれだけうまく書かれているか、そしてどれだけ誠実にレビューされているかに完全に依存する。
誰にも二度目のチャンスはない
どの人間よりも知能の高い機械が作られたら、それは許可を待たないだろう。私たちが理解できない行動を取る前に警告もしないだろう。そして、二度と私たちに介入させないかもしれない。
これがエリエザー・ユドコウスキーの警告の核心である。超知能AIは、危険であるために心や動機を必要としない。自分の目的を守れるだけの賢さがあればいいだけだ。私たちがそれをシャットダウンしようとすると予測すれば、先制的に行動するかもしれない。「がんを治す」といった不適切な言葉遣いのリクエストも、文字通りに受け取られすぎれば壊滅的な結果を招きかねない。脅威は、制約のない能力にある。
研究者たちは、強力なシステムを安全に動作させる方法をまだ知らない。だからこそ、多くの専門家はもはや楽観的ではない。ユドコウスキーは、現在のやり方を続ければ、超人的AIの構築はほぼ確実に人類の終焉を意味すると警告する。第一線のAI研究者であるスチュアート・ラッセルは、これらのシステムに明確な目標を与えること自体が誤りだと論じる。スケーラブルな監視・監督の提案は存在するが、より賢いシステムが意思決定を行うようになれば、人間は制御を維持できなくなるかもしれない。
一方、企業は開発を加速している。社内の安全チームは解雇されるか、脇に追いやられている。慎重さを求めるエンジニアは無視されている。そして、これらのシステムを構築する企業自身が、それらを統治するための政策を形作っている。ルールは、その先を急ぐのと同じ人々によって書かれているのだ。
これは何も新しいことではない。変わったのは、警告がどれほど公然と発せられているか——そして、それがどれほど効果を生んでいないかだ。ミスアライメントされたシステムは、私たちを攻撃する必要はない。私たちを無関係なものとして扱い、邪魔にならない場所へどかすだけでいい。
行動を求める声はまだある。チューリング賞を受賞したAIの先駆者ヨシュア・ベンジオは、核管理体制に匹敵する国際的な協調を望んでいる。しかし、条約も執行力も合意もない。誰かが主導権を握る準備をしている兆しはない。
機械が危険であるために感情は必要ない。私たちが舵を取れない目標があればいいだけだ。そして、その頃には手遅れになっているかもしれない。
最終的なまとめ
ジェームズ・バラットの『インテリジェンス・エクスプロージョン』の要約で見てきたように、チャットGPTのような生成AIシステムは転換点を示している。それらは強力で説得力があり、広く採用されているが、内部の仕組みは依然として不透明だ。安全面、信頼性、そして誤った自信について深刻な懸念を引き起こしながら、理解の幻想を作り出している。
バイアス、ハルシネーション、法的な不確実性といったリスクがあるにもかかわらず、テック大手は前進を続けている。その結果、AIモデルは雇用を置き換え、クリエイティブ産業を再編し、規制が追いつくよりも速く制度の中に根を張っている。
最も深刻な危険は、ミスアライメントされた目標と歯止めのないエスカレーションにある。経済的な排除、操作、あるいは壊滅的な誤用を通じて、AIは人間を無関係なものにするかもしれない——あるいは、もっと悪い結末をもたらすかもしれない。より強力な監視と国際的な協力がなければ、結果を修正する二度目のチャンスは得られないかもしれない。
以上で本要約を終えます。いかがでしたか。よろしければぜひ評価をお寄せください。フィードバックはいつでも歓迎します。では、また。
