なぜ情報が増えても、私たちは賢くならないのか?ハラリが警告するAI時代の落とし穴

『ネクサス』(2024)は、物語や書物からインターネットやAIに至るまで、情報ネットワークが人類の歴史をどう形作ってきたかを探求する。テクノロジーが現在これらのネットワークにもたらすリスクをあらわにし、情報・権力・秩序・真実を守るために人類が下さねばならない重要な決断を明らかにする。

この本から得られること:情報ネットワークの鋭い分析

石版は記録と統治の基礎を築いた。書物は物語と情報を口承の伝統から解き放ち、印刷機は知識を民主化し、大規模な普及を可能にした。そして今、人類は情報の最新革命の只中にいる。コンピュータ、AI、インターネットの台頭により、情報ネットワークは一変し、さらなる進化を遂げようとしている。

これは重要な問いを投げかける。私たちは制御できない力を解き放ってしまったのか?そして、その潜在的リスクにどう対処すればいいのか?これらの新技術を賢く管理するには、まず情報と権力の深い関係を理解しなければならない——情報と権力がネットワークの中で常に絡み合ってきたこと、ネットワークが真実と秩序のバランスを取らねばならないこと、そしてこの新たな情報革命がそれをどう変えようとしているのかを。石器時代からビットコインまで、情報ネットワークがどのように権力を生み出し、なぜそれが重要なのか、その複雑さを探っていこう。

情報と権力はネットワーク上の存在である

1797年、ドイツの文豪ヨハン・ヴォルフガング・フォン・ゲーテは、情報と権力の関係についての根強い見方を捉えた詩を書いた。『魔法使いの弟子』だ。その詩では、自分を証明したいと願う少年が、師匠の魔法を使って箒に水を汲みに行かせる。しかし、彼はすぐに魔法の制御を失う。慌てて箒を真っ二つにするが、その破片はさらに多くの魔法の箒へと変わる。

最終的に混沌を収めるのは、魔法使いの力だ。この物語から二つの教訓が読み取れる。第一に、弟子は力を味わった後にそれを誤用する。つまり、個人の心理が権力の誤用を駆り立てるということだ。第二に、魔法使いが後始末に現れる。つまり、制御不能な力を呼び起こしても、超人的な存在が問題を解決してくれるということだ。残念ながら、この二つの教訓はどちらも誤っている。人類が「魔法使いの弟子」モデルの権力観に従い続ける限り、私たちは破滅へ向かっている。

人類は数え切れないほどの隠喩的な「魔法の箒」を解き放ってきた。気候を不安定化させ、ドローンやAIなどの技術を呼び起こし、ファシズムのような破壊的なイデオロギーを煽ってきた。それでもなお、魔法使いがすべてを解決してくれるかのように振る舞っている。真実は、魔法使いは来ない。そして、これらの問題を解決する責任は単一の個人や集団にあるわけではない。制御不能な力を呼び起こす傾向は、より大きなネットワークの一部として私たちがどう行動するかから生じる。1930年代のドイツを例に取ろう。すべてのドイツ人がファシストだったわけではないが、ネットワークとして、彼らはヒトラーの権力奪取を集団的に支えたのだ。

情報は常にこれらのネットワークをつなぎとめる接着剤であり、ビッグデータの時代である今日、それはかつてないほど明確だ。情報を生み出し共有することが人類に恩恵をもたらしたことに疑いの余地はない。例えば、医学の進歩は乳幼児死亡率を劇的に低下させた。しかし、かつてないほど多くのデータを持ちながらも、私たちは依然として気候を破壊し、地球を汚染し、紛争を続けている。AI革命の瀬戸際に立つ今、私たちはさらに破壊的な力を解き放とうとしている。

これらは単一の主体によって生み出された問題ではなく、複雑な情報ネットワークによって生み出されたものだ。自らを救うためには、情報と権力の関係を再考する必要がある。ネットワークがどう機能し、情報がその中をどう移動し、解き放ってしまった魔法の箒を封じ込めるためにネットワークをどう導くかを、理解しなければならない。

私たちは間主観的な物語でつながっている

人間は協力する唯一の種ではない。アリもハチもチンパンジーも協力する。しかし、これらの動物は巣を作ったり集団で狩りをしたりはするが、帝国、宗教、イデオロギーを作り出すことはない。では、何が私たちを特別にしているのか?進化は人間に物語を語る能力と、物語に深く心を動かされる能力を与えた。

この物語能力によって、ネットワークは指数関数的に成長した。人と人のつながりだけでなく、人と物語のつながりが生まれたのだ。誰かを助けたりつながったりするために、その人を個人的に知っている必要はなくなった。聖書の物語であれ共産主義の物語であれ、同じ物語を共有していればよかった。人類史の最も権力ある人物——王、法王、皇帝——を検証すると、彼らの権力が単に個人的なカリスマ性から生まれたものではないことが明らかになる。むしろ、彼らが体現した物語から来ていたのだ。現代のソーシャルメディアのインフルエンサーも同様だ。彼らは何百万人ものフォロワーと個人的につながっているわけではない。ネットワーク全体に響く、パワフルでブランド化された物語を体現しているのだ。ここで、現実の三つのレベルを考える必要がある。

第一に、客観的現実——ピザが約2,000キロカロリーあるというような、否定できない世界の事実。第二に、主観的現実——ピザが美味しいと感じるというような、個人が世界をどう経験するか。そして第三に、間主観的現実——大きな集団の集合的な心の中に存在する、共有された物語だ。例えば2010年、プログラマーのラズロ・ハニェッツはピザ2枚を買うために10,000ビットコインを使った。当時、10,000ビットコインは41米ドルの価値だった。今日、同じ量のビットコインは約6億9,000万ドルの価値がある。

ビットコインの価値は本質的な真実ではない。十分な数の人々が価値があると合意しているから存在しているのだ。これが間主観的現実である。私たちは政治や法律のような社会秩序のシステムが、純粋に真実と事実に基づいていると考えがちだ。しかし、それらもまた共有された物語に大きく依存している。例えば、奴隷制は今日では普遍的に非難されているが、初期のアメリカ社会は奴隷制が正当化されるという信念の上に築かれていた。元の合衆国憲法は、女性と先住民族の抑圧とともに、奴隷制を認めてさえいた。王権神授説?それも間主観的な物語だ。国民国家という概念そのものも?また別の物語だ。情報ネットワークの考えに戻ろう。単純化した見方では、より多くの情報が自然により多くの権力と知恵につながると示唆するかもしれない。ポピュリストや陰謀論者がしばしば抱くより皮肉な見方は、情報とは信用できない武器だというものだ。真実はその中間にある。情報ネットワークは真実(事実)を明らかにするための道具でもあり、秩序を(物語を通じて)作り出すための道具でもある。

ネットワークが秩序よりも真実を優先すると、不安定化のリスクがある。ダーウィンの進化論がヴィクトリア時代のキリスト教社会を動揺させたのと同じように。一方で、ネットワークが真実よりも秩序を重視すると、大きな権力を蓄積できるが、乱用に対して脆弱になる——スターリン時代のロシアを見れば十分だ。今日、MetaやGoogleのような企業は、ネットワークが情報を収集する速度を上げることに注力している。しかし、効率の最適化に集中するあまり、私たちははるかに重要な課題を見落としている。これらのネットワークにおいて真実と秩序のバランスを取る必要性だ。

自由に流れる情報は本質的に善ではない

人間は間違いを犯す存在なのに、全体主義システムは自らを無謬であるかのように提示しなければならない。キリスト教会を例に取ろう。そのイデオロギーは、無謬の神がアダムとイブの原罪を正すというものだ。同様に、マルクス主義の教義は、労働者階級が誤って抑圧者に同一化する可能性があるため、党の指導者による慈悲深い導きが必要だと主張する。どちらのシステムも情報の流れを制限し、信者たちが情報を正しく解釈する力を備えていないと前提している。

これらのシステムで情報があまりに自由に入手できると、元の教義が疑問視されたり、欠陥が暴かれたりする可能性がある。では、このモデルの反対は何だろうか?情報の自由市場——誤りが暴かれ、真実に置き換えられる市場——だ。理論上は、これは理想的に聞こえる。情報ネットワークの歴史における最も重要な画期の一つ、15世紀半ばのヨハネス・グーテンベルクによる印刷機の発明を考えてみよう。発明以前、ヨーロッパは千年の間に約1,100万冊の手書きの書物を生産していた。

ところが、印刷機の登場からわずか46年の間に、1,200万冊以上の印刷本が流通した。その後、大きな変化が起こった。情報は急速に広まり、人々は長く保持されてきた教義に疑問を持ち始めた。ガリレオやコペルニクスのような思想家が自分の考えを広めるにつれて、科学革命への道が開かれた。これは真実と啓蒙の黄金時代の始まりだった——ように見えた。実際には、それほど単純ではなかった。印刷機は情報を民主化したが、すべての情報を民主化したのだ。真実も虚偽も。

ガリレオの月のクレーターに関する発見が印刷機によって広まっていたのと同時期に、別の書物が影響力を増していた。1487年にハインリヒ・クラマーが書いた『魔女への鉄槌』だ。クラマーはドミニコ会の異端審問官で、常軌を逸した行動と悪魔的陰謀への執着のために教会から追放されていた。その報復として、彼は『魔女への鉄槌』を書いた。これは魔女狩りの手引き書で、ヨーロッパ中に魔女狩りの波を煽り、推定12,000人の「魔女」の処刑につながった。学者によっては実際の数ははるかに多かったと示唆している。印刷機は情報を解放したかもしれないが、真実の普及を保証したわけではなかった。ましてや秩序はなおさらだ。真実が勝つためには、情報の開かれた市場以上のものが必要だ。制度は、バランスを事実へと傾ける上で重要な役割を果たす。

しかし、制度自体も無謬ではない。自己修正メカニズムが必要だ。自然は良い類推を提供してくれる。歩くことを学ぶときに体がどう自己修正するかを考えてみよう。例えば、教会は決して間違うことがないと宣言することで権力を得た。これは粗雑な自己修正メカニズムであり、最終的に欠陥があることが証明された。対照的に、科学界は自らの誤りを認めて修正する姿勢から権威を部分的に得ている。科学機関は以前の理論を論駁する論文を定期的に発表している。優生学を例に取ろう。かつて植民地主義と大量虐殺を正当化するために使われたが、その後科学によって信用を失った。

精神医学では、『精神障害の診断と統計マニュアル』(DSM)がこの分野の「バイブル」と呼ばれることがあるが、新しい理解を反映するために約10年ごとに改訂される——静的な宗教の聖典とは異なる。では、自己修正メカニズムは情報ネットワークにおける真実のバランスを取る鍵なのか?それらは極めて重要だが、唯一の要因ではない。これらのメカニズムはバランスを真実へと傾けることができるが、時には秩序と安定を犠牲にしてそうすることもある。

コンピュータが情報ネットワークに介入する

印刷機から早送りして、情報史のもう一つの重要な瞬間に移ろう。コンピュータの発明だ。1940年代に作られた最初のコンピュータは、数学的計算のために設計された大型の機械だった。しかし、アラン・チューリングのような先見の明のある人々は、いつか人間の知性を模倣できるほど進化する可能性を予見していた。それ以来、コンピュータはスマートフォン、ソーシャルメディア、ブロックチェーン、AIなどの画期的なイノベーションを生み出し、私たちの生活を劇的に変えてきた。

ソーシャルメディアのアルゴリズムが政治に与える影響を考えてみよう。特に、ミャンマーのロヒンギャ危機における影響を。数十年の軍事政権の後、ミャンマーは民主化を始めた。移行の直前に同国に入ってきたFacebookは、以前は国家に管理されていた情報を人々が共有・アクセスできるようにすることで、民主化に一役買った。しかし、民主主義の台頭と並行して、疎外された少数民族であるロヒンギャへの暴力も激化した。アラカン・ロヒンギャ救世軍の過激派がロヒンギャ国家樹立を目指して攻撃を開始した。報復として、政府と仏教徒の過激派は民族浄化を行い、7,000人から25,000人のロヒンギャが死亡し、60,000人が避難を余儀なくされた。

この危機におけるFacebookの役割は憂慮すべきものだった。ミャンマーのFacebookアカウントは、フェイクニュース、陰謀論、反ロヒンギャのプロパガンダで溢れていた。エンゲージメントを最大化するように設計されたFacebookのアルゴリズムは、扇動的なコンテンツを増幅した。プラットフォームのアルゴリズムはそれらのモデレーションに失敗し、特定の扇動的な動画は自動再生さえされた——過激派の僧侶による動画は再生回数の70%が自動再生によるものだった。つまり、ユーザーはクリックしなくても有害なメッセージに晒されたのだ。2016〜2017年のミャンマー危機は厳しい警告である。当時、アルゴリズムが人間同士の情報の流れを駆動していた。

今日、私たちはAIが人間の介入なしにコミュニケーションできる時代に入りつつある。想像してみてほしい。AIが記事を書き、別のアルゴリズムがそれを共有し、第三のアルゴリズムがフェイクだとフラグを立て、第四のアルゴリズムが政治危機の始まりだと分析し、他のAIシステムが株の売りを引き起こす——これがすべて数秒以内に、人間の関与なしに行われるのだ。今日のコンピュータは、以前の情報技術よりはるかに進んでいる。石版は税金を記録できたが計算はできなかった。印刷機は本を複製できたが書き換えることはできなかった。ラジオは音楽を放送できたが曲を選ぶことはできなかった。

しかし、コンピュータ技術は情報ネットワークの機能を根本的に変える。情報がネットワーク内をどう移動するかだけでなく、情報がどう作られ、共有され、解釈されるかもだ。初めて、人間の入力を必要としない情報ネットワークが生まれた。これはコンピュータの力にとって何を意味するのか?資本主義社会では、力はしばしば、どれだけ多くの主体があなたと協力するか、法律と金融をどれだけよく理解しているか、発明の能力がどれだけあるかで測られる。これらはすべて、現在コンピュータが人間よりもうまくできること、あるいはすぐにできるようになることだ。コンピュータが情報ネットワークを作り変え続けるにつれて、コンピュータは私たちよりも多くの力と影響力を蓄積していくだろう。

AIは革命的だ。それは良いことなのか?

第37手。AIの専門家か、中国のボードゲーム囲碁のファンなら、この二つの言葉の重要性を知っているだろう。囲碁では、プレイヤーは碁盤に石を置いて領地を取る。チェスよりはるかに複雑なゲームだ。2016年、GoogleのAI「AlphaGo」と世界チャンピオンの棋士イ・セドルとの画期的な対局中、AIは世界を驚かせる一手を打った。第37手だ。

この大胆で前例のない一手は、何世紀にもわたる人類の戦略に挑戦し、誰もそれを予測できなかった。それでいて、AlphaGoの勝利への布石となった。第37手は、単に一人のプレイヤーが別のプレイヤーを倒しただけではなかった。それは、AIが明らかに人間とは異なる方法で人間を凌駕した重要な瞬間を象徴していた。対局を見ていた多くの専門家にとって、それはより大きな問いを提起した。AIが私たちのスキルだけでなく理解をも超えたら、それは何を意味するのか?AIが民主主義に与える影響というレンズを通して探ってみよう。

民主主義は不完全ではあるが、真実と秩序のバランスを取る情報ネットワークを作るための、おそらく人類最善の試みだ。投票や制度的チェック(司法制度や自由な報道など)といったメカニズムが、そのバランスの維持に役立っている。しかし、AIの影響力の拡大は、民主主義を修復不能なまでに不安定化させるだろうか?これは単なる理論上の問いではない。AIはすでに、誰が投獄されるか、誰が就職面接を受けるか、誰が大学に入学できるかについて決定を下している。エリック・ルーミスの事例を見てみよう。2013年、ルーミスは警察から逃れた罪で有罪判決を受けた。量刑の際、裁判官はCOMPASと呼ばれるAIアルゴリズムを使って彼の再犯可能性を評価した。

AIの評価に基づき、ルーミスは「高リスク」と見なされ、6年の刑を言い渡された。ルーミスも彼の弁護団も、AIがどうその決定に至ったのかを知ることはできなかった。彼は権利を侵害するとして判決に異議を申し立てたが、裁判所は判決を支持した。これは重要な問題を提起する。私たちはAIがどう結論に至るのかを知らないのだ。AIがあなたのローン申請を却下した場合、その理由は「ブラックボックス」に隠されている。たとえ説明が提供されたとしても、それはおそらく複雑な計算のページになるだろう。関連する要因(支払い履歴など)に基づくものもあれば、一見無関係な詳細(申請した時刻やデバイスのバッテリーレベルなど)に基づくものもある。何を修正する必要があるのかさえ理解できないのに、どうやって自己修正メカニズムを確立できるのか?

AIの決定がより不透明になるにつれて、民主的・市民的システムへの信頼は損なわれる可能性がある。これは、ポピュリスト、陰謀論者、カリスマ的指導者が不確実性を利用するための肥沃な土壌を作り出す。2020年の選挙で誰が勝ったかという基本的な事実についてさえ、一部のアメリカ人が未だに合意できないという政治的言説に、私たちはすでにそれを目撃している。では、AIはまた別の「魔法の箒」なのか?制御不能で、社会崩壊を招きかねない力なのか?AIが教育、医療に革命をもたらし、生態系の災害を防ぐ助けにさえなると予測するレイ・カーツワイルのような楽観主義者は、ノーと言うだろう。しかし、歴史はより複雑な視点を提供する。

産業革命の時代、ラッダイトたちは新技術が雇用と社会秩序を破壊することを恐れた。彼らの予測は想像した形そのままには実現しなかったが、革命は環境的・人的コストをもたらした——気候変動のような、私たちが今も取り組んでいるコストだ。歴史を通じて、新技術は人間の情報ネットワークを作り変えてきた。税金を記録し都市国家を組織した古代メソポタミアの筆記用具から、電光石火の速さで情報を生産・普及させる現在のコンピュータまで。しかしこれらのネットワークは力を生み出したが、常に知恵を生み出したわけではない。私たちの救いは、魔法使いの弟子とは異なり、できるからといってすべきとは限らないと悟ることにあるのかもしれない。

まとめ

ユヴァル・ノア・ハラリの『ネクサス』で学んだのは、人類の歴史を通じて、私たちが権力と知識を絡み合わせる情報ネットワークを作り出してきたということだ。コンピュータ技術はこれらのネットワークの構築と維持の方法に革命をもたらしたが、真実と秩序のバランスを取る自己修正メカニズムを損なう脅威にもなっている。この新しい現実を乗り切るには、これらのネットワークを権力がどう流れるかについて理解を深め、真実と秩序を調和させ、技術が害を与えずに私たちに仕えるようにする方法を見つける必要がある。

Add Comment