『Human Compatible』（2019年）は、超知能AIの誕生が人類最後の発明になりかねない理由を解説する一冊です。本書の要点は、人類が向かいつつある破局の可能性に警鐘を鳴らし、それを回避するために何をすべきかを論じています。長期的に見てAIが人類の利益であり続けるためには、その設計思想を根本から見直す必要があるのです。
この本から得られるもの AIにまつわる「常識」を根本から問い直す。
人工知能は、未来を決定づけるテクノロジーです。すでにAIは社会のあらゆる層に急速に浸透しつつあります。個人は日常生活の管理にAIを進んで家庭に迎え入れ、自治体や企業はサービスの最適化のためにAIを活用し、国家は大規模な監視や社会工学キャンペーンにAIを利用しています。しかし、AIがより知的になるにつれて、そして私たちの社会システムがAIへの依存度を高めるにつれて、制御不能になったAIがもたらす脅威はより深刻なものになります。科学者や技術者が未来のユートピアを実現しようと熱狂的な探求に没頭するあまり、新技術のリスクやマイナス面があまりにも見過ごされがちです。
実際、多くのAI専門家や企業幹部は、より厳しい規制を恐れて、AIのリスクを過小評価しています。本書の要点は、この不均衡を正す試みです。どのようにAIを制御し、その壊滅的な結末を緩和するかという問題は、今日の人類が直面する最大の問いであり、まさにこの点を探求していきます。この要点を読むことで、あなたは次のようなことを学べます。
- 今日のスーパーコンピュータと人間の脳の比較
- 伝説の古代王が現代のAIについて教えてくれること
- 自律型兵器技術が、なぜすべての人の生活をより不安定にしているのか
AIが人間の知能を超えるには、ソフトウェア面での飛躍的な進歩が不可欠です。
今日のコンピュータは驚異的な速度で情報を処理できます。しかし、1950年代でさえ、コンピュータは「アインシュタインより速い」スーパー頭脳として宣伝されていました。もちろん、当時のコンピュータは人間の脳には遠く及びませんでしたが、両者は常に比較されてきたのです。
実際、コンピュータサイエンスの黎明期から、私たちはコンピュータの知能とその進歩を、人間の知能と比較して測定する傾向がありました。では、今日のコンピュータはどうでしょうか？ 私たちより優れているものもあるのでしょうか？ ここでの重要なポイントは、AIが人間の知能を超えるには、ソフトウェア面での飛躍的な進歩がいくつも必要だということです。 現在、世界最速のコンピュータは、米国オークリッジ国立研究所にある「Summit」です。世界初の商用コンピュータ「Ferranti Mark 1」と比較すると、Summitは1,000兆倍高速で、2,500兆倍ものメモリを搭載しています。
途方もない数字です。純粋な計算能力においては、Summitは実際に人間の脳をわずかに上回っています。とはいえ、倉庫一杯のハードウェアと100万倍ものエネルギーを必要としますが、それでも印象的です。では、Summitを含む今日のスーパーコンピュータは、人間の脳と同じくらい強力だと言えるでしょうか？ 答えは明らかにノーです。確かに、これらのコンピュータは優れたハードウェアを備えており、アルゴリズムの高速動作と大量の情報処理を可能にしています。
しかし、知能には処理速度だけではない、はるかに多くの要素があります。知能を設計する上での真の問題は、ソフトウェアにあるのです。現時点では、人間レベルの人工知能と呼べるものを目にするには、AIソフトウェアにおけるいくつかの主要な概念的ブレークスルーがまだ必要です。中でも最も重要なブレークスルーは、言語理解の分野です。今日のインテリジェントな音声認識AIのほとんどは、画一的な応答に基づいており、意味のニュアンスを解釈するのに苦労しています。スマートフォンのパーソナルアシスタントが「救急車を呼んで」という要求に「わかりました。今後、あなたのことはアン・アンビュランス（救急車）さんと呼びます」と応答したという笑い話のようなことが起こるのは、そのためです。
真に知的なAIは、単に話された言葉だけでなく、その文脈や口調に基づいて意味を解釈する必要があります。概念的なブレークスルーがいつ起こるかは、決して断言できません。しかし、一つだけ確かなのは、人間の創意工夫を過小評価すべきではないということです。次の例を考えてみてください。
1933年、高名な原子物理学者アーネスト・ラザフォードは公式の講演で、核エネルギーの利用は不可能であると発表しました。ところがその翌日、ハンガリーの物理学者レオ・シラードが中性子誘発核連鎖反応の概要を発表し、事実上この問題を解決してしまったのです。超知能、つまり人間の能力を超えた知能が、すぐに現れるのか、後になるのか、あるいは全く現れないのかは、まだ分かりません。しかし、核技術を設計した時と同様に、予防策を講じておくのが賢明です。
私たちは、知能について誤った考え方に基づいて行動してきました。
もしAIを慎重に扱わなければ、私たちはゴリラと同じ結末を迎えるかもしれません。考えてみてください。人間が引き起こした生息地の喪失によって、今日すべてのゴリラ種が絶滅の危機に瀕しています。確かに、ここ数十年の保護活動によって、いくつかの種は絶滅の淵から首尾よく引き戻されました。しかし、ゴリラの数が減少しようと増加しようと、その運命は主に人間の意向にかかっています。
懸念されるのは、超知能AIに支配された世界では、私たちもゴリラとほぼ同じ立場に置かれるだろうということです。自分たちよりも知的な存在に後れを取る世界で、人間は優位性と自律性を維持できるでしょうか？ 幸いなことに、私たちとゴリラの間には一つの重要な違いがあります。それは、この新しい知能を設計しているのが私たち自身だということです。知的なAIを確実に制御下に置くためには、AIの設計方法に細心の注意を払うことが最も重要です。しかし、そこには決定的な問題があります。 ここでの重要なポイントは、私たちは知能について誤った概念に基づいて行動してきた、ということです。
現在のAI設計のパラダイムでは、AIの知能は、事前に与えられた目的をどれだけうまく達成できるかによってのみ測定されます。このアプローチの大きな欠点は、AIに私たちが望むように振る舞わせるような目的を特定することが極めて難しい点です。私たちが思いつくほぼすべての目的は、予測不可能で、潜在的に非常に有害な行動を引き起こす可能性があります。この問題は「ミダス王の問題」として知られています。触れるものすべてが黄金に変わることを願った、伝説の王にちなんで名付けられました。彼が気づかなかったのは、自分が食べる食べ物や自分の家族さえもそれに含まれるということでした。この古代の物語は、不十分に特定された目的が、結局は利益よりも多くの苦しみを引き起こす可能性があるという完璧な例です。
AIがより知的になり、より大きな力を行使するようになると、予測不可能な行動による危険性は増大します。その結果は、人類にとって実存的な脅威にさえなりかねません。例えば、超知能AIに「癌の治療法を見つけてほしい」と依頼したところ、実験のために人々に癌を発症させ始めるかもしれません。あなたはこう疑問に思うかもしれません。「AIのやっていることに満足できないなら、なぜその厄介な機械のスイッチを切ってしまわないのか？」
残念ながら、大部分の目的にとって、AIには自分自身がオフにされるのを許さないインセンティブが働きます。なぜなら、オフにされることはその目的達成の脅威となるからです。「コーヒーを淹れる」のような一見単純な目的でさえ、AIをして自分自身がオフにされるのを防ごうとさせるでしょう。結局のところ、死んでしまってはコーヒーを淹れられないからです。
単なる「知的な」機械ではなく、「有益な」機械を設計すべきです。
これまで、AI研究者の間での合言葉は「賢ければ賢いほど良い」でした。しかし、本当に彼らはそう唱えるべきなのでしょうか？ これまで見てきたように、不注意に述べられた目的を与えられたAIは、非常に有害な行動をとる可能性があります。そして、AIがその有害な行動を知的に行ったとしても、それは慰めにはなりません。むしろ、事態を悪化させます。
私たちに必要なのは、別の合言葉です。それは、何があっても人間の目的に寄り添い続けるAIを構築することを目指すものです。新しい合言葉は「有益であればあるほど良い」であるべきです。 ここでの重要なポイントは、単なる「知的な」機械ではなく、「有益な」機械を設計すべきだ、ということです。 有益なAIを作るために設計者が従うべき三つの原則があります。第一の原則は、AIはただ一つの目的、すなわち人間の選好を最大限に満たすことだけを持つべきだということです。
著者はこれを利他主義の原則と呼んでいます。これにより、AIは常に自分の選好よりも人間の選好を優先することが保証されます。第二の原則は、AIは初期段階では、人間の選好が何であるかについて不確かであるべきだということです。これが謙虚さの原則です。ここでの考え方は、不確かなAIは決して単一の目的に固執せず、新しい情報が入ってくるにつれて焦点を変えるというものです。不確かなAIシステムは、より慎重になり、人間に従う可能性が高くなります。
不確かであるため、AIは明確化のための情報を継続的に探し求めます。これは、彼らがしばしば許可を求めたり、フィードバックを募ったり、人間の反応をテストするために試運転を行ったりする可能性さえあることを意味します。そして極めて重要なことに、不確かなAIは自分自身がスイッチを切られることを許容します。なぜなら、人間が自分のスイッチを切ろうとするのを、スイッチを切ることを好ましいと思っているからだと解釈するからです。有益なAIを作るための第三の、そして最後の原則は、人間の選好に関する究極の情報源は人間の行動であるべきだということです。これは学習の原則と呼ばれます。
これにより、AIは常に人間と直接的かつ持続的な学習関係を維持することが保証されます。それは、AIが人とよりよく知り合うにつれて、時間とともにより役立つ存在になることを意味します。これら三つの原則は、真の知性が何を伴うかについての別の理解を表しています。それは、新しい情報に照らして、自身の目的を精査し再定義する能力です。この種の知性を持つAIは、人間の知性にはるかに近づくでしょう。なぜなら、私たちもまた、自分たちが目指す目標を吟味し、変更することができるからです。そして、AIが人間の選好に照らして目的を変えることができれば、人間と機械の間に根本的に新しい関係、つまり機械と人間の目的が本質的に同じである関係の基盤ができるでしょう。
AIは多くの点で私たちに恩恵をもたらすと期待できます。
一部のバーチャルホームアシスタントは、誰が話しかけているかを区別できず、テレビから聞こえた商品購入の命令に従ってしまったと報告されています。明らかに、バーチャルアシスタントはまだ超知的とは言えません。しかし、これは変わりつつあります。バーチャルアシスタント技術は、一部には民間部門からの大規模な投資のおかげで、飛躍的に改善しています。
この技術に大きな関心が集まる理由は、バーチャルアシスタントが実行できるタスクの範囲が事実上無限に見えるからです。私たちが話しているのは、買い物リストを作ったりステレオをつけたりすることだけではありません。高度なスキルを持つ専門家の仕事をこなすことについて話しているのです。 ここでの重要なポイントは、AIは多くの点で私たちに利益をもたらすと期待できる、ということです。 例えば、バーチャル弁護士は、法的な情報を迅速に探し出す点で、すでに実際の弁護士よりもはるかに優れた成果を上げています。同様に、バーチャル医師は、病気の正しい診断を提供する点で、人間の医師よりも優れた成果を上げています。最終的には、専門家は全く必要なくなるかもしれません。
代わりに、私たちは皆、医師、弁護士、教師、ファイナンシャルアドバイザー、秘書を一つにまとめた、自分専用のものをポケットに入れて、24時間いつでも呼び出せるようになるでしょう。バーチャルアシスタントのおかげで、これらの重要なサービスは民主化され、もはや裕福な人だけがアクセスできるものではなくなり、それによってすべての人の生活水準が向上します。AIが科学研究にもたらす利益もまた、計り知れないものがあります。基本的な読解力さえあれば、AIは朝食と昼食の間に人類がこれまでに書いたすべてを読むことができるでしょう。それに比べれば、世界の現在の出版量に追いつくだけでも、20万人の人間がフルタイムで読書しなければなりません。超知能AIの助けを借りれば、科学者はもはや膨大な量の発表済み研究をふるいにかける必要はなくなり、AIが代わりに関連データを抽出して分析してくれるようになります。
超知能AIは地球規模の応用も可能にします。監視カメラや衛星からの情報を収集することで、AIは全世界のリアルタイムの検索可能なデータベースを作成するために使用されると予想されます。このデータから、経済活動や環境変化など、グローバルシステムのモデルを生成できるでしょう。これらのモデルにより、これらのシステムへの効果的な介入を計画することが可能になり、例えば気候変動の影響を緩和するのに役立ちます。しかし、世界的な監視システムが示唆するプライバシー侵害の可能性は明らかです。これは、私たち全員が覚悟しなければならないAIの暗黒面に取り組む、次のポイントにつながります。
AIは、すべての人の生活をより不安定なものにします。
旧東ドイツの国家保安省（シュタージ）は、史上最も有能で抑圧的な情報機関の一つでした。彼らは東ドイツの大多数の家庭に関するファイルを作成し、電話を盗聴し、手紙を読み、さらには家の中に隠しカメラを設置していました。これらはすべて人間によって行われ、紙に書かれ、膨大な官僚組織と文字通り数十億件もの物理的な紙の記録を収めた巨大な保管庫を必要としました。シュタージがAIを利用できたら何ができたか、想像してみてください。
超知能AIがあれば、すべての人の通話やメッセージを自動的に監視することが可能になります。監視カメラや衛星データを使って、人々の日々の動きも追跡できるでしょう。それはまるで、すべての人に24時間体制で監視する工作員がついているかのようです。ここでの重要なポイントは、AIはすべての人の生活をより不安定なものにする、ということです。 AIは、さらに別のディストピアを引き起こす可能性もあります。その一つが情報の終焉、つまり真実を生み出すという思想の市場の壊滅的な失敗です。
超知能AIは、人間の介入なしに虚偽の情報を製造・配信することが可能になります。また、特定の個人を標的にして、その情報摂取内容を戦略的に変えることで、外科手術のような正確さで行動を操作することもできるでしょう。これは、すでにかなりの程度起こっています。ソーシャルメディアプラットフォームが使用するコンテンツ選択アルゴリズムは、表向きは人々の好みを予測するように設計されていますが、結局は狭い範囲のコンテンツだけを提供することで、それらの好みを変えてしまっています。実際には、これはユーザーが政治的にますます過激な見解を持つように仕向けられていることを意味します。間違いなく、こうした初歩的な人工知能でさえ、すでに社会の分断を深め、憎悪を拡散させるという大きな害を引き起こしています。
情報の終焉はまだ初期段階ですが、次のディストピアは着実に進行しています。それは、自律型兵器技術によって引き起こされる恒常的な恐怖の状態です。自律型兵器、つまり自律的に標的を探し出し無力化する機械は、すでに開発されています。このような兵器は、肌の色、制服、さらには正確な顔の特徴といった情報に基づいて標的を識別します。スローターボットと呼ばれる小型ドローンは、特定の個人を捜索し、発見し、無力化するためにすでに準備が進められています。2016年、米空軍は103機のスローターボットドローンの展開を実演しました。
彼らはそのドローン群を、自然界の群れのように、一つの分散された脳を共有する単一の有機体だと評しました。米国は、現在自動兵器技術を構築中、あるいはすでに使用している多くの国の一つに過ぎません。自律型兵器が従来の人間による戦争に取って代わるにつれて、私たち全員の生活はより不安定になるでしょう。なぜなら、世界中のどこにいようと、誰もが標的にされうるからです。
大規模な自動化は、人類の可能性を解き放つか、それとも弱体化させるかのどちらかです。
AIによって引き起こされる可能性のある三つの恐ろしいシナリオを見てきました。しかし、おそらく最も憂慮すべき、社会的に破壊的なAIの脅威についてはまだ検討していません。それが「自動化」です。自動化は、より多くの人々に医療や法律相談のような重要なサービスへのアクセスを提供するかもしれません。しかし、それは大規模な失業を引き起こす可能性もあります。
この脅威が正確にどれほど大きいかについては議論の余地があります。楽観論者は、これまでのすべての産業革命において、自動化は少なくともそれが根絶したのと同数の仕事を生み出したと指摘します。しかし、調査研究を見ると、過去40年間で、自動化技術を導入したすべての産業で雇用が大幅に減少していることが示されています。では、私たちは心配すべきでしょうか？ ここでの重要なポイントは、大規模な自動化は人類の可能性を解き放つか、それとも弱体化させるかのどちらかだ、ということです。 真実は、長期的には、AIは既存の人間の労働のほとんどすべてを自動化する可能性が高いということです。
これは、トラック運転手のような低スキルの仕事だけに影響するわけではありません。先に見たように、医師、弁護士、会計士のような高度なスキルを持つ専門職でさえ危険にさらされています。では、機械があなたの労働に取って代わったとき、あなたには何が売るものとして残されているでしょうか？ ええ、ほとんどありません。しかし、何も売る必要がなかったらどうでしょうか？ 機械にすべての仕事を任せながら、私たち全員が生活していくのに十分なものを確保できたらどうでしょうか？
これを実現する一つの方法は、ユニバーサル・ベーシック・インカム（UBI）を導入することかもしれません。UBIは、すべての成人に対して、状況に関係なく妥当な月額収入を提供するものです。より多く稼ぎたい人は、もし利用可能な仕事があれば、自由に働くことができます。しかし、それ以外の人たちにとっては、生計を立てる必要性から解放され、何でも好きなことを追求する自由を得られます。これはバラ色の絵ではありませんか？ しかし、このシナリオは本当にユートピアでしょうか？
すべての労働、学習、スキル習得への努力が機械に取って代わられたら、私たちは矮小化された存在になってしまわないでしょうか？ これはまさに本当の懸念です。これまでのところ、私たちの文明を維持する唯一の方法は、人から人へ、そして世代を超えて知識を渡していくことでした。テクノロジーが発展するにつれて、私たちはその知識や専門知識を、代わりに仕事をしてくれる機械にますます委ねるようになっています。いったん知識を他の人間に渡す実用的なインセンティブを失えば、その知識と専門知識は衰退するでしょう。もし注意を怠れば、私たちは見せかけだけ私たちに仕える機械に完全に依存した、弱体化した種になる可能性があります。
最終的なまとめ
本書の要点で最も重要なメッセージは、現在のAIの設計方法は根本的に欠陥があるということです。私たちはAIを知的になるよう設計していますが、必ずしも人類の最善の利益を心に抱くようには設計していません。 したがって、人間の目標の実現を、AIの唯一の目的とする必要があります。 もし超知能AIを首尾よく制御できれば、その計り知れない力を利用して文明を前進させ、人類を隷属から解放できるでしょう。
しかし、もし失敗すれば、私たちは優れた知性の気まぐれにますます左右されるようになり、自律性を失う危険に陥ります。
