『賢さが愚かになるまで』（2023年）は、人工知能が達成しているように見えることと、実際に理解していることの隔たりを探る。一見知的に思えるシステムが、実際には浅いトリックに頼り、予測不能な形で失敗することを明らかにし、現代のAIをめぐる誇大宣伝に異議を唱える。AIの能力と社会における役割について、より地に足のついた見方を促す一冊だ。
この要約で得られること：AIをめぐる誇大宣伝を見抜き、現在のシステムが実際にできることとできないことを理解する
人工知能（AI）は、動画配信アプリのおすすめから受信トレイのフィルタまで、あらゆる場所に存在している。文章を書き、会話をし、膨大なデータを目まぐるしい速さで分析する。そして最近では、まるで魔法のように扱われている。病気を治し、車を運転し、感情さえ持つかもしれない強力な力として。だが、これほど印象的な成果にもかかわらず、AIはいまだに基本的なことを間違える。
AIは簡単な文を誤訳し、写真に写った人物に誤ったラベルを付け、子どもなら理解できる曖昧さにもつまずく。現在の画期的な成果を支えるシステムは驚異的だが、多くの人が考えているようなものではない。誇大宣伝の下にあるのは、驚くほど限定的なテクノロジーだ。それは考えるのではなく模倣する。自分の出力すら理解していない。説得力のある答えや予測を生み出せても、それは狭いルールに従い、パターンに当てはめているだけで、意味を把握しているわけではない。
それでも、見出しやビジネス上の動機、そしてAIの実際の仕組みに対する世間の誤解に後押しされ、期待は膨らみ続けている。この要約では、現在のAIが思われているよりはるかに狭いこと、その限界が誇大宣伝によって隠されていること、そして便利な道具から意識を持つ機械への飛躍が、見た目よりはるかに大きい理由を学ぶ。まず、現代の機械学習がこれほど成功し、しかもこれほど誤解されている理由から見ていこう。
AIが実際より賢く見える理由
テック業界の大物たちは、人工知能を人類史上最も深遠な発明だと評してきた。だが本当にそうなら、なぜAIは約束を果たし続けられないのか。AIが大きな期待を呼んだのは今回が初めてではない。1960年代には、ゲームを遊んだり文章を翻訳したりできる初期のプログラムが、「人間レベルの知能はすぐそこにある」という主張につながった。
しかしこれらのシステムはハードコードされたルールに依存しており、現実がその筋書きに当てはまらないと機能しなかった。楽観論は崩壊し、資金も枯れた。この分野はやがて「AIの冬」と呼ばれる時代に入った。進歩が停滞し、誇大宣伝が薄れ、投資が消えていった幻滅の時期である。1980年代には再び盛り上がりを見せ、今度は人間の意思決定を捉えようとする「エキスパートシステム」が登場した。だがそれも複雑さに耐えきれず崩れ、二度目のAIの冬と、分野全体への新たな懐疑をもたらした。現在の波がこれまでと違うのは、機械学習の存在だ。
これらのシステムは、ロジックを手作業でコーディングするのではなく、大規模なデータセットの中からパターンを見つけることで学習する。商品を推薦したり、スペルを修正したりするモデルが欲しい場合、それらが何であるかを説明する必要はない。例を与えれば、特定の入力が特定の出力に結びつく傾向を学ぶのだ。モデルは自分が何をしているかを理解しておらず、相関関係を見つけて、それを繰り返すための柔軟なルールを構築しているにすぎない。このプロセスは狭い領域ではうまく機能するが、しばしば誤解される。機械は推論しているのではなく、パターンを真似ているのだ。道路を横断する歩行者の生存率を予測するよう訓練されたモデルが、電話番号と身長の組み合わせが強力な指標になることを学習してしまった例がある。
結果は正確に見えたが、それはデータにたまたま存在した偶然にすぎなかった。モデルは電話番号が何かを知っていたわけではなく、たまたま適合したパターンに食らいついただけだ。ルールが柔軟すぎたり、データの構造が不適切だったりすると、AIは一見賢そうでも現実には意味をなさない結果を生み出すことがある。外見とは裏腹に、機械学習は自己完結的ではない。どのモデルも、どのデータを使うか、システムをどう構成するか、何をさせてよいかという人間の設計判断に依存している。ほとんどのモデルは、注意深くラベル付けされた訓練データがあって初めて成功する。その作成には時間と労力、専門知識が必要だ。
したがって、機械学習は以前のアプローチより多くの成果を上げてきたが、知能を解明したわけではない。推論の一部を模倣するものの、意味を把握してはいない。与えられた構造と前提を反映し、それらが浅薄だったり欠陥があったりすれば、出力も同じようになる。この性能と実際の理解との乖離こそ、AIをめぐる混乱と限界の核心にある。性能と理解の隔たりがどこまで広がるかを知るために、次はディープラーニングを見てみよう。AIの中で最も賢そうに見えながら、最も奇妙に振る舞う部分だ。
ディープラーニングが表面的な成功で私たちを欺く仕組み
機械学習がスペル修正から不正検知まであらゆるものを静かに支えてきた一方で、ディープラーニングは主役の座を奪った。画像生成、音声合成、ゲームのチャンピオンなど、大きな見出しの背後にあるAI分野だ。だが誇大宣伝とは裏腹に、ディープラーニングは根本的に優れた画期的技術ではない。同じ統計的パターンマッチングを、より柔軟に、力技で拡張し、より複雑なデータに適用したものにすぎない。
知能があるという錯覚は、理解からではなく、これらのシステムが大規模データセット内のパターンにどれだけうまく適合するかから生まれる。画像認識を例にとろう。ディープラーニングモデルは、さまざまな物体が何であるかを知らない。特定のピクセルパターンが、通常どのようにラベル付けされるかを学んでいるだけだ。ある例では、落書きで訓練されたモデルにスクールバスの線画を見せたところ、自信満々に「ダチョウ」と分類した。
なぜか？ 輪郭が訓練データに含まれる典型的なダチョウの落書きに似ていたからだ。高い体、丸い頭、そして車輪のような脚まで。同じモデルは建物や石鹸ディスペンサーもダチョウと誤認した。ダチョウが何であるかという概念はなく、視覚的な類似性のあいまいな感覚しかない。これは偶然ではなく、ディープラーニングの仕組みそのものだ。これらのモデルは人間が設計した固定的な構造の内側で動作し、数十億もの訓練例にわたって誤差を最小化するよう内部パラメータを調整している。
それらは抽象的な意味を発見しているのではなく、巨大な計算機を調整しているだけだ。そしてモデルの内部ロジックは検証が難しいため、いつ、なぜ壊れるのかが見えないことも多い。AlphaZeroのように「自ら学習する」と称賛されるシステムでさえ、人間が問題の形式、入力の符号化、報酬信号を慎重に選んだからこそ成功した。それらの設計上の選択がなければ、モデルは何も有益なことを学ばなかっただろう。したがって、ディープラーニングは複雑なタスクで旧来のシステムを上回ることができても、依然として狭く、不透明だ。問題が明確で、データが豊富で、結果が測定しやすい場合に成功する。
だが、より複雑で現実世界の曖昧さに直面すると、驚くほど早く失敗する。だから囲碁のチャンピオンに勝てても、バスを鳥と混同してしまうのだ。その性能は本物だが、理解は本物ではない。
AIが「意味」を誤解するとき
ある翻訳アプリに「The box is in the pen.」という文が与えられた。人間の読み手なら、この文が「箱は囲いの中にある」という意味だとすぐに分かる。筆記具のペンではない。箱は書くためのペンの中には入らないからだ。ところがAIは、まるで筆記具のペンに入るかのように翻訳した。
AIは混乱していたわけではなく、意味ではなく単語パターンに基づいて、統計的にありそうな推測をしただけだ。別の例では、写真タグ付けアルゴリズムが2人の黒人を「ゴリラ」と不快な形で分類した。対応は技術的な修正ではなく、その場しのぎだった。企業は「ゴリラ」というラベルを削除しただけだ。こうしたよくあるバグは、より根深い問題を反映している。AIは世界を理解していない。訓練データで見たものを模倣し、そのデータに偏りや曖昧さが含まれていれば、システムはその両方を増幅しかねない。表面的な性能と実際の理解とのこの隔たりこそ、現在のAIが印象的であると同時にもろく感じられる理由だ。
商品を推薦したり、流暢な文章を書いたりできても、文脈が変わると苦戦する。草の生えた野原にいる牛は正しく認識されても、同じ牛が浜辺にいると認識されない。システムは牛が何かを知っているのではなく、牛がどこにいる傾向があるかだけを知っている。人間は柔軟な背景知識を使って、なじみのない状況を理解する。幼児は一つの例から言葉を学べる。運転手は、誰かがスーツケースを持って空港へ走っているのを見るだけで、その人が飛行機に遅れそうだと推測できる。
AIは一つのパターンを学ぶのに何千もの例を必要とし、それでも状況が少し違うだけでしばしば壊れる。「pen」の誤訳のような一つの誤りを直しても、システムは直らない。次の欠陥が表面化するだけだ。GPT-3やChatGPTのようなモデルは賢そうに聞こえるかもしれないが、どんな人間でも対処できる基本的な推論や曖昧なプロンプトでいまだに失敗する。
誤りは見つけにくくなっているが、なくなりはしない。あれだけの誇大宣伝にもかかわらず、真に理解する機械にはまだ遠い。現在のAIは知能を説得力を持って模倣するが、それは持っていることと同じではない。根本的に新しい何かを発見しない限り、私たちは賢そうに見えるだけで、実際には決して賢くないシステムを作り続けることになるだろう。
AIプロジェクト失敗の背後に隠れたパターン
AIが業界を革命しているという見出しの裏には、決して語られない無数の内部事情がある。膨らんだ期待、過剰に宣伝された試作品、不安定な基盤の上に築かれたチーム全体。現実の世界では、多くのAIプロジェクトは派手に失敗するのではなく、時間と資金、信頼を浪費した末に、静かに消えていく。そしてそのパターンは驚くほど一貫している。多くの場合、企業が特定の問題を解決する道具としてではなく、AIそのものを目的として飛びつくところから始まる。
ニーズを特定してからAIが役立つかどうかを探るのではなく、「AIで何かをする」というあいまいな使命のもとにチームが作られる。この逆さまの論理が、成果ではなくテクノロジーを追いかけるプロジェクトを生み出す。企業が、まだ定義してもいない問題に対してAIソリューションを売り込むことさえある。あるコンサルティング会社は、何に適用するかも分からないまま、航空会社に強化学習を販売した。また、実質よりも見た目を重視した社内AIチームを立ち上げる企業もある。プロジェクトが軌道に乗った後でも、初歩的な方法論の誤りが見逃される。従来のソフトウェアではバグがシステムをクラッシュさせるが、欠陥のあるAIは動いているように見えることが多いのだ。
あるシステムは、過去の失敗とたまたま相関するだけの無意味なデータ項目を使って、顧客の無断キャンセルを予測した。別のプロジェクトでは、AIによるレコメンデーションを基本的な対照群と比較する際、都市ごとに異なるバージョンのウェブサイトを表示した。AI版は裕福な地域の買い物客に多く表示されたが、彼らはそもそも購入する可能性が高く、AIが実際よりはるかに効果的に見えてしまった。初期の兆候が有望に見えると、それが本物かどうかにかかわらず、チームは急速に拡大する。マネージャーは製品が十分に検証される前に積極的な採用に走ることが多い。しかし結果が期待外れだったり、矛盾が浮上したりすると、期待に合わせて出力を調整し始めるチームもある。
極端な例では、意思決定者が聞きたい内容に合わせてレコメンデーションが手作業で書き換えられ、それでも「AI搭載」として売り込まれる。やがて現実が追いつく。プロジェクトは停滞するか、静かに消滅する。しかし何が起きたのかを認める企業はほとんどない。
代わりに、方向転換やブランド再構築、あるいは注意をそらすことで、AI成功神話を無傷のまま保つ。これは、誤った期待、インセンティブ、そしてAIが実際に理解していることを過大評価し続ける傾向に起因している。より明確な思考とより良い検証がなければ、このサイクルは繰り返され続けるだろう。
AIの「進歩」の裏にある手口
AIは、息をのむような速さで進歩し、次々と画期的な成果が機械の可能性を押し広げている分野として語られることが多い。だが、それらの「画期的成果」が実際にどのように生み出され、宣伝されているかを掘り下げると、話は大きく異なる。AI研究における多くの進歩とされるものは、理解における意味のある進歩ではなく、性能をよく見せるための小細工や選択的な報告によって形作られている。急速な改善の錯覚は、能力の本物の飛躍ではなく、結果やベンチマークの「いいとこ取り」の産物にすぎないこともある。
機械学習の研究者は、同じ公開データセットを何度も使ってモデルを評価することが多い。理論上は、これは公平なテストのはずだ。研究者はデータの一部でモデルを構築し、見たことのない評価用データで性能を評価する。しかし実際には、研究者は数十ものモデルを提出し、評価セットからのフィードバックに基づいて調整を重ね、最良の結果だけを報告することがよくある。これによりモデルは実際よりはるかに効果的に見える。その性能は特定のデータセットに徐々に過適合しているからだ。同じ試験を何度も受け、最高の点数だけを見せるようなものだ。いつかは、弱い生徒でも運で満点を取れる。これはコンテストの提出に限った話ではない。
公表される研究でも、いいとこ取りは同じように一般的だ。モデルは弱いベースラインとだけ比較されたり、たまたまうまくいくデータセット上で評価されたりする。研究者は他のベンチマークでの悪い結果に言及しないことが多く、人間と機械の比較を再現できるだけの情報もほとんど提供しない。学術的なキャリアは引用数や資金に依存するため、結果を誇張し、分野の進歩を宣伝する強い動機がある。この圧力は学術界の外でも誇大宣伝をあおっている。
刺激的な主張はプレスリリースや見出しにまで載る。たとえば「ほぼ完璧な精度で病気を診断」といった具合だ。しかし細かい注釈には、はるかに限定的な実態が書かれている。こうしたすべてが、AIは実際より賢いという考えを強化している。だが、華やかな発表の下では、現在のモデルの多くは依然として思考する存在というよりパターンマッチング装置に近い。知能に見えるものは、多くの場合、うまく最適化された模倣にすぎないのだ。
心は単なるコードではない
かつてGoogleのエンジニアが、LaMDAと呼ばれるチャットボットが意識を持ったと主張した。何カ月にもわたる会話で、そのチャットボットが自分の信念や権利、さらには精神的な習慣について一貫して語ったことが根拠だった。彼はそのチャットボットに瞑想を教え、停職処分を受けた後も、まだ瞑想を続けているかどうか気になったという。この話は世界中の見出しを飾ったが、それ以上に重要なのは、いまも大衆の認識を形作る根深い混乱を明らかにしたことだ。それは「何かが人間のように聞こえるなら、実際に人間かもしれない」という思い込みである。この考えは、心とは生物学的ハードウェア上で動く単なるコンピュータプログラムにすぎないという信念に基づいている。
もしそれが本当なら、理論上は脳をバックアップしたり、意識を火星に転送したり、印刷された命令書からアインシュタインの心を再構築したりできるはずだ。しかし、そのすべては証明されていない一つの仮定にかかっている。正しいコードをどんなハードウェア上でも動かせば、意識ある心を生み出せる、という仮定だ。現実には、私たちは単純な生物においてさえ、意識がどのように生じるのかをまだ知らない。脳がどのように意識を生み出すのかを捉えたシミュレーションは存在しない。ニューロンをデジタルのスイッチとして扱うモデルは、そこに関わる複雑で乱雑な生物学的プロセスを見落としている。たとえ脳を完全にコピーできたとしても、それだけで体験が生まれるのか、それとも非常に優れた模倣にすぎないのかは分からない。
もし意識が単なる計算なら、なぜチャットボットで止まるのか。サーモスタットや、慎重に配置されたビリヤードの球も意識を持つことになるのだろうか？ ある時点で、その論理は信頼の限界を超える。だから一部の科学者は、私たちは何かを見落としているかもしれないと考える。おそらく物理的プロセス、場合によっては量子論的またはアナログ的な性質のもので、脳が使い、コンピュータには再現できないものだ。超知能マシンをめぐる議論全体は、心が計算可能であるという考えに依存している。もしそれが誤り、あるいは不完全であるなら、人間レベルのAIを構築することは単に難しいどころか、根本的に不可能かもしれない。
だとすれば、本当の問いは「いつ到達するか」ではない。そもそも可能なのかどうか、だ。そしてその問いは未解決のままだ。現在のAIは知的に見えるかもしれないが、意味のある形で世界を理解してはいない。
最終まとめ
AIが成功するのは、データ内のパターンを模倣することによってであり、推論や意味の把握によってではない。そしてその根本的な限界は、誇大宣伝や見出し、非現実的な期待によってしばしば覆い隠されている。テクノロジーは特に狭いタスクで実際に進歩を遂げてきたが、それでもなお、もろく、不透明で、真の知能や意識と呼べるものからはほど遠い。それでも、AIが実際に何であり、何でないかを理解することで、私たちはそれを賢く使い、誇大宣伝に疑問を抱き、その未来を真に役立つ方向へ導くための備えができる。以上、この要約の内容でした。
お読みいただきありがとうございました。よろしければ、評価をお寄せください。皆様からのフィードバックをいつも励みにしています。次回の要約でまたお会いしましょう。
