『シグナルとノイズ――予測の不可能性と可能性』は、今日の専門家による予測がなぜこれほどまでに見事に外れるのか、そして現実世界の現象をより正確に予測するためにどのような統計学や確率論のツールが適しているのかを解説します。
この本のポイント：データが多ければ予測が当たるとは限らない理由
「予測は非常に難しい。特に未来については」という、デンマークの物理学者ニールス・ボーアが言ったとされる言葉がある。実際、気象学、スポーツ賭博、政治など多彩な分野で専門家たちの予測記録が惨憺たるものであることからも、予測の難しさは明らかだ。
さらに問題なのは、過去のデータがその逆を示しているにもかかわらず、専門家は自分の予測の確かさにかなりの自信を持つ傾向があることだ。この要約では、経済発展を予測する難しさと、手元にある膨大なデータの中からごくわずかな重要な情報――すなわちシグナル――を見つけ出すことの難しさ、つまりノイズの問題について概説する。
経済学者は経済の予測も、自分の予測の確実性の見積りも苦手だ
その他、次のようなこともわかる。
- スーパーボウルの勝者をもとに30年間驚くほどの利益を上げられた理由
- マンモグラフィで陽性でも乳がんである確率が10％に過ぎない理由
- 株トレーダーが市場のバブルを気にしないのも当然である理由
今日は歩いて職場に行く？ それともバスに乗る？ 傘は持っていくべきか？ 私たちは日々の生活で、雨が降るか晴れるかといった未来の予測に基づいて判断を下している。だが予測は公の領域でもあふれている。株式市場のアナリスト、気象予報士、スポーツ解説者――いずれも予測を生業としている。特に優れた予測が期待されそうな分野が経済だ。個人、企業、国家にとって極めて重要な意味を持ち、データも山ほどある。中には400万もの経済指標を追跡している企業もある。しかし、その豊富さにもかかわらず、経済学者の予測実績は目を覆うばかりだ。
よく予測される経済指標、国内総生産（GDP）を例にとろう。まずGDP予測の第一の問題は、経済学者が「来年のGDPは2.7％伸びる」といった言い方をすることだ。実際にはそれは「GDP成長率は1.3％から4.2％の間に入る確率が90％」というような、幅のある予測区間から導き出された数字にすぎない。つまり単一の数字としての予測は誤解を招き、あたかも正確で確実なものかのような錯覚を与える。
さらに悪いことに、経済学者は予測区間を設定することすらあまり上手ではない。もし彼らの90％予測区間がおおむね正確なら、実際のGDPがその区間を外れるのは10回に1回程度になるはずだ。ところが、プロの予測者を対象にした調査によれば、1968年以降、予測が外れたケースはおよそ半数に上る。つまり経済学者は予測が下手なだけでなく、その確信度を著しく過大評価しているのである。GDP予測だけでなく、不況の予測となるとさらに悲惨だ。1990年代、世界中で起きた60の不況のうち、経済学者が1年前に予測できたのはわずか2つだけだった。控えめに言っても、経済予測は話半分に聞いておくくらいがちょうどいい。
経済予測がかくも難しいのは、複雑で動的なシステムだからだ
なぜ経済の予測はこれほど難しいのか？ きわめて単純だ。驚くほど多くの要因が複雑に絡み合って影響を及ぼすからである。台湾を襲った津波が、オクラホマで誰かが職を得るかどうかに影響を与えうる。その上、異なる経済要因の因果関係を解きほぐすのは頭の痛い作業だ。たとえば失業率は、景気の基調的な健全性の影響を受けると一般に考えられている。景気が良ければ企業は採用を増やすからだ。
しかし同時に、失業率は消費者が使えるお金の額に影響し、それが消費需要を左右し、ひいては経済全体の健全性にもはね返る。この例が示すのは、別の複雑化要因であるフィードバック・ループだ。企業の売上が伸びれば、それが新たな雇用を生む。すると労働者の可処分所得が増え、消費が拡大してさらに売上を押し上げる。さらに、多くの経済指標の意味をゆがめる外部要因もある。たとえば住宅価格の上昇は通常プラスの指標だが、それが政府の政策で人為的につり上げられたものなら話は別だ。
皮肉なことに、経済予測そのものが経済に影響を与える場合もある。人や企業がその予測に合わせて行動を変えるからだ。そして経済の状態が無数の要因に左右されるだけではない。予測を支える基盤そのものも絶えず変化している。まず、世界経済は常に進化しているため、これまで確かだとされてきた理論もあっという間に時代遅れになる。だが、それがいつ起きるかを正確に予測するのは不可能なので、破綻が明らかになるまでは既存の経験則に頼るほかない。
第二に、経済学者が過去や現在を理解するために使うデータソースは非常に信頼性が低く、常に改定の対象となる。たとえば、米国政府が発表した2008年第4四半期のGDPはわずか3.8％の落ち込みとされていたが、後に改定され、実に9％近いマイナスだったことが明らかになった。正確な予測を打ち出すのが難しいのも無理はない。
統計だけに頼る予測では不十分――依然として人間の分析が必要だ
前の見出しで述べたように、経済はあまりに多くの要因が複雑に絡み合う網の目であり、因果関係を定義するのが難しい。そのため多くの経済学者は、純粋に統計的なアプローチを試みている。つまり、どの原因がどの結果を生むのかを理解しようとするのではなく、膨大なデータをあさってパターンを見つけ出そうとするのだ。残念ながら、このアプローチには間違いの種がつきまとう。なぜなら偶然だけで何らかのパターンが浮かび上がることは避けられないからだ。
たとえば、1967年から1997年にかけて、スーパーボウルの勝者と経済動向には強い相関があるように見えた。30年のうち28年は、ナショナル・フットボール・リーグ出身のチームが勝つとその年の株価は上昇し、アメリカン・フットボール・リーグ出身のチームが勝つと株価は下落したのである。統計的に見れば、この関係が偶然である確率は470万分の1になる。ならば経済学者はフットボール観戦に力を入れるべきか？ 答えはノーだ。実際、この相関は完全な偶然であり、1998年以降はむしろ逆の傾向さえ見られる。400万を超える経済指標が追跡されていることを思えば、この種のまぐれの相関がいくつか現れるのは明らかだ。そしてそんな相関に頼って予測を行えば、いずれその偶然が終わる日に必ずしっぺ返しを食らう。
したがって、たとえテクノロジーを駆使して膨大なデータをふるいにかけるとしても、それでも人間が分析を行い、因果関係としてもっともらしいかどうかを吟味することが不可欠なのだ。しかし、このことに気づいている人は少ない。そうした人々はむしろ、より多くの情報や経済変数を予測材料に取り入れようとし、それが予測をより正確にすると信じている。ところが実際には、無駄な情報――すなわちノイズ――が増えるだけで、そのぶん有用な情報――シグナル――を隠れたノイズの中から見つけ出すのが難しくなるのである。
2008年の米国住宅バブルの崩壊を多くの専門家は予測できなかった
ここで視点を変えて、2008年の金融危機に至る道筋で犯された四つの予測の失敗に目を向けてみよう。まずは住宅バブルに関わるものからだ。第一の失敗は、住宅所有者、貸し手、ブローカー、格付け機関が抱いた過度に楽観的な信念――米国の住宅価格の急騰がいつまでも続くという思い込みである。過去、住宅価格の急騰が記録的な低貯蓄率と組み合わさったときには必ず暴落が起きていたという事実があるにもかかわらず、だ。では、なぜ誰もそれを見抜けなかったのか？
一因としておそらく言えるのは、ブームに沸く市場の中であまりに皆が儲けていたため、いったん立ち止まり、不況がすぐそこまで来ているのではないかと疑うことすらしなかったことだろう。第二の失敗は、格付け機関が債務担保証券（CDO）と呼ばれる金融商品のリスク評価で犯したものだ。CDOとは住宅ローン債権を束ねた商品で、住宅ローンを借りた人が返済を続ければ、CDOを保有する投資家は利益を得られる仕組みだった。CDOはまったく新しいタイプの金融商品だったため、格付け機関は個々の住宅ローンが債務不履行に陥るリスクに基づく統計モデルだけに頼らざるを得なかった。
残念ながら、この方法は大規模な住宅暴落が起こり、価格が全面的に下落する可能性を無視していた。その結果はもちろん破滅的だった。たとえば格付け会社スタンダード＆プアーズは、自らAAA格を付与したCDOがデフォルトする確率はわずか0.12％だと主張していたが、実際には約28％がデフォルトに陥ったのである。
米国政府と銀行の過剰な楽観も金融危機をあおった
前項に続き、2008年に始まった金融危機に拍車をかけた残り二つの予測の失敗を見ていこう。第三の予測の失敗は、アメリカの金融機関が犯したものだ。彼らは好景気に沸く市場で利益を追い求めるあまり、過剰なほどのレバレッジをかけて借金を膨らませ、投資を拡大させていった。投資銀行リーマン・ブラザーズを例にとろう。同行は、保有する金融ポジション33ドルに対し、自己資本がわずか1ドルしかない状態にまでレバレッジをかけていた。言い換えれば、ポートフォリオの価値がたった4％下落しただけで破綻の危機に直面したのである。
他の米国の大手銀行も同様に高いレバレッジ水準にあった。まるで業界全体が「不況などありえない」と信じ込んでいるかのようだった。もちろん、当時このレバレッジのおかげで莫大な利益が上がっていたから、不況の可能性を真剣に検討する気になった者はいなかった。第四の予測の失敗は、不況が襲来した後の米国政府によってなされた。2009年に政府の経済チームが景気刺激策を策定していたとき、彼らはこの不況を通常の景気後退と見なし、雇用指標が1～2年で回復するだろうと考えていた。しかし歴史が示すところによれば、金融危機に端を発した不況の場合、失業率は通常4～6年にわたって高止まりする。そして、この不況がまさにそうした危機によって引き起こされたことを考えれば、彼らはもっとよく知っているべきだったのだ。
この見通しの甘さにより、景気刺激策はまったく不十分なものになってしまった。次の見出しでは、こうした困難を克服するための主要な方法をいくつか見ていく。これまで見てきたように、予測には困難がつきまとう。
ベイズの定理を使えば、新しい情報に合わせて合理的に信念を更新できる
確率を見積もる際にそうした困難を克服する重要な方法の一つが、いわゆるベイジアン・アプローチの採用だ。これは18世紀のイギリスの牧師トーマス・ベイズの研究に基づく定理である。このアプローチは、新しい情報が得られるたびに、自分の信念を合理的な形で更新していくための数学的な枠組みを与えてくれる。信念がどう更新されるべきかの例として、こんなシナリオを考えてみよう。あなたは40代の女性で、乳がんを心配している。自分が乳がんである確率を予測したいと考えた。まず、調査によれば40代女性の約1.4％が乳がんを発症することを知る。これが事前確率、すなわち新しい情報を得る前に想定する確率だ。
そこで乳がんを発見できるマンモグラフィ検査を受けることにした。結果は陽性。ぞっとするが、これは何を意味するのだろう？ おそらくあなたが考えるほどではない。マンモグラフィは決して完璧な検査ではない。一方で、もし女性が実際に乳がんだったとしても、マンモグラフィで発見できるのは約75％のケースに過ぎない。他方、実際には乳がんでなくても、約10％の確率で陽性と判定される。これを踏まえ、ベイズの定理を用いると、マンモグラフィ陽性後に実際に乳がんである確率はどれほどか？ 驚くかもしれないが、その確率はわずか10％に過ぎない。しかも、これは臨床データによっても裏付けられている。
この意外さが浮き彫りにするのは、私たちがマンモグラフィの結果のような新しい情報と、もともと持っていた情報がどう相互作用するかについて、あまりよく直感的に理解していないということだ。具体的には、人は新しさに焦点を当てすぎ、マンモグラフィの結果を過剰に重視し、実際には乳がんの発症率がきわめて低いために、真の陽性例よりもはるかに多くの偽陽性例が生まれてしまうのを忘れてしまいがちなのである。ベイズの定理を用いることで、直近の情報を好むといった人間の先天的なバイアスを避ける助けになるのだ。
用心深く、細心で、多様な視点に立つ予測は、強気一辺倒の予測より優れている
より優れた予測を行うためのもう一つの鍵を理解するために、どんな人々が最も優れた予測を行うのか見てみよう。1987年、フィリップ・テトロックという心理学者で政治学者の人物が、政治や経済などのテーマについて多種多様な専門家たちが行った予測の記録を取り始めた。それらの予測の正確さと、専門家たちの性格や思考スタイルを分析したところ、テトロックは明確なパターンを見出し始めた。予測がより成功している人々は、多くの小さな知識の断片を統合しようとする戦略を用いる傾向があり、一方で成功率の低い人々は、一つの大きなアイデアや事実にしがみつくだけの傾向があったのである。
彼はこの二つのタイプを、ハリネズミとキツネと名づけた。ハリネズミは概して強気で自信たっぷりであり、世界が従う巨大で支配的な原理を発見したと主張する。ジークムント・フロイトと無意識の関係を思い起こせばいい。一方、キツネはより用心深く、細心であり、物事をさまざまな観点から熟考し、賛否を注意深く比較検討する。また、キツネはハリネズミよりも経験的な証拠やデータに頼りがちで、自らのイデオロギーや先入観を喜んで捨てて、データそのものに語らせる。もちろん、ハリネズミの自信の方がメディア受けははるかに良い。それゆえハリネズミの予測はキツネよりもはるかに大きな注目を集める傾向にある。しかし結局のところ、より良い予測を残したのはキツネの方だった。
実際、ハリネズミの予測は全体として、無作為に立てた予測よりほんのわずかしか良くなかった。どうやら、予測が上手な人は、単純で大きな真理に頼るのではなく、多種多様な要因を考慮に入れ、できるだけ多くの視点からそれらを比較検討することによって上手になっているようだ。これからの見出しでは、学んだことのいくつかを、予測が非常に難しいことで知られる分野でどのように活かし、より良い予測に結びつけるかを発見していく。
株式市場は効率的であることが多いため、出し抜くのが難しい
予測がきわめて難しい現象として悪名高いのが、株式市場の短期の動きだ。確かに長期的には、株式の平均価値は上昇する傾向にある。しかし、この情報は大半のトレーダーにはほとんど役に立たない。なぜなら彼らは「市場を出し抜きたい」と願っているからだ。そして、その願望の実現が見事なまでに難しいことは証明済みである。まず挙げられるのは、ある一人の人間が市場の動きをうまく予測するのが難しいという点だ。
実際に、ある研究では70人の経済学者が複数年にわたって株式市場の予測を行ったところ、彼らの予測を集約したものは常に、どの個人の予測よりも優れていた。この難しさは、投資信託やヘッジファンドを対象にした調査にも現れている。ある年に好成績を収めたファンドが、翌年も競合他社に勝てる確率が他より高かったわけではないという結果が出たのだ。明らかに、成功は単なるまぐれであり、市場を他よりもうまく読めるファンドはなかったのである。
なぜ市場を出し抜くのはこれほど難しいのか？ なぜなら株式市場は通常、非常に効率的だからだ。つまり、簡単で確実に勝てる手は存在しない。ほとんどの取引は、大手金融機関に代わって、極めて優秀で有能な人々によって行われており、彼らは膨大なデータと専門知識を武器にしている。つまり、ある銘柄の価格が割高か割安であれば、市場はただちにそれを修正するのだ。市場を出し抜く唯一の確実な方法は、誰も知らない情報を手に入れることである。そしてそのような優位をもたらす唯一の手段は、違法なインサイダー情報になりがちだ。興味深いことに、市場を出し抜くのが特に巧みな投資家集団の一つが米国連邦議会議員である。彼らの投資リターンは、市場全体のリターンを年間で5～10％も上回る傾向がある。
これは、彼らがロビイストを通じてインサイダー情報に触れる機会があるだけでなく、立法を通じて企業の事業見通しそのものに影響を与えられるという事情を考えれば、とりわけ注目に値する。次の見出しでは、市場が明らかに効率的でなくなる一つの領域を見ていこう。株式市場は通常効率的である傾向があるが、これはバブルが形成されるとき、つまり株式が過大評価されている状況では当てはまらない。
株価とPERに注目すれば、株式市場のバブルは予測できる
バブルを予測する確実な方法は存在しないが、いくつかの予兆はある。まず、明らかな手がかりとして、株価全般の急激な上昇が挙げられる。実際、S&P500種株価指数が長期平均の2倍のペースで5年間上昇した過去のケースを見ると、8回中5回が深刻な暴落に終わっている。第二の手がかりは、株式の株価収益率（PER）に目を光らせることだ。これは1株当たりの市場価格を、1株当たりの年間純利益で割ったものである。長期的に見て、市場全体のPERは15前後になる傾向がある。つまり、市場の平均PERがそれを大きく上回り、たとえば2000年のドットコム・バブル絶頂期のように30にも達していれば、バブルが形成されつつあるかなり良い兆候といえる。
しかし、なぜこうしたバブルが生じるのだろうか？ 投資家がそれを見抜いて売却し、価格を引き下げるべきではないのか？ ところが、よく考えてみれば、彼らがそうすべきでない理由がある。ご存じのとおり、ほとんどの機関投資家は自分の会社や顧客のために投資を行っている。好成績を上げれば巨額のボーナスを手にし、成績が悪ければ解雇されるかもしれない。だから、たとえバブルが形成されつつあるのを目の当たりにしても、市場が高騰を続けるかぎり買い続けてボーナスを享受し続けるのだ。やがて実際に暴落が起きたとしても、彼らが失うのは会社と顧客の金であり、自分の金ではない。ましてや、周りの同僚も皆同じ行動をとっているのだから、彼らだけがやり玉に挙げられて解雇されることはまずない。実際、ウォール街で起きた直近3度の大暴落の後でも、人員の約20％しか職を失っていない。つまり、バブルを無視しても、トレーダーには80％の確率で職が残るのである。
複雑な気候モデルよりシンプルなモデルの方がうまく機能することが多い
経済と同様に、気候も非常に複雑で相互に関連したシステムであり、モデル化して予測を行うのは極めて難しい。エルニーニョ現象や黒点など無数の要因を考慮に入れた非常に洗練されたモデルでさえ、見事な失敗を遂げてきた。たとえば、気候変動に関する政府間パネル（IPCC）は1990年の予測をそうした複雑なモデルに基づいて行い、今後100年間で世界の気温は2度から5度上昇し、3度上昇する可能性が最も高いと述べた。しかし、その後11年間の観測データは、これが完全に間違っていたことを示している。実際の上昇ペースは1世紀あたりわずか1.5度で、IPCCの予測の最も低い想定さえ下回っていた。気候科学者たち自身、モデル化がいかに難しいかを痛感している。人間活動による気候変動が起きていることにはほぼ全員が同意しているものの、自分たちのモデルの正確さや気候変動がもたらすであろう影響については、はるかに懐疑的なのだ。たとえば、気候変動による海面上昇のモデルが良い出来だと考えている科学者は、わずか19％に過ぎなかった。
つまり、大量のデータを用いた気候モデルは正確ではないようだ。だが、もっとシンプルなモデル――無数の変数というノイズではなく、シグナルだけに注意を払うモデル――を見つけることはできないだろうか？ 実は、大気中のCO2量こそが、そのシグナルであることがわかっている。現在および将来予測されるCO2水準だけに依拠した1980年代のシンプルなモデルは、後に登場したより複雑なモデルよりも、世界の気温変化を予測する点ではるかに良い仕事をするのだ。さらに、この関係は単なる統計上のまぐれではない。そこには理にかなった因果関係が存在するからだ。温室効果はすでによく確立された物理現象である。CO2のような温室効果ガスは大気中に蓄積し、熱を閉じ込める。残念ながら、正確な予測は解決策の一部に過ぎない。この流れを変えるには、各国が集団的な行動を起こす必要があるのだ。
テロ攻撃の予測と防止は難しいが、不可能ではない
誰もが9/11世界貿易センタービル攻撃に関する陰謀論を耳にしたことがあるだろう。この攻撃があまりにも明らかに予測可能だったため、米国政府が事前に知っていたに違いないと主張する人々もいる。たとえば、2001年7月にはアルカイダの活動活発化に関する警告が出ており、同年8月には、ボーイング747シミュレーターで操縦練習をさせてほしいという不審な依頼をしたことでイスラム原理主義者が逮捕されていた。また、以前にも民間ジェット機をビルに激突させるというテロ計画が発見されていた。
しかし、これらのシグナルが意味するところは、後知恵で振り返って初めて明らかになったに過ぎない。当時は、これらはすべて単なるノイズだった。なぜなら、テロ防止を任務とする治安機関は、こうした手がかりを何十万とふるいにかけねばならず、その大部分は空振りに終わるからだ。とはいえ、米国政府が今回の大規模攻撃にあれほど驚くべきではなかった。なぜだろうか？ データが示すところによれば、この種の攻撃は実際には予期されるべきものだからだ。テロ攻撃の頻度と深刻度は、クラウゼット曲線（Clauset’s curve）として知られるパターンに従う。基本的に、攻撃を死者数に基づいてグループ分けし、その発生頻度をプロットすると、非常に予測しやすい両対数の曲線が現れる。そこでは、攻撃が壊滅的になるほど頻度は低くなる。
クラウゼット曲線は、9/11規模の攻撃が約80年に一度しか起きないことを明確に示している。したがって政府はその可能性を受け入れておくべきだったのだ。良いニュースは、クラウゼット曲線が決して動かしがたいものではないらしいということだ。イスラエルは、小規模な攻撃を単なる犯罪に近いものとして扱い、大規模攻撃の防止にほぼ全努力を集中することで、クラウゼット曲線の上方部分を無効化するのに成功しているように見える。その結果、1979年以降、一度に200人を超える死者を出す攻撃は起きていない。このアプローチには、他国が学ぶべき何かが間違いなくある。
最終的なまとめ
本書の核心的メッセージ：多くの分野の専門家は実に驚くほど予測が下手でありながら、その正確さにあまりにも過剰な自信を示す。 彼らは皆、データをあさって相関関係を探しているが、データが加速度的に増え続ける現代では、いずれしっぺ返しを食らう偶然のパターンにたどり着くのは必然である。
