ワインセラーの建設から生涯のパートナー探しまで、現代生活はますます数値解析とアルゴリズムに支配されています。『スーパークランチャーズ』(2007)は、アルゴリズムに入力される大規模データセットの絶大な力と、それらがビジネス、医療、さらには政府をも変革している方法について語る一冊です。
この本から得られるもの：数字の力に目覚めよう。
高度に接続された高速デジタル時代は、膨大なデータを生み出します。そのデータは時に私たちを圧倒しますが、熟練したデータ分析者の手にかかれば、私たちの生活とビジネスの在り方を一変させる力を発揮します。今日、専門家によって解釈された大規模データセットの裏付けなしに完結するプロジェクトはありません。
大組織、医療、ソーシャルワーク、さらには中小企業やスポーツエージェントに至るまで、一見無関係に見える物事の間の隠れたつながりを発見するためにデータ分析が活用されています。
この要約では、データ分析がいかに意思決定を促進する究極のスキルであるかを発見し、その多彩な活用法を紹介します。
また、以下のことも学びます。
- 良質なワインへの投資方法
- データ分析によるオークション詐欺の検出方法
- データセットが政策を形作る仕組み
スーパークランチングはワイン取引や野球など、幅広い分野で応用されている。
スーパークランチングはビデオゲームの用語のように聞こえるかもしれませんが、大規模データセットの統計分析を指す言葉であり、その応用範囲はほぼ無限です。まずは驚くべき例から見ていきましょう。
スーパークランチングは、ヴィンテージワインの将来の品質を予測するために活用できます。これはワイン業者にとって欠かせない知識です。
高品質の赤ワインは時とともにおいしくなるため投資対象になります。つまり、ワイン業者はワインの将来価値を予測できなければなりません。
経済学者でありワイン愛好家でもあるオーレイ・アッシュンフェルターは、天候とワイン価格の歴史的関係を分析することで、ボルドーワインの品質を正確に予測する方法を発見しました。
アッシュンフェルターは、冬の雨が1センチ増えるごとにワインの期待価格が0.00117ドル上昇することを突き止めました。彼の分析は非常に正確で、現在ワイン業者はそれを利用してどのワインをいくらで買うべきかを判断しています。
スーパークランチングは野球にも応用できます。野球ライターのビル・ジェームズは、アッシュンフェルターがワインで成し遂げたことを野球で実践しました。
ジェームズは、野球の専門家がただ選手を見るだけで才能を評価できるという前提に異議を唱えました。彼は、選手の過去の成績に基づくデータ分析の方が優れていると提唱しました。そして彼は正しかったのです！
従来のスカウト陣は、体重過多の有望選手ジェレミー・ブラウンにほとんど期待していませんでしたが、ジェームズの計算は別の結論を示していました。オークランド・アスレチックスは、ジェームズの過去の成績分析に基づいてブラウンと契約することを決断し、それは賢明な判断となりました。ジェレミー・ブラウンは2006年9月にメジャーデビューを果たしたのです。
回帰分析は未来の出来事を予測し、過去のパターンを解明するスーパークランチング手法である。
多くの人は統計学を味気ないものと感じています。しかし、統計学が真実の愛を見つけたり、詐欺を検出したりするのに役立つとしたらどうでしょうか？強力なスーパークランチング手法である回帰分析は、その両方を可能にします。
回帰分析とは、さまざまな要因が特定の関心のある変数にどのように影響するかを判定するために、過去のデータを評価する手法です。ワインや野球の例でその有効性が実証されました。さらに2つの応用例を詳しく見ていきましょう。
回帰分析は、将来の出来事を予測するために使用できます。例えば、恋愛関係になり得る相手との相性の予測です。デートサイトのeHarmonyは、回帰分析を用いて、どのユーザー同士が長続きするパートナーシップを築きそうかを判定しています。
eHarmonyにとって、変数は恋愛における相性であり、その変数は各人の感情的・社会的・認知的要因の多くから影響を受けます。eHarmonyは回帰分析を用いて、これらの要因が最も効果的に組み合わさる方程式を導き出します。過去にどの性格特性の組み合わせが最も相性が良かったかを評価し、そのデータを使って将来の相性を予測するのです。
これが、eHarmonyがどのユーザーと恋愛的に相性が良さそうかを非常に正確に統計分析できる仕組みです。
回帰分析は過去の出来事やパターンの分析にも使用できます。これは詐欺の検出に極めて重要です。
1990年代、詐欺師たちはニューヨークの公共建設プロジェクトの入札で新しい戦略を使い始めました。入札者はプロジェクトを完成させる最低価格で秘密入札を行い、その後、公開入札開示で最低入札額が明らかにされ、建設契約が授与される仕組みになっていました。
しかし詐欺師たちは賄賂を使って最低入札額を知り、その金額よりわずかに低い自分の入札を行うようになりました。最終的に、著者は入札データに回帰分析を適用することでこの不正を暴くことができました。
ランダム化試験は医療・ビジネス研究において非常に効果的なスーパークランチング・ツールである。
スーパークランチングは未来と過去の分析だけにとどまらず、医療とビジネスの世界も変えています。強力なスーパークランチング手法であるランダム化試験は、すでに医療研究とビジネス研究の形態を変えつつあります。
ランダム化試験は、医療行為が効果的かどうかを判定する上で極めて重要です。例えば、癌治療において化学療法が放射線治療より効果的かどうかを調べたいとしましょう。患者の食事、年齢、生活習慣など、さまざまな要因を制御する必要があるでしょう。そうしなければ、そうした小さな変数が研究結果に影響を与える可能性があります。例えば、化学療法治療群の喫煙者が放射線治療群よりも多い場合などです。
この問題を解決するには、おそらく大規模なランダム化研究を使用します。なぜなら、患者は2つの異なる治療群にランダムに割り当てられるからです。患者の喫煙習慣に関して言えば、グループが十分に大きければ、化学療法を受ける群と放射線治療を受ける群の両方にほぼ同じ割合の喫煙者が現れると信頼できます。つまりこの場合、ランダム化によって2つのグループが喫煙という点で「同一」になり、治療の効果をより確信を持って評価できるようになります。これが、ランダム化試験が医学研究において基本的なツールとなった理由です。
企業はランダム化試験をマーケティング戦略の決定にも活用できます。
あるウェブページのデザインが別のデザインより多くの顧客を引き付けるかどうかを、どうやって知ることができるでしょうか。Offermatica社は、ユーザーがページを訪れた際にランダムにどちらかのデザインを表示することで、その問いに答えるランダム化試験ソフトウェアを提供しています。
Offermaticaのソフトウェアは、どのページデザインがより多くのクリックを得ているか、どのデザインがより多くの購入を生み出しているかをリアルタイムで示します。このようなランダム化は、サイトのパフォーマンスを向上させ、どのマーケティング戦略が最も効果的かを判断するのに役立ちます。
政府やNGOはランダム化試験を利用して、どの政策を実施すべきかを決定できる。
社会に影響を与えたいですか？ランダム化実験を行いましょう！ランダム化試験は医療やビジネスにとどまらず、公共政策も変えています。
政治家はランダム化試験から得られたデータを利用して、どの政策を実施するかを決定できます。実際、政策実験はすでに多くの国で進行中です。
現在アメリカの5都市で実施されているMove to Opportunity実験は、その一例です。この実験は、低所得世帯が住宅バウチャー（中流階級の地域への転居を可能にする家賃補助）を受け取ることで利益を得るかどうかを政策立案者が判断するのに役立つよう設計されています。
研究者たちは、バウチャーの受給開始から10年間にわたって対象家族を追跡し、雇用、教育、健康、犯罪など彼らの生活の各側面にバウチャーが与える影響を測定します。
結果はまだ出ていませんが、この実験から生まれるデータは、家族をある地域から別の地域へ移住させることの利点について、政策立案者に貴重で具体的な情報を提供するでしょう。
ランダム化試験はグローバルな経済開発プロジェクトにも活用できます。例えば、MITの貧困アクションラボは、開発途上国で貧困と闘うためにランダム化試験を利用しています。
このラボは、公衆衛生対策やマイクロ融資など、開発途上国にとって極めて重要な課題について数十件のランダム化試験を実施してきました。NGOは小規模なランダム化パイロット研究を行うことで、同じ戦略をより大きな規模で実施する価値があるか、あるいは国全体に適用すべきかを判断できます。
ランダム化試験は、今日の世界における政治の運営方法を再形成しつつあります。
スーパークランチングは、人間は誰しも個人バイアスに悩まされるため、伝統的な専門家の判断よりも正確である。
スーパークランチングがすでに世界を再形成しつつある例を見てきましたが、このすべてにおいて人間はどのような役割を担っているのでしょうか。数式は、長年の経験と人間の直感を持つ従来の専門家よりも本当に多くのことを教えてくれるのでしょうか。
答えはイエスです。スーパークランチングは、ほぼすべてのケースで伝統的な専門知識を上回ります。
ポール・ミールという心理学者は、1954年に『臨床対統計的予測』という著書を出版し、この問題の調査を始めました。ミールは約20件の実証研究を調査し、「臨床」専門家の予測と比較的単純な統計モデルの予測を比較しました。統合失調症患者が電気ショック療法にどのように反応するか、囚人が仮釈放からどのような利益を得るかなど、幅広い予測を研究しました。
ミールは、人間の専門家による予測のどれも統計的モデルより優れていなかったことを発見しました。彼は2003年の死の前に、136件の人間対機械の研究を調査する同様の分析を完了しました。136件のうち、専門家が統計モデルよりもかなり正確だったのはわずか8件だけでした。
では、なぜ専門家はほぼすべての分野でスーパークランチングに劣っているのでしょうか。
それは、スーパークランチングが人間の分析より優れている理由が、すべての人間が個人的バイアスの影響を受けるためです。だから私たちは統計的に珍しい出来事により多くの注意を払い、より大きな重みを与えてしまうのです。例えば、殺人などの極端な死の確率を人々が組織的に過大評価するのは、メディアで殺人がセンセーショナルに扱われるためです。
ほとんどの人は、家に銃を置くことが子供を危険にさらすと思い込んでいますが、実はスイミングプールは銃よりも約100倍も子供の命を奪う可能性が高いのです。
ただし、伝統的な専門家が無意味になったわけではありません。彼らの役割が変わったというだけです。
スーパークランチングは伝統的な専門家の役割を変えるが、彼らを無用にするわけではない。
個人的な経験や直感に基づいて意思決定を行う多くの専門家は、スーパークランチングの台頭に脅威を感じています。結局のところ、それは彼らの仕事の価値を損なうように見えるからです。
スーパークランチングは実際に幅広い専門職を脅かしています。例えば、ローン担当者は今や完全に不要となっています。
銀行のローン担当者はかつてかなり地位の高い職種でした。ローン担当者は高い給与をもらい、誰がローンの資格があるかを決定する権限を持っていました。今日では、そのような決定は中央オフィスで統計アルゴリズムに基づいて行われています。
顧客の目を見て信頼関係を築くことは、彼らがローンを返済するかどうかを判断する上でそれほど正確な方法ではありません。統計方程式の方がはるかに優れています。この場合、人間の関与はもはや必要ないのです。
しかし、人間の専門家が無用というわけではありません。伝統的な専門知識を捨てるのではなく、スーパークランチングと組み合わせることで、さらに正確な予測と分析を生み出すことができるのです。
実際、伝統的な専門家はスーパークランチングによって生成されたデータを与えられると、はるかに良い決定を下すことができます。また、どの変数を統計分析に含めるべきかを決めるのは依然として専門家の役割です。スーパークランチングは仮説を数学的に検証することができますが、そもそもその仮説を立てるのは人間なのです。
いくつかの研究は、伝統的な専門知識は統計アルゴリズムと組み合わせたときに最も効果的であることを示唆しています。本質的に、専門家の意見は統計分析の信頼性を補強するために使われるべきであり、その逆ではありません。
まとめ
本書の主要なメッセージ：
大規模データセットを分析することで、現実世界の意思決定に意味のある指針を提供できます。統計は、感情や個人的バイアスに曇らされた人間の判断には到底できない方法で、未来を予測し過去を解明することができます。スーパークランチャーたちはすでに社会に革命を起こしており、伝統的な専門家はスーパークランチングに対抗するのではなく、共に働くよう適応しなければなりません。最終的に、統計は世界を理解し、すべての人のためにより良い方向に再形成するための強力なツールなのです。
実践的なアドバイス：
自分のデータを収集し、分析しましょう。
ますます多くの企業が、ランダム化試験を実行することで自社データを生成し始めています。これはデータ駆動型の意思決定に不可欠なツールです。遅れを取らないでください！例えば、2つの広告スローガンのどちらが顧客の注意を引くのにより効果的かを判断するには、それらを会社のウェブサイトにランダムに配置し、クリック率や訪問者がページに滞在する時間に関するデータを分析します。その情報は非常に貴重です。
さらなるおすすめ読書：『飴と鞭』イアン・エアーズ著
『飴と鞭』（2010年）は、行動・インセンティブ・自制心に関するバイブルです。その要約では、報酬、罰、そして自分自身への形式的なコミットメントを通じて悪習慣を良い習慣に置き換える方法を解説しています。減量、禁煙、退職後の貯蓄などの課題に取り組むために必要なスキルを身につけることができます。
