『Calling Bullshit』（2020年）は、私たちの周りにあふれる膨大な「でたらめ」を乗り切るためのガイドブックです。データや科学的手法がどのように操作されるかに敏感になることで、でたらめを見かけたときにそれを指摘できるようになります。
この要約から得られることは？ でたらめを見破る方法を学びましょう。
現代では、私たちは常に情報を与えられ続けています。携帯電話、仕事、ニュース、あらゆる場所で。しかし、与えられる情報の多くは、残念ながら「でたらめ」です。それを意識していても、どう対処すればいいのか分かりづらいものです。
嘘は野火のように広がり、それを指摘するのは非常に難しい。しかし、私たちは皆努力しなければなりません。この要約では、特に科学と統計に焦点を当てて、世の中に溢れる最も一般的なでたらめのいくつかを学び、懐疑主義という繊細な技を実践する方法を発見します。この要約で学べること：
- 犯罪者の頭の形は本当に一般の人と違うのか？
- 住宅価格の上昇が出生率の低下につながらない理由
- なぜ科学の出版には選択バイアスがつきものなのか
誰もがでたらめの危険性に警戒する必要がある
1998年、医学誌『ランセット』は、イギリスの医師アンドリュー・ウェイクフィールドが共同執筆した研究を掲載しました。それは、広く使用されているMMRワクチンと自閉症の間に関連があるかもしれないと主張するものでした。しかし、実際には関連はありませんでした。その後の複数の研究では全く関連性が見つからず、ウェイクフィールドの研究には重大な欠陥があることが判明しました。
ランセットは2010年にその論文を撤回しました。今では、史上最も徹底的に信用を失った研究の一つとされています。それはまさにでたらめでした。しかし、その影響は計り知れません。反ワクチン運動は依然として盛んで、米国ではワクチン接種率が以前よりも低下し、麻疹の症例は増加しています。悲しい真実は、人にでたらめを信じさせることは、考えを変えさせるよりもはるかに簡単だということです。
しかし、私たちには努力する義務があります。ここでの重要なメッセージは：誰もがでたらめの危険性に警戒する必要があるということです。でたらめは現代だけの現象ではありません。古代ギリシャでは、プラトンがライバルの哲学派であるソフィストたちを、でたらめを扱っていると非難しました。彼は、彼らは真実ではなく、議論に勝つことだけに関心があると言いました。しかし、21世紀はでたらめにとって特に肥沃な繁殖地を提供しています。
今日、でたらめは、ウェイクフィールドのワクチン研究のように、厳密に科学に基づいていると主張することがよくあります。あるいは、写真のように一見反論の余地のない証拠を使います。2013年のボストンマラソン爆破事件の後に出回った話を覚えているかもしれません。その話は、サンディフック小学校の8歳の少女が死亡したと主張していました。走っている彼女の写真さえありました。この話はソーシャルメディアで9万2000人以上にシェアされました。お察しの通り、それは嘘でした。
写真の少女はレースにさえ出場していなかったのです。子供には開放されていませんでした。しかし、その話はあまりにも魅力的で、シェアせずにはいられませんでした。これは、ソーシャルメディアのような現代のテクノロジーが、いかにでたらめを助長するかの一例にすぎません。1998年にワクチン研究のようないいかげんな情報がこれほど広く広まったのなら、ツイッターの時代にはどれほどの害が生じるか想像してみてください。超党派的なニュースネットワーク、フェイクニュースを大量生産する工場、画像操作の容易さも加えると、まさにでたらめの危機的状況です。私たちは今すぐ行動を起こす必要があります。
でたらめを言う人は、証拠にあまり関心を持たずに、何かを真実だと信じ込ませようとする
でたらめを反証する方法に入る前に、簡単な質問をしてみましょう。でたらめとは一体何でしょうか？著者たちによれば、でたらめは人を感心させたり説得させようとする決意から生まれます。でたらめを言う人は、真実を語っているかどうかよりも、議論に勝つことの方に関心があります。
現代のでたらめ師が自由に使える主な道具は、言葉、統計、グラフィックです。そして、それらを使って圧倒的な量の情報で聴衆を攻撃します。嘘は単に事実ではないものである可能性がありますが、でたらめは可能な限り真実に見えるように飾り立てられます。ここでの重要なメッセージ：でたらめを言う人は、証拠にあまり関心を持たずに、何かを真実だと信じ込ませようとします。古典的なでたらめの手法の一つは、科学社会学者のブリュノ・ラトゥールがブラックボックスと呼んだものを利用することです。次のように考えてください。データを集め、それをアルゴリズムのような複雑な科学プロセスに通します。そのプロセスがブラックボックスであり、そこから出てくるものは客観的事実として扱われる傾向があります。
しかし、ここで注意すべき点があります。ブラックボックスがどのようにデータを処理するかの詳細に立ち入らなくても、批判すべき点はたいてい多くあります。まず第一に、実際にどんなデータが使われているかを常に確認しましょう。例を挙げましょう。2016年のある実験は、犯罪者と非犯罪者では頭の形が異なり、アルゴリズムがそれを証明したと主張しました。その結果によれば、犯罪者と非犯罪者の間には、鼻と口の角度や唇のカーブにわずかな違いがありました。しかし、巻き尺を取り出す前に考えてみてください。その研究では、犯罪者の写真はすべて政府発行の身分証明書の写真でしたが、非犯罪者はプロの顔写真でした。おそらく、人々が身分証明書の写真よりもプロの顔写真で笑顔になる可能性が高いことに気づくのに、超複雑なアルゴリズムは必要ないでしょう。言い換えれば、この研究で使われたデータセットは無価値であり、結果も同様でした。アルゴリズムのブラックボックスを開けなくても、その研究を論破することは可能です。
研究の著者たちは、人を騙そうとしたのでしょうか？おそらく違います。しかし、彼らは仮説を証明することにあまりにも夢中で、使っているデータに欠陥があるという事実を見過ごしてしまったのです。その結果は？ご想像の通り。まさにでたらめです。
相関関係は因果関係を意味しない
すべてのいいかげんな科学研究が驚くべき結果を生むわけではありません。実際には、非常に明白な結果を生むものもあります。例えば、大学生を対象とした最近の研究では、ポジティブな自尊心と大学入学前にファーストキスを経験していることの間に相関関係が見られました。しかし、その結果は実際に何を証明しているのでしょうか？生まれつき自信のある人は若いうちにキスを始めるという意味でしょうか？それとも、ファーストキスが自尊心を高める原因なのでしょうか？ちょっと待って、そもそもなぜキスの話をしているのでしょうか？恋愛関係の役割は？キスも高い自尊心も、恋愛関係にあることの結果である可能性はないのでしょうか？もちろん、この研究結果は明白です。
しかし、相関関係を示していても、なぜこれらの二つが結びついているのかについては何も教えてくれません。ここでの重要なメッセージは：相関関係は因果関係を意味しない、です。これは、メディアが拡散に大きな役割を果たす、でたらめの一形態です。統計的な研究では、二つの事柄の間の因果関係をほのめかさないように細心の注意を払うこともありますが、その研究が新聞に載ると、そうした微妙なニュアンスが失われがちです。2018年の不動産サイトZillowのレポートがその例です。それによると、住宅価格が上昇している都市では、20代後半の女性の出生率が低い傾向にあることが示されました。しかし、同レポートが指摘しているように、一方の傾向が必ずしも他方を引き起こしたわけではありません。例えば、お金やキャリア形成に対する潜在的な懸念が、住宅と子育ての両方の決定に影響を与えているかもしれません。単に子供を持つ時期を遅らせる計画だった可能性もあります。この研究では30歳以上の女性は考慮されていませんでした。Zillowのレポートは答えを提供したわけではなく、単に相関関係を説明しただけでした。しかし、報道陣がこれを取り上げると、彼らはあまり慎重ではなくなりました。記事は「原因」や「効果」といった言葉を使い、高い住宅価格が特に若い女性の子供を少なくしていると示唆しました。元の研究はでたらめではありませんでしたが、それについての報道はでたらめでした。また、相関関係がまったく何の興味深いことも教えてくれない場合もあることを覚えておく価値があります。自閉症の有病率をオーガニック食品の売上高に対してプロットすると、非常に密接な相関関係が見られます。両方の線は近年かなり急激に上昇しています。しかし、関連性を示唆するのは馬鹿げています。それらは単に時間の経過とともに増加した二つの事柄にすぎません。
数字に何でも言わせるのは不安になるほど簡単だ
ある晩、著者の一人であるカールは、ホテルのロビーで温かい飲み物が必要になりました。彼はココアのパックを手に取りました。就寝前にカフェインを摂りたくなかったので、カールはパッケージを確認し、「99.9%カフェインフリー」と書いてあるのを読んで喜びました。しかし、少し考えてみると、スターバックスのコーヒーには20オンスあたり415ミリグラムのカフェインが含まれており、標準的なカップでは約0.075%のカフェインということになります。つまり、コーヒー自体が99.9%カフェインフリーなのです。ですから、ホットココアのパッケージにそんなことが書いてあっても、大した主張ではありません。
ここでの重要なメッセージ：数字に何でも言わせるのは不安になるほど簡単だ。すべての例が一杯のホットココアのように無害なわけではありません。2017年、ウェブサイトのブライトバートは、DACA（未成年時に不法入国し恩赦を受けた人々）の資格を持つ2,139人が犯罪で有罪判決を受けたり起訴されたりしたと報じました。しかし、それは合計70万人のうちの話で、300人に1人未満です。米国市民が現在収監されている確率は、DACA受給者が犯罪で起訴される確率の2倍あります。しかし、2,139という数字は確かに恐ろしく聞こえます。数字を使うかパーセンテージを使うかを選ぶことで、問題の規模を大きく見せたり小さく見せたりできるのです。そして、パーセンテージの増加について話すときも同じことができます。ランセット誌のプレスリリースによると、毎日アルコール飲料を一杯も飲まない場合と比べて、一杯飲むとアルコール関連の健康問題を発症するリスクが0.5パーセント増加するそうです。かなり深刻に聞こえます。しかし、そもそもこれらのアルコール関連問題の有病率はどれほどでしょうか？それらは、飲酒しない人のわずか1パーセントに発生します。ですから、0.5パーセントの増加でリスクは1.005パーセントになります。パーセンテージの差とパーセンテージポイントの差の違いを覚えておくことが極めて重要です。この例では、0.5のパーセンテージの差は大きく見えましたが、パーセンテージポイントの差はわずか0.005でした。言い換えれば、人は嘘をつかなくても数字を使ってでたらめを生み出すことができるのです。それらを正しい方法で提示するか、間違った方法で提示するかが、大きな影響を与える可能性があります。ですから、常に警戒しておくことが重要なのです。
テストに使うデータが中立でない場合、結果には選択バイアスが現れる
統計は私たちの身の回りにあふれています。しかし、それらはどこから来るのでしょうか？ 例えば、オランダ人男性が世界で最も背が高いと、どうしてわかるのでしょうか？ 多くの場合、使われるデータはサンプルにすぎません。オランダでは、すべての男性を測定したわけではなく、人口全体からのサンプルを測定したにすぎません。しかし、もしそのサンプルにバスケットボールチームが含まれていたらどうでしょう？あるいは、オーガニックマーケットに行って人々の政治的な意見を尋ねると想像してみてください。おそらく、人口を代表するサンプルは得られず、リベラル派が不釣り合いに多く見つかるでしょう。これは選択バイアスと呼ばれ、統計学における深刻な問題です。ここでの重要なメッセージ：テストに使うデータが中立でない場合、結果には選択バイアスが現れます。
選択バイアスがもたらし得る奇妙な効果を示す例を挙げましょう。「イケメンはクズ」は本当か嘘か？ 実際には相関関係がないと仮定しましょう。グラフに魅力を優しさに対してプロットすると、点はランダムに分布します。しかし、そのグラフ上のいくつかの点は、あなたが決してデートしようとは思わない男性たちです。そこで、完全なクズ全員と、非常に魅力がないと思う人全員を除外すると、基本的に直線の片側にあるすべての点を取り除くことができます。今残っている点は、サンプルを調整した方法のために相関関係を示すでしょう。ですから、一般的にイケメンはクズではないけれども、あなたがデートを考えてもいいと思う人たちの中では、その方向の傾向があるのです。それは残念な人生の事実ですが、でたらめではありません。
しかし、次の例はまさにそうです。ほぼすべての自動車保険会社は、自社に切り替えると年間平均500ドルといった高い金額を節約できると主張しています。それがいかにして可能なのでしょうか？ 実際に切り替える手間をかけるのは、そうすることでかなりのお金を節約できる人だけです。そうでなければ、そのままにしておくでしょう。必然的に、500ドルという数字には代表性のないサンプルしか含まれていません。臨床試験では、この問題はデータ打ち切りとして知られています。副作用を経験した場合、新薬の臨床試験から脱落する人がいるため、その経験はデータに記録されません。非ランダムな人々の選択が実験から脱落すると、結果に偏りが生じるのは避けられません。真にランダムなサンプルは、想像以上に入手が困難です。なぜなら、選択バイアスは至るところにあるからです。これこそが、耳にする統計について注意深く考える必要があるもう一つの理由です。
ビッグデータや機械学習に惑わされるな――基になるデータは依然として健全でなければならない
現代のテクノロジーを使って、グラフィックデザイナーは精巧で時に馬鹿げた図を作成できます。例えば、雄羊の角の形に合うように作られたヤギに関するチャートや、聖書の書物や音楽ジャンルの「地下鉄路線図」などです。そうしたものは、単に何かについてのいくつかの事実や要点を挙げる楽しい方法を提供するだけかもしれません。しかし、それは従来型のグラフが自動的に、より真剣で正確であるという意味ではありません。棒グラフを見るときは、常にy軸がゼロまでずっと下がっていることを確認してください。そうでなければ、物事を正しい比率で見ることができません。テクノロジーが私たちに提示するもう一つの問題は、研究が必ずしも強固な基盤の上に構築されているとは限らないビッグデータの台頭です。ここでの重要なメッセージ：ビッグデータや機械学習に惑わされるな――基になるデータは依然として健全でなければなりません。
「ビッグデータ」と呼ばれる巨大なデータセットは、顔認識から株式取引まで何でも自己学習する神秘的なアルゴリズムに投入される傾向があります。これは機械学習として知られており、先に話した神秘的で不可解な「ブラックボックス」の好例です。顔に基づいて犯罪者を特定したとされるアルゴリズムという、機械学習がでたらめを生み出す例はすでに見ました。他の例はさらに馬鹿げています。ある機械は、心臓や肺の問題がある画像を選び出せることを期待して胸部X線写真を与えられました。それは正しく選び出しましたが、健康でない胸部のスキャンには隅に何らかのテキストが印刷されている傾向があることに気づいたからにすぎません。与えられた健康でないスキャンはすべて、特定の一台の機械で撮影されたものだったのです。他のスキャンでテストすると、うまくいきませんでした。別の例は、より大規模に失敗しました。2008年、グーグルは「インフルエンザの症状」や「薬局」といった言葉の検索に基づいて、米国内でインフルエンザがどのように移動するかを予測することを目指して、グーグル・フルートレンドの開発を始めました。グーグルのアルゴリズムは、結局、「高校バスケットボール」のようなインフルエンザとは明らかに無関係な言葉を探すようになりました。単にそれらの検索も冬にピークを迎えるからです。そして、時間の経過とともに、そのインフルエンザ予測はますます悪化しました。過去を振り返ると、このアルゴリズムはインフルエンザのトレンドと他の要因との相関関係を見つけることができました。しかし、ご存知の通り、相関関係は因果関係を意味しません。ですから、将来を見通そうとしたとき、それは完全に失敗しました。機械学習の可能性はかなりのものです。しかし、それがただでたらめを生み出しているにすぎないと見分けるには、人間が必要なこともあるのです。
現代科学の不完全さゆえに、でたらめは至る所に入り込む
科学の素晴らしい点の一つは、自己修正することです。ある研究が興味深い結果を見つければ、他の研究者がそれを再現しようと試み、問題点を解決しながら徐々に進歩していきます。つまり、絶対的な科学的真実など実際には存在しないということです。科学とはむしろ、これまでに行われたすべての実験の単なる蓄積です。実際、今日の科学システムは問題だらけです。例えば、どの研究が学術誌に掲載される傾向があるか考えてみてください。通常、それは肯定的な結果を示すものです。しかし、同じことを証明しようとした他の10の研究がすでにあって、すべて失敗していたらどうでしょう？ そうした知見は、しばしば全く報告されません。言い換えれば、科学出版は選択バイアスの影響を受けているのです。そしてこれは、でたらめが現代の科学システムに組み込まれている、一つの方法にすぎません。
ここでの重要なメッセージ：現代科学の不完全さゆえに、でたらめは至る所に入り込みます。経験則として、科学者はある相関関係がp値0.05以下であれば、統計的に有意であると受け入れる傾向があります。これは、その相関関係が偶然の結果である可能性が5％未満であることを意味します。もっともらしく聞こえますよね？ しかし、グッドハートの法則について考えてみる価値があります。これは、ある指標が目標になると、人々がそこに到達するためにシステムを不正操作しようとするため、それは効果的でなくなるというものです。悲しいことに、科学者も例外ではありません。すでに見たように、数字を操って自分の望むことを言わせるのは簡単です。実験結果を選択的に扱うことで、p値0.05以下を人為的に作り出すことは、往々にしてかなり簡単です。これはpハッキングと呼ばれ、広く行われています。もう一つの大きな問題は、物事がメディアでどのように報じられるか、あるいはそもそも報じられるかどうかです。科学研究のごく一部しか報道されず、必然的に、最も見出しになる研究が取り上げられます。ですから、もちろん選択バイアスがたっぷりあります。学術誌内部にも問題があります。あまり評価の高くない学術誌は、著者がお金を払うなら、出版する内容についてあまり選り好みしない傾向があります。ありがたいことに、それは科学的でたらめを見つけるための比較的簡単な方法を一つ生み出します。小さな学術誌で大きな主張がなされているのを見たら、疑ってかかることです。その結果に何か信頼できる点があれば、研究者たちはもっと良い場所に出版していたであろうと考えて間違いありません。
いくつかの簡単なテクニックで、でたらめとの戦いに備えることができる
ジャーナリストはすべてを正しく理解するわけではありません。特に科学について報道する場合はそうです。しかし、彼らの習慣の一つはよく覚えておく価値があります。何かが真実かどうかを見極めようとするときは、ジャーナリストがするように三つの質問をしてみてください。この情報の背後にいるのは誰か？彼らはどうやってその情報を入手したのか？そして、彼らは何を売ろうとしているのか？これがでたらめを見分ける唯一の方法ではありませんが、始めるには素晴らしい方法です。ここでの重要なメッセージ：いくつかの簡単なテクニックで、でたらめとの戦いに備えることができます。
「うますぎる話には裏がある」という表現をご存知ですか？ ほとんどの場合、それはほぼ的確です。どうもありそうにないと思える話を聞いたら、それがでたらめである可能性は十分にあります。あることがどれくらいありそうかを判断する素晴らしい方法の一つは、フェルミ推定を行うことです。これは頭の中でできる非常に大まかな概算で、規模の点で何かがおおよそ正しいかどうかを教えてくれます。誰かが英国には12万1千人のジョン・スミスがいると言ったとします。簡単にファクトチェックしてみましょう。英国の人口は何人でしょうか？ 1千万人以上ですが、10億人未満です。そこで1億人としましょう。そのうちの何人がジョンという名前でしょうか？ 10人に1人未満ですが、確かに1000人に1人以上はいるでしょう。そこで100人に1人としましょう。スミスという姓の人もおそらく同じくらいでしょう。そうすると、ジョン・スミスの人数は1億を100で割り、さらに100で割って、1万人になります。それはあまり正確ではありませんが、12万1千人がでたらめであることを明らかにするには十分です。
でたらめに対抗するもう一つのヒントは、確証バイアスに注意することです。これは、自分がすでに考えていることを確認する情報を信じる傾向です。私たちは皆、時々これに陥ります。ですから、気に入った話には特に注意を払いましょう。相関関係と因果関係も忘れずに。ある傾向が別の傾向を「引き起こした」と読んだら、特に懐疑的になってください。それぞれに全く別の理由があるかもしれません。そして最後に：ツイッターのような信頼できないオンラインソースから見つけた情報には、特に注意しましょう。でたらめを見つけたらどうしますか？ それを指摘しましょう。しかし、著者たちはそうする際には礼儀正しくするよう求めています。結局のところ、私たちは皆間違いを犯します。さらに、礼儀正しく接すれば、相手の考えを変えられる可能性がはるかに高まります。でたらめとは、真実をあまり気にせずに人に何かを信じ込ませる、あまりにもありふれた技術なのです。
最終的なまとめ
ソーシャルメディアとビッグデータの現代社会では、騙されないよう特に注意する必要があります。相関関係は因果関係を意味しないことを理解し、伝えられる数字が文脈で本当に何を意味するのかを考え、データセットの価値に懐疑的になることで、事実とでたらめを見分ける力をより良く備えることができます。実践的なアドバイス：正しい事実をもってでたらめを指摘しましょう。 単にでたらめを見分けるだけでは不十分です。でたらめを見たときにそれを指摘するのは私たち全員の役目であり、そうすることで、いかに頻繁にインチキ統計に騙されているかを、より多くの人が認識できるようになります。しかし、これを行う際には、正しい事実を把握していることが極めて重要です。ですから、誰かを問いただす前に、正しい数字を手元に用意していることを確認してください。そして、もし間違いを犯したら、それを認めましょう。さもなければ、あなたもまた、でたらめを言う人になってしまいます。
