『誰もが嘘をついている』（2017年）は、コンピュータとインターネットを通じて膨大な量が収集されるデータについての本である。このデータは、人間の心理、行動、奇妙な癖についての興味深い情報を明らかにするのに役立つ。なぜなら、結局のところ、人は自分の本当の希望や欲求を他人に伝えることを、必ずしも望んでいるわけではないからだ。
ビッグデータのカーテンの裏に隠された真実を知る
現実を直視しよう。どれだけ自分自身や周囲に対して誠実だと主張しても、私たちは多かれ少なかれ嘘をついている。ライフスタイルに関するアンケートで自分の善意を誇張したり、誰も見ていないときにやっている奇妙なことの全貌を語らなかったりと、誰もが日々の生活で少しばかりのごまかしを行っている。
しかし、Google検索などを通じて収集されるますます膨大なデータによって、私たちは表面の下に潜り、真実を見ることができる。人間の存在の無数の側面に関する想像を絶するほど大量のデータの蓄積——総称してビッグデータと呼ばれる情報のプール——によって、私たちの行動の示唆的なパターンを分析し、これまで知らなかった嗜好を特定することが可能になった。この要約では、健康状態の報告から、人間の奇妙な癖の暴露、無限のランダム化比較実験の実施まで、ビッグデータが提供するものについて学んでいく。さらに、以下のことも発見できる：
- 一部の女性がリンゴを使う性的嗜好とは何か
- ビッグデータが明らかにする、アメリカンドリームが今も生き続ける都市
- ビッグデータを自殺防止に使うべきかどうか
データサイエンスはあなたが思うより直感的だ
ビッグデータという言葉は聞いたことがあるだろうが、一体何なのか？ヒントは名前に隠されている。ビッグデータとは、膨大な量のデータを指す。実際、人間の頭ではほとんど理解できないほどの膨大な量だ。
言い換えれば、ビッグデータとは、パターンを認識するために計算能力が必要とされるデータのことである。しかし逆説的なことに、その驚異的な規模にもかかわらず、データサイエンスには直感的な側面がある。考えてみれば、私たちは皆、ある意味でデータサイエンティストなのだ。著者は祖母を例に挙げる。ある感謝祭の日、彼女は著者にとって理想のパートナーはどのような人かについて持論を述べ始めた——少なくとも彼女の考えでは！そのパートナーは、賢く、親切で、面白く、社交的で、きれいである必要があった（ただしスーパーモデルである必要はない）。
88歳の祖母は、数多くの恋愛関係が始まっては終わるのを見てきた。彼女は長年の情報とデータの蓄積を活用して、成功する関係に不可欠と考えられる特徴を明確に述べていたのだ。彼女は情報を使ってパターンを見つけ、特定の変数が互いにどのように影響するかを予測していた——まさにデータサイエンティストがするように。しかし、データサイエンスが直感的なプロセスであるとはいえ、直感そのものは科学ではない。だからこそ、収集したデータを正しく活用することが、自分の世界観を洗練させるために不可欠なのだ。データは、初期の直感を裏付けたり反駁したりするための材料を提供してくれる。
データは、個人的な経験だけでは決して得られない、より正確なパターンや予測を特定するのに役立つ。祖母の話に戻ると、彼女はパートナー同士に共通の友人がいる場合、関係が長続きすると確信していた。この考えは彼女自身の経験に基づいていた。彼女と夫はニューヨークのクイーンズで友人たちと多くの夜を過ごしてきたのだ。しかし実際には、彼女のサンプルサイズは小さすぎ、ハードデータは彼女が間違っていたことを示唆している。
ラース・バックストロムとジョン・クラインバーグによる2014年の研究は、Facebookのデータに基づき、共通の友人が多いカップルほど、交際ステータスを「交際中」から「独身」に変更する可能性が高いことを示した。これは、直感は私たちをそこそこ遠くまで連れて行ってくれるかもしれないが、データはどんなに直感的な人であってもその視点を洗練させることを示している。データサイエンスは有用なツールなのだ。
Googleは、ビッグデータが絶えず新しい情報を提供できる好例である
しかし、Googleを特別なものにしているのは、収集されたデータの量ではなく、そのデータが有用であるという点だ。言い換えれば、パターンを明らかにしたり予測を行ったりできる種類のデータなのだ。Googleはその好例である。ラリー・ペイジとセルゲイ・ブリンが1998年に設立した検索エンジンがこれほど巨大になったのは、単に大量のデータを収集できたからではない。むしろ、Googleを際立たせたのは、収集されたデータを効率的に使用できたという点だった。
Google以前、検索エンジンに「ビル・クリントン」と入力すると、そのフレーズが最も頻繁に登場するウェブサイトがただ表示されるだけだった。無関係なヒットが大量に返ってくることもよくあった。ブリンとペイジのアルゴリズムは異なる働きをした。彼らは、他のサイトからユーザーを誘導するリンクが多ければ多いほど、そのウェブサイトはユーザーにとって関連性が高い可能性が高いことを見出した。つまり、ビル・クリントンのホワイトハウス公式サイトは、何千ものリンクの対象となっていたため、たとえ彼の名前をより頻繁に言及しているとしても、リンクが百個しかないサイトよりも有用だったのだ。彼らはリンクに関するすべてのデータを集約し、パターンを見つけ、ユーザーに最も関連性の高い情報を予測することができた。
以下では、ビッグデータがこれほど強力である4つの理由を説明する。Googleのアプローチは、第一の理由の好例である：ビッグデータは全く新しいものだということ。それは、絶え間ない新しい情報の流れを私たちに提供する。ビッグデータ以前は、現在の失業率を知るのに、労働統計局が電話調査によってデータを収集し計算するのを待たなければならなかった。また、特定の病気の感染率を知るには、疾病予防管理センターの報告を待たなければならなかった。しかし今では、Googleのビッグデータを使って両方を追跡できる可能性がある——そしてそれはまさにGoogleのエンジニア、ジェレミー・ギンズバーグが行ったことだ。彼は「インフルエンザ症状」などのインフルエンザ関連のGoogle検索が、インフルエンザの蔓延を示し、地理的領域と時間の経過にわたって病気の広がりを追跡するために使用できることを示した。
ビッグデータは嘘をつかない
最近、メリーランド大学の卒業生に成績平均点（GPA）についての調査が行われた。回答者のうち2パーセントが、4段階評価で2.5未満のGPAで卒業したことを認めた。しかし、公式記録によれば、その数字ははるかに高く、11パーセントだった。
これは一例に過ぎないが、調査にまつわる普遍的な真実を示している：人は嘘をつくのだ。しかし、なぜだろうか？自分自身にも他人にも良く見られたいと思うのは自然なことだ。だから人々は、自分をより肯定的に見せるために回答を調整する。この、自分を良く見せるような回答をする行動は社会的望ましさバイアスと呼ばれる。さらに、回答者には調査を実施する人に好印象を与えたいという心理がしばしばある。匿名であろうとなかろうと、私たちは良い印象を与えたいのだ。
極端な例を挙げれば、もし自分の父親に似た人から質問を受けているとしたら、大学時代のドラッグ経験を詳しく話したくないだろう。真実を語らないのは人間の性向であり、それゆえ調査は、行動、思考、欲求、信念を理解しようとする際に信頼できないものとなる。ここで、ビッグデータがこれほど強力である第二の理由に到達する：ビッグデータは嘘をつかない。フィルターを通さないオンライン上の行動から収集されるため、常に真実を明らかにする。結局のところ、質問者が介在しない場合、人は検索エンジンに用語を入力する際に嘘をついたり結果を歪めたりする可能性がはるかに低い。アナルプレイの話題を考えてみよう。
性的空想の中で時折果物を使うのが好きだと、大多数の人が調査やインタビューで認めるだろうか？調査にもよるが、おそらく認めないだろう。しかし著者がポルノサイトPornHubのデータを分析したところ、一部の女性が「アナル りんご」と検索していることが判明した。これは、ビッグデータが、他人に直接共有したくないと思っていたかもしれない人々についての驚くべき事柄を明らかにできることを示している。
ビッグデータは小さなデータサブセットも理解可能にする
ビッグデータがどれだけ大きいかを理解するのは難しい。毎日、Googleだけでも驚異的な量のデータが飛び交っており、他の検索エンジンや一般的なウェブサイトは言うまでもない。このデータ量の大きさにより、私たちはこれまでできなかったことができるようになった。これはビッグデータの第三の大きな力である：データセットのサイズが大きいため、サブセットにズームインして、そこから確実に情報を抽出できるのだ。
実際の例を考えてみよう。ハーバード大学のラジ・チェティ教授は、人々がアメリカンドリームはまだ生きていると考えているかどうかを調査したいと考えた。彼はビッグデータを使って、より正確な質問への答えを導き出すことにした：貧しい両親のもとに生まれた人は、成長して自分自身が裕福になれるのか？チェティのチームは、米国内国歳入庁が収集した税務記録を使用した。合計で10億件以上の税務観察データがあった。そのデータは多くのことを明らかにした。
それによると、デンマークやカナダのような他の先進国と比較した場合、米国の貧困層の状況は芳しくなかった。貧しいアメリカ人が選んだ分野で成功を収める確率は7.5パーセントだった。しかしデンマーク人とカナダ人の場合、その確率はそれぞれ11.7パーセントと13.5パーセントだった。
それが全体像だったが、ビッグデータの素晴らしさは、チェティが異なる州、都市、町、近隣地域にズームインできることだった。そうしたところ、アメリカンドリームは確かに存在するが、ごく限られた場所にしかないことがデータによって明らかになった。カリフォルニア州サンノゼでは、貧しいアメリカ人が裕福になる確率は12.9パーセントで、デンマークよりも高い。しかしノースカロライナ州シャーロットで育ったアメリカ人の場合、その確率はわずか4.4パーセントだった。
ズームインできるこの能力こそが、ビッグデータが、私たちが選ぶ場所や規模に関わらず、世界を微妙なニュアンスで理解させてくれることを示している。私たちは毎日、相関関係についての話で溢れかえっている。ある食品が病気と関連している。ある習慣が成功と関連している。
ビッグデータはA/Bテストをより簡単で安価に実施できるようにする
こうした相関関係は一見もっともに見えるが、相関関係は必ずしも因果関係を意味しない。実際には、何かの因果効果を知るには、一般にA/Bテストと呼ばれるランダム化比較実験を用いて因果関係を確立する必要がある。例えば、アルコールを適度に飲む人は通常より健康的であるという研究があるとする。しかしそれは、適度な飲酒が健康を改善する原因になることを意味するのだろうか？
もちろん違う。適度な飲酒が健康を改善するかどうかを検証するには、ランダムに選ばれた個人のプールを二つのグループに分ける必要がある。一方のグループは、例えば毎日グラス一杯の赤ワインを飲み、もう一方のグループは全く飲まない。1年後、二つのグループを比較する。最初のグループがグループ2よりも健康であれば、適度な飲酒が健康改善の原因であることが示唆される。ビッグデータはA/Bテストの実施をはるかに容易にし、これがビッグデータがこれほど強力である第四の理由だ。
ビッグデータが登場する前は、A/Bテストの実施は非常に大変だった。例えば、コマーシャルの影響をテストするには、参加者を募集し、調査し、結果を分析する必要があった。しかし今では、データサイエンティストはA/Bテストのデータを分析するプログラムを書くことができる。バラク・オバマの2008年の大統領選挙キャンペーンはこのアプローチを採用したことで有名である。
オバマ陣営のディレクターたちは、人々をサインアップと寄付に誘導するウェブサイトをデザインしたいと考えていた。彼らは写真とテキストの異なる組み合わせを使用し、関連データを分析してどのレイアウトが最も成功したかを推測することができた。ここまでで、ビッグデータの肯定的な側面をいくつか確認してきた。次は、否定的な側面に目を向けよう。
ビッグデータは変数が多すぎる場合や数量化できない問題には不向きだ
ビッグデータには明確な利点があるが、完璧ではない。その最大の限界は、多くの変数を持つデータセットで明らかになる：変数の数が多すぎて可能性のある発見が曖昧になり、信頼できる答えを抽出するのが難しいのだ。行動遺伝学者ロバート・プロミンの研究を考えてみよう。1998年、彼は人々のIQを示す遺伝子、IGF2rを発見したと考えた。
彼は数百人の学生から収集された、DNAとIQレベルに関する情報を含むデータセットを入手していた。プロミンは低いIQと高いIQの学生のDNAを比較し、IGF2rが高いIQの学生に2倍の頻度で出現することを発見した。残念ながら、その相関は偶然だった。数年後にプロミンがデータセットの比較を繰り返したところ、IQとIGF2rの出現との相関はどこにも見られなかった。理由は容易にわかる。ヒトゲノムは何千もの遺伝子から成り立っており、相関が発生するとしても、それが単に偶然によるものである可能性は常にあるのだ。
変数が非常に多いため、パターンがランダムに発生することがある。ビッグデータにはもう一つの問題がある。いわゆるスモールデータ、つまり人間の経験に関するデータがしばしば欠けているのだ。ビッグデータは多くのことを測定できるが、測定可能な答えが必ずしも私たちが求めているものとは限らない。例えば、Facebookはビッグデータを使ってクリックや「いいね」を簡単に測定できる。しかしそれをしても、サイトでの人々の体験については何もわからないだろう。
このような状況では、スモールデータが不可欠だ。Facebookはこの種のデータを別の方法で収集している。つまり、より小規模な調査を用いて、サイトでの意見や体験についてユーザーに尋ねているのだ。Facebookはまた、心理学者や社会学者を雇用して、測定不可能なユーザー体験を把握するのに役立てている。これは、ビッグデータが完璧ではないことを示している——そして問題はさらに深いところにある。
政府はビッグデータを個人を対象にするために使うべきではない
Google検索を入力したり、オンラインで商品を購入したりするたびに、あなたはビッグデータに貢献している——倫理的な考慮はどうだろうか？政府がこのデータにアクセスできたらどうなるか？彼らはそれを使って何ができるだろう？誰かが検索エンジンに「自殺したい」と入力したとする。
地域の警察に通報すべきだろうか？このようなケースでは、当局は個人レベルで行動することはしないし、できない——それには十分な理由がある。毎月、米国では自殺関連のGoogle検索が350万件ある。対照的に、同国の自殺者数は月に4,000人未満だ。これは、自殺念慮がコンピュータに入力されるたびに当該個人を特定しようとすれば、警察資源の膨大な無駄遣いになることを意味する。
しかし、忘れてはならない倫理的側面もある。そもそも、政府が個人に関する検索データを保有し、使用することを許されるべきだろうか？結局のところ、これはプライバシーの侵害に相当する。こうした倫理的考慮は、政府が地域レベルでビッグデータを使用することを止めてはいない。特に、オンライン検索とその後の行動との相関を示す証拠がますます増えているからだ。例えば、研究者のクリスティーン・マーケラムズ、フローラ・オー、ペク・ジヒョン、川地一郎は2016年の研究で、自殺関連のGoogle検索が実際の自殺率と有意に相関していることを発見した。ただしその相関は州レベルでのみ有効だった。
では、州当局や警察署はそのようなデータをどのように使用できるだろうか？州や地方自治体レベルなどの特定の地域における自殺防止プログラムに使用できる。ラジオやテレビのコマーシャルで、助けが必要な場合にどこに行くべきか、誰に電話すべきかのヒントを伝える情報を広めることもできる。これは、人間についてのあらゆる種類の興味深い事柄を明らかにするだけでなく、ビッグデータが現実の状況で生産的に使用できることも示している。
最終的なまとめ
本書の重要なメッセージ：人はめったに正直にアンケートに答えない。そのため、私たちの世界に対する理解は歪んでしまう。しかし、ビッグデータ——つまり、例えばGoogle検索などから収集される信じられないほど大量のデータ——の台頭によって、私たちは人間の行動のパターンを見つけ、これまで知らなかった嗜好を特定することができるようになった。実践的なアドバイス：性的に倒錯した空想を持っていても心配する必要はない。あなたは一人ではない！
おそらく誰もが自分のフェティッシュを認めるわけではないだろうが、それは単に、社会的に排除されることを心配している人がいるからかもしれない。だから、勇気があるなら、自分の本当の好みについて話してみよう！奇妙な目で見られる可能性は高いが、ビッグデータが明らかにしているように、あなたのような人はほぼ確実にどこかにいる。隠す代わりに、普段Googleに入力している倒錯的で奇妙なことを会話のトピックにしてみよう。そうすれば、人間の行動の語られざる側面の一部を正常化し始めることができるかもしれない。
推奨されるその後の読書：『ビッグデータ：われわれの生き方、働き方、考え方を変える革命』ヴィクトル・マイヤー＝シェーンベルガー、ケネス・クキエ著。「ビッグデータ」への変化が、私たちの周りのデータを収集し、使用し、考える方法において大きな転換である理由について、洞察に富んだ見方を提供する。個人や企業がすでに先を行って、ビッグデータのツールを使って価値と利益を生み出している方法について、優れた説明と例を提供している。未来に目を向けると、本書はビッグデータ社会の将来の影響についても、リスク、機会、法的な意味の観点から概説している。
