『ビッグデータ』は、私たちの周りにあるデータの集め方、使い方、考え方が「ビッグデータ」へと移行することが、いかに大きな転換であるかを明快に説く。いち早くこの流れに乗った個人や企業が、ビッグデータの道具を使って価値と利益を生み出している事例を豊富に紹介。さらに、ビッグデータ社会がもたらすリスクやチャンス、法的な課題にも目を向け、未来への展望を描き出す。
ビッグデータは、小規模な分析では決して得られない洞察をもたらす。
コンピューターが登場する以前、情報の収集と記録は骨の折れる、時間のかかる作業だった。たとえば国勢調査に必要な情報を考えてみよう。アメリカ合衆国憲法では10年ごとに国勢調査を行うことが定められているが、1880年の調査は完了し発表されるまでに8年以上もかかった。つまり、公表された時点で情報はすでに時代遅れになっていたのだ。
しかし、それは昔の話。コンピューターの発明、デジタル化、インターネットの登場によって状況は一変した。情報は受動的に（あるいははるかに少ない労力で）素早く集められるようになり、保管コストもどんどん下がっている。こうして私たちはビッグデータ時代の入り口に立った。正式な定義はないが、「ビッグデータ」とは、これまで不可能だったほどの大規模に取得されるデータそのものと、分析を通じて価値ある洞察を引き出せるほどの巨大なデータセットがもたらす可能性の両方を指す。2009年、グーグルはその可能性を示す好例を論文で発表した。ユーザーの検索語からインフルエンザの発生を予測し、拡大状況を監視できることを示したのだ。
グーグルは2007年と2008年の検索語データを、インフルエンザの時空間的な流行データと照合し、流行の予測式に使える45の検索語を特定した。この予測は公的統計と強い相関を示した。論文発表からわずか数週間後、新型の致死性インフルエンザH1N1が大々的に報じられた。グーグルのシステムはすぐに実践投入され、公衆衛生当局にとって、政府統計よりも有用で迅速な手がかりを提供したのだ。ビッグデータは、小規模な分析では決して得られない洞察をもたらす。
データは、お尻のサイズから歩き方まで、私たちの暮らしのあらゆる場面で収集され、活用されている。
フェイスブックやツイッターといったネット企業の台頭、スマートデバイスの普及によって、人間関係のステータスやコメント、好み、位置情報などがデータとして蓄積され、分析されることに私たちは慣れてしまった。この流れはデータ化――世界の情報をデータの形で捉えるプロセス――の一環だ。データから価値ある洞察が得られるのだから、この流れは加速する一方だ。これまで情報源とは見なされなかったものからデータを取る工夫も進む。その一例が、日本の産業技術大学院大学での研究だ。自動車のシートにかかるお尻の体重分布を圧力センサーで計測している。
この研究から、体重分布だけで個人を極めて正確に識別できることがわかり、車が「認識」したドライバーでなければエンジンがかからないセキュリティ装置としての応用も考えられている。他の企業もデータ化の可能性に気づいている。アップルは2009年、イヤホンを通じてユーザーの血中酸素濃度や心拍数、体温を受動的に計測する特許を申請した。同様にIBMは2012年、感圧式の床材に関する特許を取得した。歩く人の位置や動き方を特定できる可能性がある。これらの例が示すように、研究者たちはこれまでデータとは無縁だった情報源を活用しはじめている。私たちのやりとりや行動の仕方から深い洞察を引き出し、革新的な新製品を生み出そうとしているのだ。
ビッグデータは、小さなサンプルで全体を代表させなければならない制約から私たちを解放する。
データは、お尻のサイズから歩き方まで、私たちの暮らしのあらゆる場面で収集され、活用されている。 インターネットとコンピューターが普及する前の時代、情報の収集と記録は今よりはるかに難しかった。そのため、ごく限られた量の情報だけを集め、それをどうにか解釈しようとするしかなかった。たとえば、近々行われる地方選挙に向けて電話で有権者調査をしたいと考えたとしよう。
明らかに、全人口に連絡するのは不可能だ。そこで数百人に電話をかけ、彼らの回答が有権者全体の意見を反映していると期待する。これがサンプリング（標本調査）だ。データ全体から一部を取り出し、それが全体を代表していることを願うのだ。だが、調査が終わったあとに記者がやってきて、「公務員」という特定の層の投票行動を予測してほしいと言ったらどうだろう。データを見ると、公務員は10人しか回答しておらず、信頼できる予測は立てられない。さらに「30歳未満の公務員」という、もっと細かい下位グループについて尋ねられたら、該当者はたった1人で、予測はまったく不可能だ。
これがサンプリングの本質的な問題だ。データを細かい部分集合に分けていくと、すぐに観測数が足りなくなり、意味のある結論が導けなくなる。ビッグデータの世界では、情報の収集はずっと容易だ。なぜなら、膨大な量のデータ、場合によっては全データにアクセスできるからだ。ビッグデータ版の選挙調査なら、おそらく何万人もの投票意向情報、もしかすると町の全住民の情報が手に入る。そうなれば、データの下位グループをどこまでも「ズームイン」して調べることが可能になる。
雑多で膨大なデータは、少量で正確なデータよりも有用であり得る。
ビッグデータは、小さなサンプルで全体を代表させなければならない制約から私たちを解放する。 1980年代、IBMのエンジニアたちは言語翻訳プログラムの開発中に、斬新なアイデアを思いついた。文法ルールと辞書を使う従来の方式をやめ、コンピューターに統計的な確率だけを頼りに、与えられた翻訳例のサンプルから適切な単語やフレーズを計算させることにしたのだ。IBMはカナダの議会文書の公式翻訳からとった300万組の対訳文という、高品質だが限られたデータを使うことにした。
初期の結果は有望だったが、プロジェクトは失敗した。出現頻度の高い単語やフレーズでは信頼できる翻訳を提供できたが、まれにしか現れないものでは信頼性が低かったのだ。データの品質は高くても、量がまったく足りなかったのが原因だった。データの一部しか持っていないとき、特に発生頻度の低い結果を見たい場合、不正確さが大きな問題になる。しかし、データを全体に近いほど大幅に増やしていけば、不正確さが結果に与える影響はぐんと小さくなる。
IBMの失敗から10年も経たないうちに、グーグルは少し違うアプローチで翻訳問題に取り組んだ。質が疑わしいが桁違いに大きなデータセット、すなわち全世界のインターネットを使うことにしたのだ。同社のシステムはウェブをくまなく探り、見つけられるあらゆる翻訳を利用した。その総量は数十億ページ分にのぼった。入力の質はお世辞にも高いとは言えなかったが、データの絶対量がものを言い、どんなライバルシステムよりも高精度な翻訳を実現したのである。ビッグデータで扱えるデータセットの巨大さは、データに含まれる不正確さに寛容になることを可能にする。全体に占める割合がきわめて高ければ、多少の不正確さは吸収されてしまうのだ。雑多で膨大なデータは、少量で正確なデータよりも有用であり得る。
ビッグデータは「なぜ」二つの事柄が関係しているかは教えず、「関係している」ことだけを示す。しかしそれだけでも十分に役立つことが多い。
中古車を買うとき、ポンコツをつかまされないためにどんな基準でチェックするだろうか。年式、走行距離、生産国、メーカー、車種――どれもごく当然の項目に思える。だが、塗装の色を気にするだろうか。2012年、あるデータ分析コンテストの参加者たちは似たような課題を与えられ、相関分析から驚くべき事実を発見した。オレンジ色の車は、平均的な車に比べて欠陥がある確率が半分だったのだ。
あなたもきっと「なぜだ？」と思ったに違いない。関係の理由を探り、説明する理論を組み立てたくなるのが人間の性だ。しかしビッグデータがもたらす重要な含意の一つは、因果関係に関する仮説を自分で立てて検証する必要がないということだ。すべてのデータを自動分析すれば、私たちが考えもしなかったような相関関係を掘り出してくれる。中古車の例で言えば、関係の背後にある原因は見えないままかもしれないが、データそのものに語らせることで、少なくとも相関関係は見つかる。そして、そうした相関を実用的に活用することもすでに可能なのだ。
IBMとオンタリオ大学が行った、未熟児のケアに携わる医師の意思決定を支援する研究を考えてみよう。彼らは赤ちゃんのバイタルサインのデータを分析し、症状が目に見えて現れる前の感染症の兆候となる微妙な変化を特定しようとした。直感に反して、重篤な感染症を起こす直前、赤ちゃんのバイタルサインは非常に安定することが明らかになった。嵐の前の静けさのようなものだ。この研究以前なら、医師は安定したバイタルサインを心配するはずもなかったが、今ではこの知見をもとに、最も必要なときに最善の治療を提供できるようになっている。ビッグデータは「なぜ」二つの事柄が関係しているかは教えず、「関係している」ことだけを示す。しかしそれだけでも十分に役立つことが多い。
データはたいてい特定の目的で収集されるが、しばしばもっと大きな価値を持つ二次的な活用法が存在する。
企業がデータを収集するときは、たいてい特定の目的が念頭にある。店は会計のために販売データを、工場は生産性を追跡するために生産量を、ウェブサイトはユーザー体験を最適化するためにページ上のマウスの動きを記録する。国際銀行間決済システムのSwiftもまた、世界中で処理する何十億もの金融取引データを集め、正確な顧客記録を提供している。しかし最近では、収集したデータの二次的な利用法が、本来の目的以上の価値を生むケースが増えている。たとえばSwiftは、自社の決済データが世界の経済活動と強く相関することを発見した。
その結果、同社は取引データから導き出した極めて正確なGDP予測を提供するようになった。人々の過去のインターネット検索語も、データが二次利用される格好の例だ。一見すると、検索結果を返すという本来の役目を終えた情報は、ほとんど使い道がないように思える。しかしExperianのような企業は、このデータをクライアントに掘らせることで、見込み客の嗜好や市場動向を探るツールとして提供している。どんな小売企業にとっても、まさに宝の山だ。同様に、携帯電話会社も通話のルーティングの一環として、ユーザーのリアルタイム位置情報を蓄積している。
このデータには、交通流の監視から個人向けの位置情報連動型広告の配信まで、無数の潜在的活用法がある。このトレンドは見逃されていない。データに精通した企業や個人は、そうしたデータの価値に気づき、自社や他社が集めたデータの二次利用の可能性を最大限に引き出す製品やシステムをすでに設計し始めている。データはたいてい特定の目的で収集されるが、しばしばもっと大きな価値を持つ二次的な活用法が存在する。
身のまわりのデータから価値を生み出す新しいチャンスは誰にでも見つけられる——必要なのは、正しいマインドセットだけだ。
膨大なデータを所有していても、それをどう扱えばいいか分からなければ宝の持ち腐れだ。同じように、データ分析のスキルやツールを持っていても、そもそもデータを所有していなかったり、どこで手に入れればいいか分からなければ意味がない。それでも、そのどちらも持たずにビッグデータの世界で独自の居場所を見つけた人たちがいる。成功の鍵はビッグデータ・マインドセットを持つことだ。つまり、そこにあるデータが、多くの人にとって価値ある情報を採掘できる鉱脈だと見抜く力である。
このマインドセットを持つ人は、必ずしもデータを所有していたり、分析スキルを持っているわけではないが、チャンスを見抜き、誰よりも先にそれを活かすことに長けている。そんな人物の一人がブラッドフォード・クロスだ。20代半ばで友人たちとともにウェブサイト「FlightCaster」を立ち上げた。公開されているフライト時刻データと過去の気象データを組み合わせ、全米の航空便の遅延を予測する。その精度は非常に高く、航空会社の社員でさえ自分の担当便を確認するためにこのサイトを参照するほどになった。
Decide.comも、同じ原理で作られた企業だ。同社のコンピューターシステムは、ウェブ上のeコマースサイトから400万点以上の商品に関する250億件もの価格見積もりを記録する。この情報を分析し、最安値を示すだけでなく、買いどきをアドバイスし、価格が上下しそうなタイミングまで予測する。データを軸に経済が形成されつつあるなか、データの潜在的価値を見抜き、それを引き出そうとする人が増えているのは明らかだ。ビッグデータ・マインドセットを持つ個人や企業こそが、このデータのゴールドラッシュを最大限に活かせる立場にいる。身のまわりのデータから価値を生み出す新しいチャンスは誰にでも見つけられる——必要なのは、正しいマインドセットだけだ。
データセットを組み合わせれば、個々の部分より大きな価値が生まれる。
ボードゲーム「クルー」（CLUE / クルード）を遊んだことがある人なら、バラバラの情報はほとんど役に立たなくても、それらが組み合わさるとずっと多くを語り始めることを知っているだろう。データセットについても同じことが言える。時には、他のデータセットと組み合わせて初めて、その価値が明らかになることもある。
単独のデータセットからは見つからなかったトレンドが、新たに統合されたデータから浮かび上がるのだ。たとえば2011年、デンマークの研究グループがこの現象を実証した。この種では最大級の研究で、携帯電話の利用者データとがん患者の記録を突き合わせたのである。これにより、携帯電話の使用とがんとの関連性だけでなく、使用量が増えるとリスクが高まるかどうかも調べられるようになった。重要なのは、データの一部だけを使うのではなく、国内のほぼすべてのがん患者の記録を用いたため、教育や所得といった要因を制御してもデータの信頼性が損なわれなかったことだ。これほど包括的な調査だったにもかかわらず、発表された結果はメディアに大きく取り上げられなかった。関連性の証拠は見つからなかったからだ。
上記の例は異なる種類のデータセットを組み合わせたものだが、同種のデータセットを多数組み合わせることでも、集約によって同様の効果が得られる。シアトルに拠点を置く交通分析企業Inrixは、まさにこの原理に基づいている。同社は自動車メーカーや商用車両、自社のスマートフォンアプリからリアルタイムの位置情報を集める。個々のデータは元の所有者にとっては大した使い道がなくても、それを統合することで、Inrixは交通の流れや渋滞に関するタイムリーな情報を作り出し、有料でユーザーに提供している。データセットを組み合わせれば、個々の部分より大きな価値が生まれる。
フェイスブックのようなオンラインサービスは、私たちがサイト上で行うあらゆる行動を記録し、そのデータをサービスの向上に活かしている。
ほとんどの企業は、製品やサービスを改善するために何らかの形で顧客のフィードバックを利用する。しかし従来は、意味のある量のフィードバックを集めるには時間も手間もかかった。ビッグデータとインターネットの時代では、情報は瞬時に、かつ以前よりはるかに少ない労力で、多くの場合完全に受動的に収集できる。賢い企業はすでに、私たちのオンライン上の行動をことごとく追跡している。マウスをどこに動かしたか、項目の上にどれだけホバーしたかといったことまでだ。
この情報はデータエグゾースト（データの排気）と呼ばれ、ボタンのサイズや配置といった、製品の細部を最適化するために使われる。データエグゾーストの再利用で誰にも負けないのはグーグルだ。ユーザーの検索クエリや、タイプミスさえも再利用し、スペルチェッカーやオートコンプリート機能を作り上げ、すべてのグーグルサービスに実装している。ウェブサイトとのやりとりが増えれば増えるほど、私たちが残すデータエグゾーストの足跡は大きくなる。フェイスブックは、この豊富なデータを分析し、友人が投稿や返信をするのを目にした直後は、ユーザー自身もコンテンツを投稿したり返信したりする確率が高いことを発見した。そこで、友人の反応がより目立つようにレイアウトが修正された。オンラインゲームの分野でも、このデータの足跡は活用されている。
Zyngaのオンラインゲームは、ユーザーのプレイ状況に応じて細かく調整される。ゲームのある時点でプレイヤーが大勢脱落するようなら、Zyngaはその部分を調整して体験を改善する。これらの例は、ユーザーデータを再利用する技術を身につけ、それをシステムに組み込んだ企業が、提供するサービスを大きく向上させられることを示している。フェイスブックのようなオンラインサービスは、私たちがサイト上で行うあらゆる行動を記録し、そのデータをサービスの向上に活かしている。
現在のプライバシー法や匿名化の手法は、ビッグデータに対して無力で非効率だ。
今どきネットを使っていて、何らかの長ったらしい利用規約に遭遇せずに過ごすのは難しい。でも正直なところ、あなたは内容をちゃんと読んでから「同意する」をクリックしているだろうか。現行のプライバシー法は、どんな情報がどのような目的で収集されるかを事前に通知し、同意を得ることを義務づけている。だからこそ、こうした要求が絶え間なく押し寄せるのだ。また、集めたデータを共有したい場合、企業は匿名化――個人を特定できる情報をすべて削除すること――を施してから公開する。
こうした手法も、ある程度までは機能してきたが、データ収集と利用の急加速によって、急速に時代遅れになりつつある。第一に、プライバシー法は企業がデータの二次的用途を見出すのを妨げている。あなたの会社がユーザーデータを収集し、後日そのデータに新たな価値ある使い道を発見したとしよう。現在の制度では、その新しい目的に転用する前に、すべてのユーザーから改めて承認を得なければならない。立法の趣旨はもっともだが、ビッグデータの世界に適用しようとすると、実現できるはずの恩恵が大きく損なわれる恐れがある。第二に、ビッグデータの詳細さゆえに、匿名化されたデータから個人が再識別され、機密情報が露呈する危険がある。
たとえば2006年、AOLは大量の古い匿名化済み検索語を公開し、研究者がそこから興味深い洞察を引き出すことを期待した。ところが、わずか数日のうちに『ニューヨーク・タイムズ』紙は、あるユーザーをジョージア州リルバーン在住の62歳の未亡人、セルマ・アーノルドだと特定してみせた。法的なツールにせよ、技術的なツールにせよ、既存の仕組みがすでに無力であることは明らかであり、ビッグデータ化が進めば、やがては完全に役に立たなくなるだろう。もっと適切な代替策を考えなければならない。
ビッグデータは犯罪行動の予測を可能にする。しかし、実際に罪を犯す前に人を裁いては絶対にならない。
現在のプライバシー法や匿名化の手法は、ビッグデータに対して無力で非効率だ。 映画『マイノリティ・リポート』は、犯罪予測が極度に正確になり、警察が犯行に及ぶ前に犯人候補を逮捕する社会を描いている。人々は、やったことではなく、やると予測されたことを理由に投獄される。この映画はSFだが、行動予測はすでに現実社会の意思決定に利用されている。
一例として、アメリカの半数以上の州で、仮釈放委員会が受刑者の再犯率を分析に基づいて予測し、仮釈放の可否を判断している。警察組織も、限られた人員を配分するために「予測的警察活動」に頼るようになってきている。貧困や失業、薬物使用といった犯罪の予測因子とみなされる特性に基づき、特定の個人、集団、地域をプロファイリングし、重点的な監視対象とするのだ。国家安全保障の分野でも、こうしたプロファイリングは盛んに使われている。しかし、使い方を誤れば、差別や「連帯責任」の問題につながりかねない。自分が、民族性や交友関係、経歴だけを理由にテロ容疑で逮捕されたら、どんな気分だろうか。
ビッグデータによる詳細情報が加われば、集団ではなく個人を狙い撃ちにすることで問題を軽減できるかもしれないが、このプロファイリングの流れは危険だ。自然な成り行きに任せれば、人々から自由意志を奪う世界へと向かう。つまり、容疑者は逮捕され、患者は治療を拒否され、社員は解雇されるのだ。彼らが実際にしたことのせいではなく、すると予測されたからだ。私たちはすでに、法と秩序の領域で、予測を決定の参考にする道を慎重に歩み始めている。この傾向を突き詰めれば、個人から道徳的な選択の可能性を奪うことになる。警戒しなければならない。ビッグデータは犯罪行動の予測を可能にする。しかし、実際に罪を犯す前に人を裁いては絶対にならない。
データに過度に依存するのは危険だ――測定対象を間違え、間違った行動を促し、不正確なデータを信じ込んでしまう恐れがある。
データを集めて分析する能力が発達するにつれ、私たちは生活のあらゆる側面を改善するために、ますますデータを使おうとしてきた。しかし、この能力には落とし穴もある。第一に、生活を数値化しようとするあまり、本来測定したかったことを本当には捉えていない指標を追ってしまう危険がある。教育の場への統一テスト導入を考えてみてほしい。
学生の統一テストの点数は、教育が提供すべき多様な質を、本当に正しく反映しているだろうか。第二に、データの誤用は、意図しなかった行動を誘発しかねない。統一テストはこの点も如実に示している。テストが重視されることで、教師も生徒も点数を上げることばかりに気をとられ、教育の総合的な質がおろそかになった。最後に、データ依存が行き過ぎると、偏ったデータや信頼性の低いデータに行動を左右されるリスクを冒すことになる。ベトナム戦争が激化するさなか、アメリカ国防長官になったロバート・マクナマラの経験を思い起こそう。彼は進捗を示す指標として敵の遺棄体数を数えることにすっかり固執し、軍事戦略全体をそれに合わせてしまった。この決断は後に彼を苦しめることになる。
戦場という混沌たる状況下ではデータの検証は難しく、後になって、部隊の報告数がまったく当てにならなかったことが判明した。皮肉なことに、彼らはマクナマラのような上司によく思われたくて、数字を粉飾していたのだ。ビッグデータが提供する細部の豊かさや洞察の魅力に取り憑かれるあまり、視野を失い、データに固執しすぎてその限界を見落としたり、質を検証しないままデータに振り回される危険がある。そうなれば、益より害のほうが大きくなりかねない。データに過度に依存するのは危険だ――測定対象を間違え、間違った行動を促し、不正確なデータを信じ込んでしまう恐れがある。
最終的なまとめ
現在のような大規模なデータ活用は、これまでの使い方とは根本的に異なる。その違いゆえに、ビッグデータに対する考え方を変えなければならない。収集・共有・結合され続ける膨大なデータは、その本質を理解した個人や企業に、価値や改善、時にはまったく新しい製品やサービスをもたらす。だが同時に、ビッグデータの悪用を警戒する必要もある。さもなければ視野を失い、データに過度に依存し、広範な分析結果だけを根拠に人々を支配したり処罰したりする事態に陥りかねない。すぐに実践できるアイデア：身のまわりのデータに隠された価値を、創造的に考え抜くこと。
今日では、誰でもビッグデータから価値を生み出せる。適切なデータとユーザーに偶然巡りあえればいいのだ。まずは、自分がアクセスできるデータや、無料で公開されているデータ（特にオンライン上）を考えてみよう。次に、そのデータが当初集められた目的とは異なる使い道はないか、また、他のデータと組み合わせることで、異なるグループや組織にどう役立ちそうかを考えてみる。最後に、異なる業界や事業の視点からデータを見つめ、どのような利益をもたらせるかを想像してみよう。そうすることで、あなたの身のまわりにあるデータを、情報の金鉱へと変える革新的なサービスやプロダクトのアイデアをひらめくかもしれない。
