Too Big to Ignoreは、ビッグデータがなぜビジネスにとって極めて重要なのかを解説する一冊です。ビッグデータ分析があなたの会社をどう変革できるかを示し、それを活用するために必要なツールを段階的に紹介します。さらに、ビッグデータがもたらす未来についても見通します。
この要約で得られること——ビッグデータの何がすごいのか、その力をビジネスにどう活かすかを学ぶ
誰かがビッグデータについて話しているのを聞いたとき、あなたはどうするだろうか。うなずきながらも、できれば何も言わずに済ませたいと思う？ 実際には何を意味するのか調べたほうがいいか迷う？ それとも「どうせただのバズワードだろう」と片付けてしまう？
しかし、私たちはみなビッグデータを真剣に受け止めるべきだ。フィル・サイモンが『Too Big to Ignore』で述べているように、ビッグデータは単に規模が大きいだけでなく、見過ごしたり無視したりするにはあまりに重要なものなのだ。
この要約では、なぜビッグデータが急に注目されるようになったのか、そしてそれをどう自分の強みに変えられるかを示していく。だからこそ、この内容は必読だ。ビジネスや組織を改善したいなら、ビッグデータを味方につける必要がある。
この要約を読み終えると、次のことがわかる。
- ビッグデータへと自社を導く方法
- ビッグデータを可視化する方法
- Netflixのような企業がビッグデータを活用して大きな成長を遂げた方法
消費行動の変化と技術コストの急落が「ビッグデータ」の成長を生んだ
近ごろは誰もがビッグデータを話題にし、多くの企業がデータサイエンティストを雇っている。しかし、ビッグデータとは一体何なのだろうか。そして、なぜいま広がっているのだろうか。
「ビッグデータ」とは、簡単に扱うにはあまりに大規模または複雑なデータ群を指す。Microsoft ExcelやAccessのような基本的なアプリケーションでは処理できないデータだ。
ビッグデータの成長を後押ししてきたのは、私たちの消費行動の変化だ。スマートフォン、クラウドコンピューティング、ブロードバンド接続によって、私たちは絶えずデータを消費し、生み出している。
データへのアクセスが新しく、速く、簡単になったことで、私たちは常に「オンライン」になっている。考えてみてほしい。飛行機が着陸したとき、最初にするのは何だろう？ スマートフォンの電源を入れるのではないだろうか。
それからおそらく、メールやFacebook、Twitterをチェックするだろう。そうするとき、あなたはデータにアクセスしているだけでなく、データを生み出しているのだ。こうした消費者行動がビッグデータを生み出した。
私たちの消費行動が変化したのは、技術コストが急落したからだ。テクノロジー、とくにストレージと帯域幅は非常に安価になった。
この変化の大きさは、どれだけ強調してもしすぎではない。現代の安価なテクノロジーは、私たちがビッグデータに貢献することを可能にし、むしろ後押ししている。もし1話ごとにレンタル料や購入料とは別に10ドルの帯域幅コストがかかるとしたら、あなたは何本のドラマをストリーミングするだろうか。
1990年、データ保存のコストは1GBあたり10,000ドルだった。2010年までに、その数字は10セントにまで下がった。
手頃なテクノロジーとビッグデータによって、YouTubeには毎分48時間分の動画がアップロードされ、毎月2,000億本以上の動画が視聴されている。ビッグデータなしでは、こうしたことは不可能だろう。では、私たちはそれをどう活用すべきなのだろうか。
ビッグデータは顧客とビジネスへの深い理解をもたらす
では、ビッグデータは、たとえば1950年代に集められたデータと何が違うのだろうか。
違いは量だけではない。私たちが収集するデータの種類も変わっている。
ビッグデータのほとんどは「非構造化」だ。以前のデータは「リレーショナル」、つまりはるかにシンプルで、表で簡単に読み取れるものだった。たとえば、ある列に顧客、別の列に注文した商品が並ぶ表を思い浮かべてみてほしい。
一方、非構造化データは非常に乱雑で、同じようには整理できない。あなたの製品に関する一つひとつのツイートはデータの一部だが、ツイートをそのまま表に入れることはできない。
なぜか。ツイートは他の何かと一対一の関係だけを持つわけではないからだ。誰かがあなたの製品を検討しているとツイートしたとしよう。そのツイートには、その人の年齢、趣味、属性、学歴など、多くのデータが含まれている可能性がある。
だから、「ツイート1」とそのすべての特徴を列に並べた表を作ることはできない。そんなものは手に負えないほど巨大になってしまう。ましてや、何千何万ものツイートで同じことをしようとするなど、不可能だ。
これがデータが「非構造化」である理由だ。現在、組織データの80％以上は非構造化データが占めている。
非構造化データをうまく管理できるようになれば、消費者行動に関する大きな洞察を得られる。非構造化データは実際、大きなチャンスなのだ。
Netflixはその完璧な例だ。同社は、自社の映画がどこで、いつ、何回視聴されたかを記録している。ユーザーがどのデバイスで視聴したかも追跡し、FacebookやTwitterで同社について交わされるコメントも監視している。
2011年の夏、Netflixは80万人の顧客を失った。自社のサービスがソーシャルメディアでどう語られているかを分析したところ、多くの顧客は、同社の郵送サービスであるQwiksterがDVDサービスのブランド名や価格を変更したときに離れていったことがわかった。そこでQwiksterを廃止すると、業績は回復した。
データを可視化すればトレンドを分析できる
では、非構造化データを整理できたとしても、それをどう評価すればいいのだろうか。何百万もの情報から、どうやって何かを学べるのだろうか。
ここでは主に2つのアプローチがある。1つ目は「時系列分析」で、時間の経過に沿ってデータを調べる手法だ。
たとえばブラックフライデーの前後に売上が伸びると予測するのは簡単だが、時系列分析ははるかに深い洞察をもたらしてくれる。
顧客の給料日（通常は毎月1日と15日）に合わせて売上がどう変化するかも示してくれる。また、長期的なトレンドと季節的なトレンドを区別できる。時系列分析は、トレンドの外にある不規則な売上の変動、たとえば誰かが宝くじに当たって友達に買い物を奢った場合なども説明できる。
データを理解できるようになれば、一時的な変動に振り回された戦略を立てずに済む。宝くじの当選者が一度店で大量に買い物をしたからといって、在庫を増やしたりはしないだろう。
2つ目は「ヒートマップ」だ。これは大量のデータを非常に簡単に可視化するのに役立つ。
ヒートマップは値を異なる色で表すため、従来のデータ表示方法よりもはるかに多くのことを示せる。1億件のエントリーがある表ではほとんど何も見えてこないし、グラフは技術的にはより多くの情報を示せるが、2つの変数の関係しか表せない。
一方ヒートマップは、複数の変数を一度に概観できる。たとえば、売れた本の数量・内容・場所をまとめて評価できる。さらに、はるかに直感的に読み取れる。
ヒートマップの色の濃さによってトレンドを検出できる。たとえば、ある地域に赤が多いのは、夏にその地区で売上が高いことを示しているかもしれない。
ビッグデータを扱うには新しい革新的なプラットフォームを使うか、外部委託しよう
良いニュースでもあり悪いニュースでもあるが、ビッグデータを扱うなら二度とExcelやAccessを使うことはない。ビッグデータを最大限に活用するには新しいプラットフォームを使う必要があり、しかもそのプラットフォームは多用途でなければならない。
たとえばHadoopは、データを扱うプロジェクトの大規模な集合体だ。標準構成はひとつではなく、それぞれがかなり複雑ないくつかのサブプロジェクトから成り立っている。
Hadoopの正確な仕組みは非常に技術的だが、本質的にはビッグデータのタスクをより小さなサブタスクに分解するためのツールだ。サブタスクはそれぞれ個別に処理され、新しいデータセットにまとめられる。FacebookはHadoopを使って膨大なユーザーデータを分析している。
ビッグデータ用のハードウェアや保守に資金をかけたくないなら、テクノロジー企業に外注することもできる。希望すれば、別の企業にビッグデータの計算を実行してもらい、利益につながるかどうかを見極める「お試し」も可能だ。オンラインのスタートアップ企業であるKaggleは、まさにその目的で開発された。
Kaggleではビッグデータのタスクをオンラインで投稿し、それを解決できるデータサイエンティストを見つけられる。自分のデータをどう使いたいかわからない場合でも、Kaggleのユーザーが活用方法を提案してくれる。かつてKaggleのユーザーたちは、飛行機の滑走路とゲートの時間を予測するために、フライトと気象のデータを与えられた。変化する状況にフライトスケジュールを適応させるのが課題だった。勝者の分析は業界標準より40％も正確だった。
最終的には、自社にとって最適なビッグデータ管理方法を見つける必要がある。その方法が自分たちに本当に最善かどうか、常に自問しよう。
組織が本当にビッグデータへの準備を整えているか確認しよう
自分自身はビッグデータに飛び込む準備ができていると感じていても、やはり立ち止まる必要がある。会社も準備ができているかどうかを確認しなければならない。
一部のツールは無料だが、ビッグデータの収集と活用にはコストがかかる。
Hadoopは無料で利用できるが、ビッグデータへの投資を有意義なものにするには、コンサルティングや研修にかなりの予算が必要になる。
ビッグデータを、インストールすればすぐに成果が出る新しいプログラムだと考えてはいけない。テクノロジーとデータへの取り組み方全体を再構築しなければならないのだ。
ビッグデータを医療の改善に活用している企業Explorysは、事業を始めたときにこのことを学んだ。同社はデータ保存用のグリッドを導入し、さまざまな医療機関で機能するプラットフォームを開発しなければならなかった。さらに、100人を超える新しいチームを構築する必要もあった。
そして、優れたビッグデータツールを手に入れても、良いデータがあって初めて役立つことを忘れてはならない。有益な情報を集めていなければ、最高のツールも無意味だ。
だからまず、具体的な問いを立て、短期的・長期的な目標をいくつか書き出すことから始めよう。どんな情報が欲しいのかを正確に把握していなければ、どこからそれを得ればいいのかもわからない。
たとえば、どんな消費者行動が特定の製品を成功させるのか、あるいは何が顧客をブランドから離れさせるのかを問う。それから、現在と過去の顧客についてできるだけ多くのデータを集めるのだ。
やがて、この情報を使ってどの製品が売れるかを予測できるようになる。また、顧客が離れそうなタイミングもわかるので、引き留める手を打つこともできるだろう。
ビッグデータは既存のセキュリティと倫理の問題を拡大する
ビッグデータに問題がないわけではない。人々に関する膨大な情報を保存することに欠点がありそうに思えるなら、その感覚は正しい。
ビッグデータはプライバシー問題をこれまでにない高さに引き上げる。ある種のビッグデータを悪意のある人物が手にすれば、悲惨なことになりかねない。
たとえば、AppleとAmazonはそれぞれ約4億枚の顧客のクレジットカード情報を保有していると報じられている。それがハッカーやデータ海賊にとって何を意味するか考えてみてほしい。
これらの企業が私たちのデータを信頼に足る形で扱っていると仮定しても（その仮定自体、必ずしも健全ではないが）、データ盗難はこれまで何度も起きている。だから企業は、自社の内部データに加えて顧客のデータも守らなければならない。
2012年、Googleは、ストリートビューのソフトウェアがオープンなWi-Fiネットワークからデータを収集していたことが明らかになり、窮地に立たされた。これがビッグデータの負の側面だ。私たちのプライバシーを脅かす可能性がある。
Google、Amazon、Facebookのような大手企業は、その気になればユーザーデータを際限なく利用できる。それが気になるなら、DuckDuckGoのような代替サービスを検討するといい。ユーザーデータを一切保存しない検索エンジンだ。
ビッグデータは製品を「よりスマート」にする
ビッグデータの未来はどうなるのか。消費者市場に与える影響を見落としている人もいる。
ひとつには、アクティブデータからパッシブデータへのゆっくりとした移行が進むだろう。
現在、私たちのデータのほとんどは能動的に生み出されている。つまり、ノートパソコンやスマートフォンでインターネットを使い、自分たちでデータを作っている。
しかし、データは受動的に生成されることがますます増えていく。車やテレビなどのデバイスがインターネットに接続され、私たちの行動を追跡するようになる。そうしたテクノロジーは、自律的にデータを生み出すのだ。
もちろん、これはプライバシーの侵害のように思えるかもしれない。しかし同時に、テクノロジーが私たち固有の行動に適応してくれることも意味する。
将来、テクノロジーはデータをより効果的に活用できるようになる。iPodの設計者であるトニー・ファデルは、自身の新会社Nestでその一例となるプログラムを開発した。
Nestのデバイスの1つは、ユーザーデータを収集して人々の個人的な好みを「学習」し、それに応じてセントラルヒーティングを制御するサーモスタットだ。
Nestは一度あなたのことを「学習」すれば、その後はプログラムする必要がない。あなたのデータを使って温度を調整してくれる。たとえば、日中はリビングを涼しくし、夜は寝室を暖かくするのが好みだと学習するかもしれない。使えば使うほど、あなたに合わせて適応していく。
このデータはさらに収集され、オンラインで送信される。つまり、スマートフォンで暖房を操作したり、自分の温度設定の履歴を確認したりできるのだ。
明らかに、ビッグデータは私たちのテクノロジー、環境、そして生活に大きな影響を与えようとしている。あなたもその一部になるだろうか？
最後のまとめ
本書の重要なメッセージ：
ビッグデータは、新しい考え方、新しいツール、そしてデータ分析全体への新たなアプローチを必要とする。しかし、非構造化データを管理できれば、あなたの会社は計り知れない恩恵を受けられる。ビッグデータは今後ますます大きな役割を果たすのだから、この機会を逃してはならない。
実践的なアドバイス：
まずはお試しで始めよう。
ビッグデータに飛び込むことに不安を感じている？ 無理に飛び込む必要はない。Kaggleのようなビッグデータ企業に、あなたのために分析を実行してもらおう。そうすれば洞察を得られ、自分に準備ができているかもわかる。慌てずに、ゆっくり進め、準備が整っていることを確認しよう。
さらに読みたい人へ：『Big Data（ビッグデータ）』 ヴィクトル・マイヤー＝シェーンベルガー、ケネス・クキエ著
『Big Data』は、ビッグデータへの移行が、私たちの周りにあるデータの収集・利用・考え方をどう大きく変えるのかを鋭く描き出す一冊だ。すでに時代を先取りしている個人や企業が、ビッグデータのツールをどう使って価値と利益を生み出しているかについて、優れた説明と事例を提供してくれる。さらに将来を見据え、リスク、機会、法的な意味合いの面から、ビッグデータ社会がもたらす影響も概説している。
