『数学破壊兵器』（2016年）は、私たちが気づかないうちに日常生活に影響を及ぼしている、増え続けるアルゴリズムの問題を批判的に検証する一冊です。学校や警察を含む多くの企業やサービスが業務の自動化にアルゴリズムを導入する中、悪影響を受ける人は増えています。自動化のなすがままにならないために、自分自身とデータを守る方法を知りましょう。
この本の要点：数学をまったく新しい視点から見る
ビッグデータや、それを活用するアルゴリズムが、消費者の行動、政治、SNSプラットフォームに新たな洞察をもたらしているという話を聞いたことがあるかもしれません。実際、アルゴリズムは至るところに存在します。SNSのフィードを整理し、目にする広告を選別しています。そして、その他の多くの面でも人の生活に影響を与えており、今やどの仕事や学校にアクセスできるかを左右することも少なくありません。
採用や入学の判断は、誰かの直感よりも客観的な計算に基づく方がずっと公平だと思うかもしれません。アルゴリズムは誰もが同じ尺度で判断するのですから。ところが、この要約で学ぶように、状況はそれより少し複雑です。
アルゴリズムには有権者を動かし、民主主義を揺るがす力がある
この要約では、次のようなことも分かります。
- Facebookのフィードを操作すると投票率が上がる理由
- アメリカの大学ランキングに使われたアルゴリズムが、学費を500％も上昇させた経緯
- フロリダで無事故無違反のドライバーが、飲酒運転歴のあるドライバーより高い保険料を払う理由
インターネットは多くの面で民主主義を支えています。独立した声を支える公共のプラットフォームです。しかし、その同じプラットフォームは、会話を操作する強力なプロパガンダ装置にも開かれています。
研究によると、SNSや検索エンジンは、無防備なユーザーの意思決定に影響を与えるアルゴリズムに対して特に脆弱です。研究者ロバート・エプスタインとロナルド・ロバートソンは、アメリカとインドの無党派層の有権者に、複数の政治候補について情報を探すよう依頼し、その証拠を見つけました。ただし有権者たちは特定の検索エンジンを使うよう指示され、その検索エンジンが他より一人の候補を有利にするアルゴリズムを仕込まれているとは知らされていませんでした。結果、参加者はアルゴリズムが推す候補に投票する方向へ20％動きました。
Facebookでも2012年の選挙直前に同様の研究が行われました。ピュー研究所のソロモン・メッシングが、200万人のユーザーのニュースフィードを生成し、政治ニュースを他の投稿より優先する特別なアルゴリズムを設計したのです。Facebookは選挙の前後で参加者を調査し、アルゴリズムが政治を優先するよう調整される前の予想より3％多く投票に行ったという結果が出ました。
特定の検索エンジンやSNSのアルゴリズムがユーザーに影響を与えるよう設計されているかどうかは確実には分からないものの、悪用される可能性が非常に大きいことは明らかです。また、政治候補者たちが票を集める力を持つアルゴリズムをよく自覚していることも明らかです。2012年の選挙に向けて、オバマ氏はデータアナリストチームを抱え、何千人もの有権者にインタビューし、その回答と人口統計・消費者データを組み合わせて数学的なプロフィールを作成しました。そのプロフィールは、全国データベースから似た人々を見つけるために使われました。
プロフィールに基づき、似た興味や背景を持つ人々は同じ政治的見解を共有するだろうと仮定できました。似たデータを持つ人々がグループ化されると、アナリストはそのグループが好みそうな特定の広告を届けるアルゴリズムを作成できました。たとえば環境問題に関心があると示した人には、オバマ氏の環境政策を強調する広告が配信されました。
犯罪を予測するアルゴリズムは偏見も強化する
未来の犯罪を予測するなんて、フィリップ・K・ディックのSF小説のようですが、これは現実の一部です。警察は将来の犯罪者を対象にするためにアルゴリズムを使っています。しかしこのソフトウェアは完璧にはほど遠く、都市の取り締まりに偏りが生じ、特定の人々が不当に目をつけられる事態を招いています。
なぜこうなったのでしょう。アルゴリズムは犯罪が起こりやすい場所を特定するために過去のデータに依存しますが、どのデータをアルゴリズムに入れるかを決めるのは警察です。問題の一部は、警察が「迷惑犯罪」、つまり浮浪や特定の薬物関連犯罪などに集中しがちなことです。こうした犯罪は貧しい地域で起こりやすいため、分析は完全にその地域に偏ってしまいます。結果、警察はパトロールの大半を貧しい地域の通りに送り、住民は不当に標的にされていると感じます。また裕福な地域の警備が手薄になり、犯罪に対して脆弱になります。
同様の組み込まれた偏りは、警察が潜在的な暴力犯罪を予測するために使うデータも歪め、無実の人々が「危険」とレッテルを貼られることにつながります。2009年、シカゴ警察は新しい犯罪予測ソフトウェアを開発するための助成金を受けました。その資金で、殺人に関与する可能性が最も高い400人のリストを作るアルゴリズムを開発しました。その一人がロバート・マクダニエル（当時22歳）で、警察の注目の的となりました。2013年のある日、警官が彼の家を訪ね、警察は彼を見張っていると伝えました。しかしマクダニエルは一度も起訴されていません。
彼は、ソーシャルネットワークでフォローしている人々と、たまたま近所に住む犯罪者だけに基づいてアルゴリズムに要注意人物と判断されたのです。つまり、貧しい地域で育つだけで「潜在的に危険」と見なされる可能性があるのです。公平を期すために言えば、犯罪予測アルゴリズムは人々を守るために設計されていますが、人々の生活を以前より悪化させることも容易にあります。次のセクションで見るように、同じような問題が保険業界も悩ませています。
保険会社は信用情報の悪い人々を食い物にしている
保険会社に詳しければ、顧客ごとに保険料が異なることをご存じかもしれません。もちろん、でたらめにそうしているのではありません。顧客について集めた特定のデータを使っています。自動車保険では、過去の事故件数と過去の信用情報に基づいて支払額を計算するアルゴリズムが使われます。
実際、地域によっては、信用情報が運転記録より重視されます。フロリダがその例で、無事故無違反でも信用情報が悪い成人は、信用情報が優れていて飲酒運転歴があるドライバーより平均で年間1,552ドル多く払っています。つまり、運転技術が完璧でも貧しいドライバーは、裕福なドライバーより保険料を多く払わなければならないのです。そして悪循環が始まります。保険料を多く払わざるを得ないため、家計が苦しい家庭は別の請求書の支払いを滞らせ、信用スコアをさらに悪化させやすくなります。そして現在の保険が切れると、たとえ交通違反を一度もしていなくても、次の契約の保険料はさらに上がります。保険会社の中には、顧客がより安い料金を探し回る可能性を計算するアルゴリズムまで使っているところもあります。
保険会社オールステートは、消費者データと人口統計データを使ったモデルでこれを行っています。アルゴリズムが「顧客が安い料金を探す可能性が高い」と示せば、平均料金から90％も割引した価格を提示することもあります。一方、顧客が他を探す可能性が低ければ、料金は最大800％も上がる可能性があります。しかしオールステートのアルゴリズムが実際にしているのは、正式な教育を受けていない貧しい人々につけ込むことです。その層こそ、他の選択肢を探す可能性が低いからです。
雇用市場もアルゴリズムによって不当に影響されている
何百人もの応募者の中から最良の人材を見つけるのは難しいものです。そこで、データ会社の助けを借りながらさまざまなテストを組み合わせて選考するのは理にかなっています。しかし、これらのテストは特定の人々にとって制約になることが分かっており、特に性格テストのせいで、カイル・ベームのような人が仕事を得るのはほぼ不可能になっています。ベームは双極性障害の治療のため、ヴァンダービルト大学の授業を中退しなければなりませんでした。
2012年には、アルバイトを探し始められるほど回復しました。友人が欠員があると教えてくれたスーパーマーケットチェーンのクローガーに応募しました。不採用になった後、友人に確認すると、性格テストの結果で「レッドライト」になったと言われました。アルゴリズムがベームを「業績が低くなりそう」と判定したのです。残念ながら、彼が応募した他の最低賃金の仕事でも同じことが起きました。そこで彼は父親の助けを得て、「障害を持つアメリカ人法」に基づき7つの企業を相手取り訴訟を起こしました。2016年時点で訴訟は係争中でした。
問題の一部は、データを扱う企業が厄介なミスを犯し得ることです。キャサリン・テイラーがアーカンソー州の赤十字に仕事を申し込んだとき、彼女は不採用となり、その理由は「覚醒剤を製造・販売する意図」の犯罪歴だと告げられました。キャサリンにはほとんど前歴がなかったため、奇妙に思いました。さらに調べると、その罪状はたまたま同じ誕生日の別のキャサリン・テイラーのものであることが分かりました。赤十字にデータを提供していた会社がミスを犯したことも突き止め、彼女はもう少し詳しく調べました。最終的に、少なくとも10社のデータブローカーが同じミスを犯し、彼女を自分が犯したことのない重大犯罪に結びつけていたことを発見しました。
大学ランキングは高等教育に悪影響を及ぼしている
アメリカの大学がこの30年でかなり高額になったことは周知の事実ですが、学費上昇の主な理由の一つが一つの新聞にあることを知る人はほとんどいません。1980年代、USニューズ＆ワールド・レポートは、SATスコアや合格率など、大学の成功を決めると考えたデータを使って米国の大学の質をランク付けするアルゴリズムを使い始めました。すると、このランキングは関係するすべての大学にとって極めて重要になり、各大学はUSニューズのアルゴリズムが使う領域で実績を上げようと動き出しました。しかし、それには資源が必要でした。
この資金争奪こそ、学費が急騰した大きな原因です。1985年から2013年にかけて、高等教育費は500％上昇しました。このランキングだけが上昇の要因ではありませんが、大学が費用を引き上げることを後押ししたのは確かです。USニューズが行った最も有害なことの一つは、合格率を計算式に含めたことです。これにより「滑り止め校」という概念が完全に台無しになりました。従来、滑り止め校とは合格率が高く、ハーバードやイェールのような名門校にも出願する学生の良いバックアッププランになる大学でした。しかしUSニューズは合格率が低い学校ほどランキングで有利にしたため、多くの大学は合格率を下げ、合格通知を減らし始めました。
実際の入学者数を維持するには、どの学生を不合格にするかを選ばなければなりませんでした。数字を見ると、滑り止め校は上位の学生のうちごく一部しか名門校より自分たちを選ばないことが分かったため、彼らを不合格にしても害はないと考えました。しかし、たとえ一部でも優秀な学生が入学してくれれば、学校には利益があったはずです。また、優秀な学生を頭から不合格にする決定は、多くの良い学生の滑り止め計画を台無しにしました。ここまで見てきた他のアルゴリズムと同様、良いアイデアとして始まったものが、結局は害の方が大きくなってしまったのです。
最終まとめ
本書の核心メッセージ：アルゴリズムはもともと、人間特有の偏見や誤った論理を避け、中立で公正であることを目指して作られました。 しかし、保険市場から司法制度に至るまで、今日使われているアルゴリズムの多くは、設計者たちの偏見や誤解をそのまま取り込んでいます。 そして、それらのアルゴリズムは大規模に機能するため、偏りは何百万もの不公平な決定につながります。
実践的なアドバイス：機械に読まれやすい履歴書を書く。
今日、ほとんどの企業は履歴書の自動読み取り装置を使っています。採用される可能性を高めるには、自動読み取りを意識して履歴書を調整しましょう。以下はすぐに使える簡単なヒントです。
- エリアルやクーリエなどのシンプルなフォントを使う
- 読み取り装置が処理できない画像を使わない
- 記号を使わない——矢印のような単純なものでも読み取り装置の混乱を招く
ご意見・ご感想をお待ちしています。
本書のタイトルを件名に、ぜひあなたの考えをお聞かせください。
さらに読みたい方へ：ビクトル・マイヤー＝シェーンベルガー、ケネス・クキエ著『ビッグデータの正体』。『ビッグデータの正体』は、「ビッグデータ」への移行が私たちのデータの収集・活用・考え方をどう大きく変えるのかについて示唆に富む解説を提供します。すでに先を行く個人や企業がビッグデータのツールを価値と利益の創出にどう使っているか、優れた説明と例が満載です。さらに将来を見据え、ビッグデータ社会がもたらすリスク、機会、法的影響についても概説しています。
