【書評】ビッグデータは予測を救うのか――"The Signal and the Noise"
ネイト・シルバー氏の"The Signal and the Noise: Why So Many Predictions Fail-but Some Don't
 | The Signal and the Noise: Why So Many Predictions Fail-but Some Don't Nate Silver Penguin Press HC, The 2012-09-27 売り上げランキング : 11761 Amazonで詳しく見る by G-Tools |
ネイト・シルバー氏は統計学の専門家で、過去に野球選手のパフォーマンスを予測する理論"PECOTA"を開発したことでも知られる人物。現在はニューヨークタイムズ紙に"FiveThirtyEight"というブログを書いたり、TEDで講演したりといった活動も行っています。その彼が「予測」をテーマに、当たる予測と外れる予測を分けるものは何か、その可能性と限界はどこにあるのか等々について、様々な事例（野球や選挙、株価、天気予報、さらには真珠湾攻撃やテロ事件まで）を基に考察を行ったのが本書です。
タイトルの「シグナルとノイズ」という表現は、IT系のニュースに触れている方であればお馴染みのものかもしれませんね。もともとは通信工学の用語ですが、情報に関して使われる場合には、「シグナル」は有益な情報を、「ノイズ」は文字通りの雑音を意味します。ある情報の中からシグナルとノイズを切り分け、いかにシグナルだけを基にした推論が行えるか。当然の話ですが、それが予測の精度を高める上で重要な要素のひとつであるとシルバー氏は解説します。
その意味で、シルバー氏はビッグデータという現象に対しては中立的な立場を取っています。確かにデータ量が増えれば手がかりとなる情報も増えるが、同時に「ノイズ」も増えるものであり、S/N比（ノイズに対してシグナルがどの程度の比率で存在しているか）は小さくなる。従ってシグナルを拾うことが逆に難しくなったり、ノイズをシグナルと取り違える事態が生まれやすくなったりする、というわけですね。さらに検証しなければならない仮説や相関性の数も爆発的に増えるため、ビッグデータ時代だからといって予測が容易になるわけではないと主張しています。
また忘れてならないのは、予測に関わる「予測以外の要素」です。本書は予測に関わる様々な理論、統計学やベイズ推定といった要素が解説されているのですが（難解な数式が飛び交うわけではないのでご安心を）、それと同じぐらいのボリュームを割いて解説しているのが、純粋な予測を歪めてしまう人間の心理的傾向や、社会的・政治的インセンティブの要素です。
面白い例を1つだけご紹介しましょう。天気予報に「降水確率は10%」と言われて雨が降るのと、「降水確率は30%」と言われて晴れるのとではどちらが望ましいでしょうか？どちらも「予測（予報）が外れる」という点では望ましくない事態なわけですが、カサを持っていないのに雨が降る方が嫌なはずです。従って天気予報を行う人物は、怒りを買わないために降水確率を高めに見積もる傾向があるのではないか――ということで調査してみたところ、実際にそのような傾向が見られたのだとか（本書ではもう少し詳しく解説されていますので、興味のある方はぜひ確認してみて下さい）。こうした例からも分かるように、「予測」とは純粋な数式の産物ではなく、様々な要素から影響を受けた上で私たちの前に提示されるものであることを、本書は明らかにしてくれます。
そういった意味からも、「ビッグデータ時代には予測が楽になる」といった楽観視はできないのだと言えるでしょう。もちろん技術の視点からは、自分自身ビッグデータというものに大きな可能性を感じています。しかしその可能性を最大限発揮するには、技術以外の要素も同じように重視して対策を練らなければならない――そのための教科書として、「予測」という行為の全体像を捉える上で貴重な知見を与えてくれるのが本書ではないかと感じた次第です。
◇◆ メルマガあり〼 ◆◇
毎週金曜日のお昼ごろ配信してます。よろしくお願い致します！
【○年前の今日の記事】
■ 【書評】Jeff Jarvisの新刊"Public Parts: How Sharing in the Digital Age Improves the Way We Work and Live" （2011年10月17日）
■ いまこそ、マイクロソフトを！ （2008年10月17日）
■ 礼儀のない人間は強くなれない （2007年10月17日）
■ 「氷山の一角」は、見えない部分より見えている部分の方が恐い （2006年10月17日）