『シグナル&ノイズ 天才データアナリストの「予測学」』2013/11/28
ネイト・シルバー (著), 西内啓 (その他), 川添節子 (翻訳)

 米大統領選で「オバマの勝利」を完璧に予測した希代のデータアナリストのシルバーさんが、情報の洪水のなかから真実(シグナル)を見つけ出す統計分析理論と予測技法を教えてくれる本です。
 予測の精度を高めるためには、「シグナル(真実)」に注目しなければなりませんが、それは「ノイズ(真実から目をそらさせるもの)」に埋もれていて見分けにくいそうです。
 だから「予測」はすごく困難ですが、特に経済・社会関係の予測はかなり外れることが多いような気がします(汗)。この本の中でも、アメリカのTV番組「ザ・マクラフリン・グループ(政治予測)」の1000件の予測結果を分析したら、当たる確率も外れる確率もほぼ同じ(50%前後)だったという事例が紹介されています。確率50%って……何も予測しないのと同じですよね……。
 シルバーさんは、よりよい予測をするためには、次の3原則を守るべきだと教えてくれます。
1)確率論的に考える
2)過去にとらわれず、その時点でベストの予測をする、
3)コンセンサスを探す(一つの情報にとらわれすぎず、いくつもの情報に目配りする)
   *
 そして、定量的データばかりでなく定性的情報にも注意を払い、客観的な評価のもとでバランスよく予測モデルを組み立てることや、判断に限界があることを理解することなども重要だと言います。
 この本の中で、個人的にすごく興味深かったのは、「第9章 機械との闘い」の「ディープ・ブルー」というチェスのプログラムの話。これは、人間のチェス・チャンピョンと対決して勝利した凄いプログラムですが、その開発者のキャンベルさんにとって問題だったのは、すでにディープ・ブルーのチェスの実力が開発者(自分たち)を超えているということだったそうです。見たこともない手を指したときに、それがバグかどうか、よくわからなくなっていると言うのです(!)
「バグを見つけて修正していた初期の段階では、ディープ・ブルーが予期しない手を指せば、何かがおかしいと気づくことができた。そのたびに我々はコードを検証して、最終的には問題を突き止めた。だけど、そういうことはだんだん減っていった。ディープ・ブルーは人間には理解できない問題を解決するようになったんだ」
 ……こんなデバッグの問題まで発生しているほど、コンピュータ(人工知能)の知能は上がっているのですね!
 こういうデバッグを完全に修正することは、今後どんどん困難になっていくのでしょう。でも……たとえ修正しきれなくても、それでもそのコンピュータ(人工知能)は十分に使えると思います。人間の天才だって、間違った知識を記憶していることもあり、間違ったアイデアを言ってしまうことだってあります。それでも多くの場合、「とても有用なアイデア」を出すことが出来るから重用されるのですから。それと同じようなものではないでしょうか。もっともその場合は、「機械だから間違わない」と盲信するのは、やめるべきなのでしょうけど……。うーん、難しいですね……。
 ……本題に戻りましょう。
 この本の中でシルバーさんは、経済予測や地震予測、テロの予測など、現在も予測が困難なものの実情や原因を分析していますが、それに対して予測精度があがっているものとして、気象予報をあげています。その進歩の要因の一つは、「天気予報は毎日おこなわれるので、毎日チェックされることになり、これが調整に役立つ」ことにあるそうです。このように、予測の精度をあげるのに一番の近道になるのは、たくさん予想をする(新しい情報に接するたびに予測を更新する)ことだとか。そして次のように言います。
「予測は、それが重要であるのと同じ理由で難しい。客観的な現実と主観的な現実が交差するところにあるからだ。シグナルをノイズと区別するためには、科学的な知識とともに自己認識も必要だ。いうなれば、予測できないものを受け入れる冷静さ、予測できるものを予測する勇気、そしてその違いを見分ける知恵、である。」
 予測することはとても難しいですが、だからといって予測を諦めてしまう必要はないと思います。たとえ予測が外れまくったとしても、「予測すること」自体にすごく意味があるのだと思います。「予測する」ためにデータを集め分析すると、予測対象のことをより深く理解できるようになりますし、結果的に予測が外れたとしても、その理由を分析し、次の予測に組み込むことで、予測精度を向上させることだって出来るかもしれません。
 すごく参考になる本でした。かなり分厚くて読むのは大変ですが(汗)、「予測」に興味がある方は、ぜひ読んでみてください。
   *    *    *
 なお社会や科学、IT関連の本は変化のスピードが速いので、購入する場合は、対象の本が最新版であることを確認してください。
<Amazon商品リンク>