生還した戦闘機

統計の世界では有名な話、らしいのですが、面白いエピソードなのでちょっと。ご存知の方はご勘弁を。

積ん読していた『組織行動論の実学―心理学で経営課題を解明する』を読み終えつつあるのですが、第12章にこんな話が紹介されていました：

第2次世界大戦中、統計学者のエイブラハム・ワルドは、敵からの攻撃に対する戦闘機の脆弱性について調査していた。入手したデータはいずれも、ある部分の被弾頻度が他の部分のそれより過度に多いことを示していた。

当然、軍関係者は、この頻度の多い部分を補強すべきであると結論した。しかし、ワルドのそれはまったく正反対のものだった。いわく、最も被弾の少ない部分を補強すべきである。

彼の意見は、データに内在する選択バイアスを踏まえたものだった。得られたデータは帰還した戦闘機のものばかりである。ワルドは次のように推論した。

致命的な部位に被弾した場合、帰還できる可能性は低くなる。逆に、被弾しても帰還した戦闘機は、そのような致命的な部位を攻撃されたのではなかったと考えられる。

それゆえ、ワルドはこのように主張した。被弾に耐えて帰還した戦闘機の傷んだ部分を補強しても何の効果もないと。

目の前にあるサンプルは、「無事に生還した戦闘機」という時点で、既にバイアスがかかっている――従って「無事に帰ることができなかった戦闘機」という、見えないサンプルも考慮する必要がある、と。冷静に考えればその通りなのですが、現実にはこんな分かりやすい事例ばかりではないでしょうから、うっかり見過ごしてしまいそうな落とし穴です。しかも「被弾が多い＝危険」ではなく、「被弾が多い＝それなのに生還できたのだから問題ない＝むしろあまり被弾していない部位に目を向けないと」という発想は、注意していないとなかなかできないものでしょう。

大ヒットした商品に対抗するために、「○○キラー」と呼ばれる商品が開発されることがよくあります。大抵そういった商品は本家に敵わないわけですが、その理由はいわゆる劣化コピーになりやすいというだけでなく、大ヒット商品という「生還した戦闘機」だけしか見ていないことにも一因があるのではないでしょうか。

あの商品は大ヒットした。しかし多くのユーザーは○○という部分に文句を言っている。これこそ弱点であり、ここを補強して他の部分をそっくりコピーしてしまえば、よりヒットする商品ができるはずだ！

……と流石にここまで単純ではないと思いますが、批判されている部分を弱点と勘違いしてしまう、ということがあるかもしれません。ところが弱点に見えたものは、先ほどの例で言う「被弾の多い部位」に過ぎなかった――つまり「攻撃を受けながらも生還（大ヒット）できた部位」であり、そこを補強しても意味がなかった、と。その危険を避けるためにも、似たようなコンセプトながら消えていった商品（iPodに対するRioとか）までも、本当は研究対象にしなければならないのでしょう。

「そんなこと分かりきっているよ」と言われてしまうかもしれませんが、打ち落とされた戦闘機の分析は、生還した戦闘機を対象とした場合以上に困難なものです。つい手を抜いてしまったり、成功事例の分析で満足してしまったりということが往々にしてあるでしょう。「僕らは世界の半分しか見ていないのではないか？」という疑問を、常に胸に抱いている必要があるのだと思います。