統計データの利活用が進歩しつつある現在、専門家の直感だけに頼るやり方は見直しても良いのではないだろうか？

当初予定した総工費１３００億円が２５２０億円に膨らみながらも有識者会議が了承したというニュースが報じられたあたりから新国立競技場のネタを友人がシェアする機会が増えています。

１０日には下村博文・文部科学相が新国立競技場の国際コンペで審査委員長を務めた建築家の安藤忠雄氏に対して「（当初予定した総工費の）１３００億円がデザインする人に伝わっていたか。値段は値段、デザインはデザインということならば、ずさんだったことになる」と発言したようで、このような事態に陥っ陥った原因の追求が今後も続くものと考えられますが、当該プロジェクトがうまくゴールに到達できるのかというとこれはまた別問題でかなり高いハードルが幾つもあるという悩ましい状態です。

この件、ダニエル・カーネマンの「ファスト＆スロー」を読んだ方はご存じかと思いますが第３部　自信過剰には以下のような章があります。

第２０章　妥当性の錯覚
第２１章　直感 対 アルゴリズム
第２２章　エキスパートの直観は信用できるか
第２３章　外部情報に基づくアプローチ

ここではポール・ミールという心理学者の訓練を積んだ専門家の主観的な印象に基づく臨床的予測と、ルールに基づく数項目の評価・数値化による統計的予測とを比較し、どちらが優れているかを分析した結果、１４名のうち１１名の予測は、統計的アルゴリズムを下回ったことを紹介しています。

このような事から、人々が自分の直感に対して抱く自信は、その妥当性の有効な指標とはなり得ないという原則をダニエル・カーネマンは紹介しつつ、自分の判断は信頼に値すると熱心に説く輩は、自分も含めて絶対に信用するな、とも指摘しています。

同書では、予測可能なしっかりした手がかりが存在する場合には、機会が与えられれば人間はちゃんと問題を発見するが、ノイズが多い環境では、統計的アルゴリズムは人間を大幅に上回るとしており、結果から私たちは何を学んで今後に活かせるだろうと考えます。

有識者会議というものの有効性についてダニエル・カーネマンは興味深い知見を与えてくれている訳ですが、「第２３章　外部情報に基づくアプローチ」で紹介されている「計画の錯誤」のブロックでは、政府や企業が犯した計画の錯誤の例として以下のようなものが紹介されています。

• スコットランドの国会議事堂の総工費４０００万ポンドと見積もられていたが、落成したときの総工費は４億３１００万ポンドに
• 世界各地で実施された鉄道プロジェクトの９０％以上のケースで予想利用者数が過大に見積もられていた。平均して予想利用者数は１０６％多めに見積もられ、平均工費は４５％低めに見積もられていた。
• アメリカで台所の改修にかかった費用は、当初予算平均１万８６５８ドルだったが、実際に支払った額は、平均３万８７６９ドルだった

ここでは、予算オーバーの原因は、計画立案者や意思決定者の楽観主義だけでなく、請負業者は、当初計画を途中でグレードアップさせることによって、もうけの大半をひねり出すという指摘をしており、このようなケースにおいて計画の錯誤を回避する責任は、計画の可否を決める意思決定者にかかっており、彼らが外部情報の必要性を否定するようだと、計画の錯誤は避けられないとしています。

合理的ではあるのですがデータが示した結果から機械的に判断をされることへの拒否感を自分も感じる文系な私がおりますが、計画の錯誤を減らすためにこのベント・フリウビアのアプローチを取り入れることは有効だろうと考えます。

「多くの人は過去の分布に関する情報を軽視または無視しがちであり、この傾向がおそらく予測エラーの主因だと考えらえる。したがって計画立案者は、入手可能なすべての分布情報が十分に活用できるように、予測問題の枠組みを整える努力をしなければならない」

フリウビアはオックスフォード大学の教授で、このアプローチを「参照クラス予測法」として数か国の輸送プロジェクト応用した実績があり、世界各国の数百件に上るプロジェクトについての、計画と結果を収録したデータベースを構築し、起こりうる予算オーバーと納期遅延およびプロジェクトタイプ別に起こりうる実行不能、不十分に関する統計情報を引き出せるようにし、外部情報に基づくアプローチを容易に実行できるようにしているそうです。

そして、この予測法が公共プロジェクトを担当する行政担当者が誤った方向に走らないよう、類似案件における予算・納期オーバーのデータを提供することにあったというのは興味深いものがあります。

今回の新国立競技場の国際コンペ承認プロセスにおいてこのような過去のプロジェクトにおける統計データが活用されたかどうか知る由もありませんが、「計画の錯誤を減らすには」の最後の一文をご紹介して今日は終わりにしたいと思います。

どんな組織も、各部門が過度に楽観的な計画案を提出して予算をせしめようとする傾向に、賢く対処しなければならない。うまく運営されている組織では、計画通り実行した立案者報い、困難を予想できず、また予想不能の困難があり得ることを見逃していた立案者、すなわち無知に無知だった立案者を罰している。