これからのソフトウェア開発での計測に求められると思ったこと2つ - IBMとNASAでの事例から
IWSM/MENSURA2011というカンファレンスに参加しました。正式名称はThe Joint Conference of the 21st International Workshop on Software Measurement (IWSM) and the 6th International Conference on Software Process and Product Measurement (Mensura)と長いです。
会議は2日間の日程で開催され、両日とも午前中に基調講演セッションがありました。偶然でもあるのですが、基調講演者はお二人とも産学両方のご経験のある方です。2つのセッションとも会議の主題である計測に強く関連する内容であり、企画段階から楽しみにしていました（私は基調講演のとりまとめを担当しました）。
2つの基調講演から感じたことは、開発メンバが自律的、自発的になるために計測、メトリクスには今まで以上に透明性と合意が求められるのではないかということです。透明性は関係者の誰もがその仕組みを理解でき、ごまかせないこと、合意はその計測結果をどのように活用するか関係者で共通認識ができることを指しています。具体的に私の印象に残った内容をピックアップして紹介します。
初日は学→産のご経験のあるIBM 上村氏の"Business Analytics and Optimization in Software Development - Experience at IBM Rational"でした。
最初に紹介されたトピックは、ソフトウェアや製品の新機能の要求の優先順位付けです。関係者が各々の要求の優先順位を決めます。単純に順位付けが難しいときにAHP(Analytic Hierarchy Process)を使い関係者の投票によって決めていくそうです。たとえば、プロダクトライン開発で次にどのような機能を実現するかをプロダクトの営業担当の方を含め、投票によって決めたりするそうです。バックグラウンドのアルゴリズムから実際に使ったときにどのような効果や課題ががあるかまでを幅広く紹介いただきました。営業・販売メンバを含め関係者が全員投票して要求の優先順位が決まるというのは、その結果に全て従うかどうかは別として、透明性が高いといえそうです。Focal Pointという製品で使われているそうです。
他にもダッシュボードという機能をまじえマネジメントレビューの方法を紹介されていました。見積りや計画等、実際におわらないとわからないものは、そのことを明示して別物として扱っており、たとえば確率分布のように「このあたりになる可能性が高い」という予測を示します。リリースのタイミングや機能から得られる価値（利益）は不確定要素なので、何か一つの値として扱うのではなく確率分布として扱うそうです。不確定要素はそのように扱うという点で関係者の合意や共通認識には大事なことだと感じました。
2日目の基調講演は、産→学の経験を持つハワイ大学Daniel Port氏の"Measurement Impossible: How a Measure for Value Saved NASA JPL’s Software Assurance Program"でした。タイトルが刺激的です。
内容はNASAのJet Propulsion Laboratoryでのソフトウェアの品質保証の話です。Port氏が大学研究者としてNASA JPLでの品質保証をよりよいものにしていったときの経験と内容が紹介されました。品質保証部門のメンバ自身が役に立っていないのでは？と考えてしまう危機的な状況に陥り、様々な調査や品質保証のあるべき姿を検討したそうです。
具体的にはアンケートやインタビューからプロジェクト関係者ごとにソフトウェア品質保証に求める内容がばらばらで複雑になっていること、管理者はソフトウェア品質保証の費用を正当化するのに非常に困っていることが明らかになったそうです。品質保証部門のメンバの間にも、品質保証には意味があるのか、止めてしまってはどうかという話が出てくるほどだったそうです。その理由を議論、検討すると品質保証の価値がよくわかっていないのではないかとなったそうです。
最終的に品質保証を「品質保証とは、現時点ではわかっていない潜在的なリスクに関する情報を買う行為である」と定義できたそうです。この定義の意味は非常に大きいと思いました。これにより「品質保証が悪い」という意識を「どれくらいコストをかけて情報を買えばよいかをみんなで考える」という意識に変えることができたと推測されます（推測は私がしています）。結果として、品質保証部門は危機を免れたそうです。
今回の講演では少し早足でついていけなかったのですが、価値のモデル化には相当な手間をかけていた様子で様々な（統計）モデルが紹介されていました。
こちらの講演にも品質保証に関する関係者の合意と透明性を感じました。前述の品質保証の定義は、誰かが悪いとして思考停止するのではなく、全員で解決のための道を模索すべきであることを暗示しているように感じました。