チェックリストを使えばレビューの指摘件数増に統計的有意差があったという報告。で、チェックリストをどう使えばよいか？

情報処理学会第170回ソフトウェア工学研究会で発表した内容。坂東祐司、森崎修司、松本健一「セキュリティ要件のレビューにおけるチェックリストの表記方法の比較」。

チェックリストに収録された質問に答えていくことにより、レビュー対象の欠陥を検出する。論文では、90名超の協力者による実験を実施し、チェックリストを使わない場合、表記方法だけが異なる2種類のチェックリストの3つのグループで、指摘の正答数、正答率を調べた。チェックリストを使わない場合と比較するとチェックリストを使用したほうが、正答数、正答率ともに向上し、統計的有意差があった、というもの。

チェックリストを使ったほうが欠陥の検出数、正答率も高くなるという結果となった。今回のチェックリストは論文のタイトルのとおり、セキュリティ要件が満たされているかどうかを調べるためのものだ。チェックリストの出来のよさが検出結果に大きく影響を与える。

長年の蓄積で巻物と化した長いチェックリストを網羅的に消化するだけでは、今回のような結果にはなりにくいだろう。そこで、たくさんあるチェックリストの質問項目のうち、今回のプロジェクトで使うものを選択（テーラリング）する。それをリーダに任せるだけでなく、開発メンバやレビューに参加するメンバ全員でやると、レビューで気をつけるべきこと等を事前に合意して共有することができるはずだ。

そのよさは3つあり、1. チェックリストがコンパクトになること、2. チェックリストを吟味することで、開発対象やレビュー対象への理解が深まること、3. レビューでどのようなことが検査されるかを事前合意できること、だろう。

仮にテーラリングしなくてもチェックリストを事前に共有するだけでも大きく違うように思う。いかがだろうか？