ソフトウェアテストにおける経験の役割を3件のSiemens Austriaのプロジェクトから調べた研究
論文のタイトルはThe role of experience in software testing practiceです。ここ(出版社のサイト: 定期購読や購入が必要です)から原文を読めます。
Beer, A., & Ramler, R. (2008, September). The role of experience in software testing practice. In 2008 34th Euromicro Conference Software Engineering and Advanced Applications (pp. 258-265). IEEE.
目的
ソフトウェアテストの実務においてテストエンジニアの経験(知識、直感、ノウハウ)が果たす役割をケーススタディから定量的・定性的に明らかにすることです。
ケーススタディの設定
Siemens Austria で実施されたCMMIレベル3以上のアセスメントを受けた問題のない(成功した)3件の開発プロジェクトを対象にしています。Multiple Exploratory Case Studyとしています。
データ収集と分析手法
-
半構造化インタビュー: テストエンジニア、開発者、テストマネージャー、プロジェクトマネージャーに対し個別に面談(インタビュー)を実施しています。
-
プロジェクト成果物の分析: 要求定義書、テスト仕様書、テスト計画書、障害リポジトリ、テスト環境記述書などの実データを分析しています。
-
比較とレビュー: シーメンスのテストサポートセンターの改善記録と照合し、主要関係者によるレポートレビューを経て精度を担保。
調査対象となった3ケーススタディの概要は以下の通りです。
ケーススタディ1 (電気通信)
-
プロジェクト規模と体制: 中規模(全35名、テスト担当12名)。欧州各地への分散開発
-
非機能要件(性能・高負荷・可用性等)がテスト全体の60%以上を占める。複数プラットフォーム構成に対応。
ケーススタディ2 (銀行・保険)
-
中規模(全15〜20名)。約1年間の基幹システムWeb化プロジェクト
-
3回のリリースがあるインクリメンタル開発。業務専門家5名からなる独立システムテストチームを体制に持つ。
ケーススタディ3 (鉄道システム)
-
大規模(約100名)。世界各国向けカスタマイズを伴う製品開発
-
3回のリリースがあるインクリメンタル開発。業務専門家5名からなる独立システムテストチームを体制に持つ。セーフティクリティカル分野で、CENELEC規格(EN 50128等)とVモデルに準拠し、100%要件・コード網羅が必須である。
調査結果
経験が直接寄与する主要なテスト活動として以下があることが報告されています。
-
テストケースの設計・導出: 仕様書の解釈において、ドメイン経験とテスト経験が不可欠としている。特に要件仕様書が不完全または自然言語で曖昧に書かれている場合、経験豊富なテストエンジニアが実務上の運用シナリオを補完してテスト条件を設定します。
-
回帰テストの選定: システム変更に伴う影響範囲や暗黙の依存関係を見極める際、過去の経験と開発者との協力でどのテストを回帰テストとして実施するか選びます。
-
テスト自動化と環境構築: 自動化スクリプトの作成や、複雑なシミュレーター・プロトコルアナライザの設定・デプロイ記述には、高度なツール経験と技術的ノウハウが求められます。
経験によるテストの定量的・定性的価値の評価として以下が報告されています。
-
不完全な要求仕様への対処: すべてのプロジェクトで完璧な要求定義書を作成することは時間・コストの制約上困難でした。テストエンジニアの経験を活用することで仕様の欠落や矛盾を補い、リリース遅延を防ぐ効果が確認されました。
-
バグ検出の高い効果(ケーススタディ2の定量データ): ケーススタディ2では、経験に基づいて追加されたテストケースは全体テストケースの10〜20%程度でしたが、検出されたすべてのバグの約50%(その多くが重大バグ)を発見しました。
-
コストと冗長性のトレードオフ: 一方で、ケーススタディ3のようにエラー推測(Error Guessing)等の経験手法を多用しすぎると、テストケースの重複が増加し、メンテナンス工数や実行コストが肥大化するリスクも指摘されました。
結果をふまえた提案
論文では、上述の結果をふまえて実務に対して、高度なテスト設計には単なるテスト技法だけでなく、深いドメイン知識が不可欠であり、両者の知識を持つ人材育成とチーム編成が成功の鍵となるとしています。また、仕様書の品質向上は重要ですが、過度な完璧主義を避け、不完全さを経験に基づくテスト(エラー推測等)で補完する現実的なアプローチも有効です。
この論文の研究とは異なりますが、私たちの研究の一環として、イベント参加者全員で同じテストベースでテストをして、著名テストエンジニア(miwaさん、リナさん、Sammyさん)のテスト方針を聞くイベントを2026年11月11日19時~計画しています。申込みは下のリンクからできます。イベントの参加のためには、テストに加えて心理学タスクやアンケートを実施いただく必要があります。テスト対象は欧州のコンサルタントが作成した工具のオンラインショッピングサイトです。1時間半くらいで終わりますので、ぜひチャレンジしてください。