【テスト自動化ツール】習得に要した時間＆評価レポートｂｙ株式会社VSN様

9月16日に開催したセミナー

「不況の時こそ業務を見直す！Webテストツールセミナー」
http://www.vtest.jp/event/2009/20090916.html

にご協力頂いた　株式会社VSN様（http://www.vsn.co.jp/）に、米国ベリシウム社製テスト自動化ツールのvTestおよびvPerformerの習得を体験して頂き、評価結果レポートを頂きました。

--

評価検証にあたっては、VSN社の3名の方が、通常の無料評価版2週間ライセンスをダウンロードの上、標準のマニュアル類およびデモサイトを使用しての評価を実施して頂きました。

その、評価実施項目は、以下の通りです。

• vTest（機能テスト・レグレッションテスト）
  1. インストール／環境設定
  2. テストシナリオ／スクリプト作成、実行
  3. データ駆動テストの作成、実行
  4. テストスクリプトのカスタマイズ
  5. エビデンス（証拠）保存
  6. 結果レポートの保存
  --
• vPerformer（負荷テスト）
  1. インストール／環境設定
  2. テストシナリオ／スクリプト作成、実行
  3. 負荷テスト計画の作成、実行、モニタリング
  4. テストスクリプトのカスタマイズ
  5. エビデンス（証拠）保存
  6. 結果レポートの保存
  --

vTestは、3名の方が検証を行い、習得に要した時間として、13時間・5時間・9時間の合計27時間（平均9時間）という良好な結果が得られました。

※他社製のテストツール使用経験有無、開発経験・スキルによっても習得時間が異なるかと思いますが、今回は、他社製ツールを使用したことも、開発経験もある3名の方が実施しています。

vPerformerについては、1名の方のみが評価検証を行い、12時間での習得という、これまた良好な結果が得られました。

具体的な感想としては、包み隠さずお伝えすると、

• vTest（機能テスト・レグレッションテスト）
  ------------------------------
  1. 習得のしやすさ
  ------------------------------
  　 「vTest簡単使いこなしマニュアル.pdf」により手順の把握が行いやすかった。
  　機能が絞られている為、基本操作はスムースに把握できた。
  ------------------------------
  2. 使い勝手
  ------------------------------
  　スクリプト表示で見づらさがありましたが、基本的には問題なかった。
  ------------------------------
  3. 分かりにくかった点
  ------------------------------
  　取得できないWebイベントもあるが、説明がないのでつまずくことがあった。
  ------------------------------
  4. 改善したい点
  ------------------------------
  　スクリプトビューでファンクションを選択し、ダブルクリックでファンクションの編集ができるようになると、操作性の向上が図れると感じた。
  　マニュアル（手順書）がわかりにくいと感じたので、マニュアルの改修を行うことにより、導入にかかる負荷軽減になると考える。
  ------------------------------
  5. 総評
  ------------------------------
  　プログラミングの知識がある人であれば、慣れればスムースに使用できると思う。
  --
• vPerformer（負荷テスト）
  ------------------------------
  1. 習得のしやすさ
  ------------------------------
  　マニュアル（手順書）に記載レベルの内容に関しては、容易であった。
  　不要な機能、メニュー、ボタンなどが少なくて、どれを選択していいのか迷うことは少なかった。
  ------------------------------
  2. 使い勝手
  ------------------------------
  　画面の部品が少し小さく、フォントも小さい箇所があるので、見にくい箇所があり、使いにくい箇所があった。
  特にスクリプトのコード表示の部分。
  ------------------------------
  3. 分かりにくかった点
  ------------------------------
  　プロキシサーバの設定が分かりにくかった。
  ------------------------------
  4. 改善したい点
  ------------------------------
  　画面が全体的に古いイメージ（Windows2000以前の印象）で作成されているようで、昔のプログラムという印象がある。
  　メニューバーに表示されるアイコンやレイアウトを新しいものにかえると、見易くなると感じた。
  ------------------------------
  5. 総評
  ------------------------------
  　使い始めは全体的に使いにくい印象を受けたが、操作に慣れてくると違和感なく使えるようになった。
  　しかし、スクリプトの修正など、プログラミングの知識がない人にとってはハードルが高いものになっていると感じた。　もっとGUI操作のみでいろいろ行えるのであれば、便利になるのではないかと思う。
  --

--

概ね、良好な評価レポートを得られたかと思います。

プログラミングスキルを有するかたは、スクリプト修正やAPI活用などのVerisium製品の中でもより高度な機能を利用できるため、高機能ツールと比較すると、やや不足しているという印象は、否定できないところかと思います。

そして、早期に対応すべき（対応可能な）改善ポイントも見つかりました。

当社としましても、このようなレポートをメーカと共有して、より使いやすい製品を目指して参りましたが、ここ1年間でのユーザおよび見込客の増加に伴うリクエストの増加にも、広く対応していけるように、頑張りたいと考えております。

--

最後に、このたびの検証を行って頂いた株式会社VSNのご担当者ならびに関係者の皆様には、改めて感謝を申し上げるとともに、今後のVSN様によるテストサービスパッケージ企画を是非とも年内にもリリースできるように、形にして頂きたいと考えております。

--

◆VSN様のテストサービス（アウトソーシング、検証サービス）に関するお問い合わせ先

株式会社VSN
情報通信営業部システムコンサルティング課
TEL:　03-5419-8877
Mail:　itc-sco アットマーク vsn.co.jp　※アットマークを@に置き換えてください。

--