IBM Rational Quality Manager ( ) IBM Rational Functional Tester ( テスト管理

IBM Rational Quality Manager (テスト管理)
IBM Rational Functional Tester (テスト自動化)
の連携によるテスト効率化
© 2011 IBM Corporation
アジェンダ
本資料について
Rational Functional Tester (RFT)を使用したテストの流れ
Rational Quality Manager (RQM) の概要
RFT環境におけるRQMの活用例
• RQM-RFT連携時の成果物イメージ
① 自動テストの進捗管理
② 自動テストの履歴管理
③ 分散したテストの管理と実行
④ 余剰マシンの自動テストへの活用
まとめ
考慮点
関連記事
© 2011 IBM Corporation
2
本資料について
● 本資料はIBM Rational Functional Testerのユーザーまたは、自動テストの自動化に関心
のあるユーザー向けにIBM Rational Functional Tester とIBM Rational Quality Manager
の連携の概要を紹介する資料です。
● 本資料で使用している製品およびバージョンは以下の通りです。
IBM Rational Functional Tester V8.1.0.1
IBM Rational Quality Manager V2.0.0.1 Standard Edition
● 連携の手順についての詳細は、各製品のInformation Centerを参照してください。
● 本資料では製品名に対して以下の略称を使用しています。
IBM Rational Functional Tester – “RFT”
IBM Rational Quality Manager – “RQM”
© 2011 IBM Corporation
3
RFTを使用したテストの流れ
● RFTを使用すると画面ベースの機能テスト、回帰テストの実施、結果の記録が自動化され
ます。
● 進捗の管理や終了後のレポートの作成などは、RFTの使用に関わらず発生する作業であ
り、多くの場合は手作業で行っています。
1 テスト計画
テスト計画を
計画を立てる
テスト責任者
テスト責任者
2 テストケースを
テストケースを作成する
作成する
テスト設計者
テスト設計者
手作業で
手作業で実施
3 テストスクリプトを
テストスクリプトを作成する
作成する
RFTで
で
自動テスト
自動テスト
4 テストを
テストを実行する
実行する
テスト担当者
テスト担当者
5 テストの
テストの結果を
結果を記録する
記録する
6 障害があれば
障害があれば報告
があれば報告する
報告する
手作業で
手作業で実施
7 進捗を
進捗を管理する
管理する（
する（適宜）
適宜）
8 テスト結果
テスト結果をまとめる
結果をまとめる
© 2011 IBM Corporation
テスト責任者
テスト責任者
プロジェクト責任者
プロジェクト責任者
4
自動テストが定着すると新たな課題・要望が発生する
● テストの実施は自動だが、進捗
進捗の
管理
進捗の管理は別途スプレッドシートなど
で行う必要があり手間が掛かる。
● テストログが大量にあり、特定のリリースのテスト
テスト履歴
テスト履歴をすぐに
履歴をすぐに確認
をすぐに確認
できない。
● テストスクリプトが大量にあり、機能修正後に実行するスクリプトを
見つけるのに手間が掛かる。修正後に実行
実行が
実行が必要な
必要なテストを
テストを見つ
けて実行
けて実行できるようにしたい。
実行
● テストスクリプトが大量にあり、実行に時間が掛かっている。余
余った
マシンを
マシンをテストに
テストに活用して、テストを効率よく実行したい。
活用
© 2011 IBM Corporation
5
Rational Quality Manager (RQM) の概要
品質に関わる「要求、テスト、障害」までのテストサイクル全体をまとめます
●
コラボレーティブなデリバリー環境でビジネス駆動の品質管理を実現する製品
●
Webベースのテスト管理ツール
テストに関する情報を一元化し、チームのコミュニケーションを促進
ワークアイテム(タスク)を作成し優先度や作業を明確化して追跡
●
主な機能
テスト計画を中心に様々な情報を管理
テスト要件
Rational
RationalQuality
QualityManager
Manager
テスト環境
品質ダッシュボード
品質ダッシュボード
テスト・スクリプト(手動・自動)
テスト管理
テスト管理
テスト実行結果
テストで発見された障害
要求
レポート
テストの作成 テストラボ
テストの実行 結果の
結果のレポート
テストの
テストラボの
の テストの
テストの計画 テストの
管理
手動テスト
手動テスト
障害
手動テストの文書作成と実行の効率化
一貫性をもった文書作成や実行の管理
ダッシュボード
機能テスト
機能テスト
回帰テスト
回帰テスト
負荷テスト
負荷テスト
Webサービス
Webサービス
テスト
静的テスト
静的テスト セキュリティー
テスト
テスト自動化
ツール連携
全テスト情報を様々な観点で分析
© 2011 IBM Corporation
6
RFTとRQMの連携により効率的なテストの管理を実現
Functional Tester
機能テストの自動化
RQM
テスト計画や結果の管理
100
AAA
BBB
CCC
DDD
EEE
FFF
GGG
80
60
40
20
0
1
画面ベース
画面ベースの
ベースのテスト実施
テスト実施を
実施を効率化
2
3
4
テストに
テストに関わる情報
わる情報の
情報の管理を
管理を効率化
RFTの
の自動テスト
のテスト管理機能
自動テスト機能
テスト機能と
機能とRQMの
テスト管理機能を
管理機能を連携させることで
連携させることで
統合的な
統合的な品質管理
品質管理を
管理を実現できます
実現できます
© 2011 IBM Corporation
7
RFT環境におけるRQMの活用例
ここからRFT環境での4つのRQM活用例をご紹介します
RQM活用例① 自動テストの進捗管理
RQM活用例② 自動テストの履歴管理
RQM活用例③ 分散したテストの管理と実行
RQM活用例④ 余剰マシンの自動テストへの活用
© 2011 IBM Corporation
8
RQM-RFT連携時の成果物イメージ
RQM
テスト計画
テスト計画
RFT
①RQMテストケース
テストケースと
テストケースと
RFTスクリプト
スクリプトを
関連付け
スクリプトを関連付け
テストスクリプト
テストケース
②RQMテストケース
テストケースから
テストケースから
RFTスクリプト
スクリプトを
スクリプトを実行
自動テスト
自動テストの
テストの実行
テストログ
テスト実行記録
テスト実行記録
③RFTの
のテストログの
テストログのサマリーが
サマリーが
RQMの
の結果に
結果に取り込まれる
テスト実行結果
テスト実行結果
障害
リンクになっている成果物
生成される成果物
© 2011 IBM Corporation
9
RQM活用例①
自動テストの進捗管理
RFTの
のテストログ
RQMの
のテスト結果
テスト結果
テストの詳細な実行結果を記録
テスト実行記録の一覧
個々のテストの
テストの結果だけでなく
結果だけでなく、
だけでなく、テスト全体
テスト全体の
全体の進捗状況
を把握できる
把握できる
© 2011 IBM Corporation
10
RQM活用例①
自動テストの進捗管理
進捗状況は
進捗状況は「実行傾向」
実行傾向」レポートで
レポートでビジュアルに
ビジュアルに確認
日/週
週/月単位
月単位の
月単位の目標テスト
目標テスト数
テスト数の達成度合いと
達成度合いと
進捗の
進捗の傾向を
傾向を把握できる
把握できる
マイルストーン1
マイルストーン
マイルストーン2
マイルストーン
実績値は
実績値はテストの
テストの実行結果から
実行結果から
RQMが
が収集
予定完了数、
予定完了数、予定し
予定し工数は
工数は事前に
事前に定義
（RQMで
で自動算出も
自動算出も可能）
可能）
© 2011 IBM Corporation
11
RQM連携手順 RQMテストケースとRFTスクリプトを関連付け
(1) RFTスクリプト
スクリプトを
へインポート(参照
スクリプトをRQMへ
インポート 参照のみ
参照のみ)
のみ
(2) RQMテストケース
テストケースに
テストケースにスクリプトを
スクリプトを追加
テストケース
テストスクリプト
© 2011 IBM Corporation
12
RQM連携手順 RQMテストケースからRFTスクリプトを実行(1/2)
(1)実行前
実行前に
マシンで
を開始しておく
実行前にRFTマシン
マシンで“RFT Adapter for RQM”を
開始しておく
(2) RQMテストケース
テストケースを
テストケースを実行
テストケース
(3)実行環境
実行環境や
実行環境やマイルストーンの
マイルストーンの情報を
情報を設定（
設定（テスト実行記録
テスト実行記録が
実行記録が自動生成される
自動生成される）
される）
© 2011 IBM Corporation
13
RQM連携手順 RQMテストケースからRFTスクリプトを実行(2/2)
(3)RFTの
のテストスクリプトが
テストスクリプトが起動され
起動され、
され、自動テスト
自動テストが
テストが実行される
実行される
RFTの
の再生モニター
再生モニター
© 2011 IBM Corporation
14
RQM連携手順 RFTのテストログのサマリーがRQMの結果に取り込まれる
(1)RFTの
のテスト実行
へ取り込まれる
テスト実行が
実行が完了すると
完了すると結果
すると結果は
結果はRQMへ
(2)詳細
詳細な
ログを
詳細な結果の
結果の確認は
確認はリンクから
リンクからRFTログ
から
ログを開く
© 2011 IBM Corporation
15
RQM活用例②
自動テストの履歴管理
特定の
特定のリリースの
リリースのテスト結果
テスト結果を
結果を確認するには
確認するには
テスト実行
テスト実行レコード
一覧から
実行レコードの
レコードの一覧から
方法①
方法①マイルストーンで
マイルストーンでソートして
ソートして確認
して確認
方法②
方法②フィルターで
フィルターで絞込み
絞込み
© 2011 IBM Corporation
16
RQM活用例②
自動テストの履歴管理
特定の
特定のリリースの
リリースのテスト結果
テスト結果を
結果を確認するには
確認するには
マイルストーンを
マイルストーンを指定した
指定したレポート
したレポートを
レポートを生成
例）TERカウントを使用した実行の状況
そのマイルストーン
そのマイルストーンのみの
マイルストーンのみのレポート
のみのレポートが
レポートが生成される
生成される
クリックすると
クリックすると該当
すると該当ステータス
該当ステータスの
ステータスの結果一覧を
結果一覧を表示
© 2011 IBM Corporation
テストケース・
テストケース・テスト環境
テスト環境・
環境・マイルストーンが
マイルストーンが同じ条件で
条件で複数回実行すると
複数回実行すると
数は加算されず
加算されず最新
されず最新の
最新のテスト結果
テスト結果が
結果が集計される
集計される
17
RQM活用例③ 分散したテストの管理と実行
実行が
実行が必要な
必要なテストケースを
テストケースを検索して
検索して
テストスイートで
ストスイートで一括で
一括で実行可能
RQM
検索機能に
検索機能に対する
テストだけ
テストだけ実行
だけ実行したい
実行したい
該当ケース
該当ケース
を検索
特定の
特定のテストケース番
テストケース番
号のみ実行
のみ実行したい
実行したい
テストケース
テストケース
テストケース
テストケース
テストケース
特定した
特定したテストスイート
したテストスイートを
テストスイートを「テストスイート」
テストスイート」でまとめて実行
でまとめて実行
テストスイート
RFT
RFT
テストスクリプト
テストスクリプト
自動テスト
自動テストの
テストの実行
自動テスト
自動テストの
テストの実行
テストログ
テストログ
テストケース
テストケース
テストケース
複数の
マシンに
複数のRFTマシン
マシンに分散して
分散して実行
して実行することも
実行することも可能
することも可能
© 2011 IBM Corporation
18
RQM活用例③
分散したテストの管理と実行
テストを
テストを実行する
実行するタイミング
するタイミングを
タイミングを指定するには
指定するには
テスト実行
テスト実行スケジュール
実行スケジュールを
スケジュールを作成
自動実行したい
自動実行したい日時
したい日時を
日時を指定する
指定する
Rational Team Concertでの
での
ビルド完了後
ビルド完了後に
完了後にテストを
テストを開始する
開始する指定
する指定も
指定も可能
自動実行結果の
自動実行結果の履歴は
履歴は一覧から
一覧から確認可能
から確認可能
© 2011 IBM Corporation
19
RQM設定手順 RQMテストスイートの作成(1/2)
(1) テストスイートを
テストスイートを作成し
作成し、テストケースを
テストケースを追加
テストスイート
(2) 実行したい
実行したいテストケース
したいテストケースを
テストケースを検索
グループ別表示
グループ別表示で
別表示で
検索機能の
検索機能のテストケースを
テストケースを特定
フィルターで
フィルターで
テストケース番号
テストケース番号
「TC02」
」を含むケース
のみを表示
のみを表示
© 2011 IBM Corporation
20
RQM設定手順 RQMテストスイートの作成(2/2)
(3) テストスイートを
テスト・
テストスイートを実行すると
実行すると関連
すると関連する
関連するRFTテスト
する
テスト・スクリプトが
スクリプトが実行される
実行される
RFTスクリプト
スクリプト
RFT実行
実行マシン
実行マシン
（変更可能）
変更可能）
(4) スイートの
スイートの実行結果が
実行結果が表示される
表示される（
される（個々のテストケースの
テストケースの結果も
結果も参照可能）
参照可能）
© 2011 IBM Corporation
21
RQM活用例④ 余剰マシンのテストへの活用
空きマシンを
マシンを自動テスト
自動テスト実行
テスト実行マシン
実行マシンとして
マシンとして活用
として活用できる
活用できる
RFT
RQM
テストスクリプト
テストケース
テストケース
テストケース
テストケース
テストケース
・・・
RFTスクリプト
スクリプトを
スクリプトを
共有
②スクリプトの
スクリプトのコピー
・・・
①テスト実行
テスト実行
③結果サマリー
結果サマリーの
サマリーの送付
空きマシンに
を導入し
マシンにRFTを
導入し、
RQMアダプター
アダプターを
アダプターを開始
© 2011 IBM Corporation
RFT
RFT
テストスクリプト
テストスクリプト
RFT
テストスクリプト
自動テスト
自動テストの
テストの実行
自動テスト
自動テストの
テストの実行
自動テスト
自動テストの
テストの実行
テストログ
テストログ
テストログ
22
RQM設定手順 共有スクリプトのインポート
(1) RFTプロジェクト
プロジェクトの
プロジェクトを
プロジェクトのディレクトリを
ディレクトリを共有するか
共有するか共有
するか共有ディレクトリ
共有ディレクトリ上
ディレクトリ上にRFTプロジェクト
プロジェクトを配置する
配置する
(2)共有
共有ディレクトリ
共有ディレクトリ上
ディレクトリ上のスクリプトを
スクリプトをインポート
共用ディレクトリ
共用ディレクトリを
ディレクトリを指定
© 2011 IBM Corporation
23
RQM設定手順 余剰マシンの登録
(1) 余剰マシン
を導入し
アダプターを
サーバーへ
余剰マシンに
マシンにRFTを
導入し、RQMアダプター
アダプターを起動（
起動（RQMサーバー
サーバーへ接続）
接続）
(2)RQMの
のLabリソース
リソースとして
のマシンが
リソースとして (1)の
マシンが登録される
登録される
(3)テスト
テストの
テストの実行時に
実行時にマシンを
マシンを選択
テストケースごとに
テストケースごとに
マシンを
マシンを指定
© 2011 IBM Corporation
24
RQM設定手順 余剰マシンでのテスト実行
(4) テストスイートを
テストスイートを実行すると
実行すると、
すると、設定された
設定されたマシン
されたマシンで
マシンでスクリプトが
スクリプトが実行される
実行される
各マシンで
マシンでスクリプトが
スクリプトが
実行される
実行される
© 2011 IBM Corporation
25
まとめ：RQMで自動テストの課題・要望に対応
● テストの
などで行
テストの実施は
実施は自動だが
自動だが、
だが、進捗の
進捗の管理は
管理は別途Excelなどで
別途
などで行う必要があり
必要があり手間
があり手間が
手間が掛かる
•RQM
RQMで
RQMでテストケースと
テストケースと自動テスト
自動テストの
テストの結果を
結果を連動させ
連動させ、
させ、RQMレポート
RQMレポートで
レポートでタイ
ムリーに
ムリーに進捗を
進捗を確認
● テストログが
テストログが大量にあり
大量にあり、
にあり、特定の
特定のリリースの
リリースのテスト履歴
テスト履歴をすぐに
履歴をすぐに確認
をすぐに確認できない
確認できない
•RQM
RQMの
RQMのフィルターや
フィルターやレポートで
レポートでリリース別
リリース別のテスト結果
テスト結果を
結果を一覧
● テストスクリプトが
テストスクリプトが大量にあり
大量にあり、
にあり、機能修正後に
機能修正後に実行する
実行するスクリプト
するスクリプトを
スクリプトを見つけるのに手間
つけるのに手間が
手間が掛
かる。
かる。修正後に
修正後に実行が
実行が必要な
必要なテストを
テストを見つけて実行
つけて実行できるようにしたい
実行できるようにしたい。
できるようにしたい。
•RQM
RQMの
RQMのフィルターと
フィルターとテストスイートを
テストスイートを組み合わせて、
わせて、必要な
必要なテストを
テストを一括
実行
● テストスクリプトが
テストスクリプトが大量にあり
大量にあり、
にあり、実行に
実行に時間が
時間が掛かっている。
かっている。余ったマシン
ったマシンを
マシンをテストに
テストに活用し
活用し
て、テストを
テストを効率よく
効率よく実行
よく実行したい
実行したい。
したい。
•RQM
RQMで
RQMで自動テスト
自動テストを
テストを複数の
複数のテストマシンで
テストマシンで分散実行
© 2011 IBM Corporation
26
考慮点
● RQMとRFTを連携させる場合のネットワーク構成
RFTローカルマシンのスクリプトの場合、以下のネットワーク接続ができなければならない
RFTマシンからRQMのURLへの接続
RFTマシンからテスト対象アプリケーションへの接続
共用スクリプトの場合、以下のネットワーク接続ができなければならない
RQMマシンから、RQM起動したOS上のユーザーで共用ディレクトリへの接続
RFT実行マシンからRQMのURLへの接続
RFT実行マシンからテスト対象アプリケーションへの接続
● 同一のテストやスイートを繰り返し実行するケース（回帰テスト）の考慮点
テストケース、テスト環境、マイルストーンが同じ条件の場合、複数回実行しても、結果の数は加算
されず最新のテスト結果が集計される
結果を確認しやすくするには、実行したマイルストーン（リリース1, リリース2…など）の情報を設定し
ておくとよい
© 2011 IBM Corporation
27
関連記事
IBM Rational Quality Manager 導入ガイド
RQM のダウンロードからインストール～起動まで、導入方法をわかりやすく解説
http://www.ibm.com/developerworks/jp/rational/library/qm/rqm/InstallationGuide/index.html
IBM Rational Quality Managerを使用してプロジェクトを管理しよう
Rational Quality Manager で新しいプロジェクトを設定する方法について説明し、プロジェ
クト内で Rational Quality Manager を使用して実行できる基本的な事項をいくつか紹介
します。
http://www.ibm.com/developerworks/jp/rational/library/qm/rqm/EvaluationGuide/index.html
IBM Rational Quality Managerテストツール連携ガイド
RQM を使用すると、他のテスト・ツール内で作成した自動テスト・スクリプトを管理、実行で
きます。Rational Functional Tester（RFT）、Rational Performance Tester（RPT）、
Rational Service Tester、および Rational AppScan Tester Edition を使用して作成さ
れた既存のテストを参照するテスト・スクリプトを作成できます。
本文書では、RQMとRFT/RPTを統合して利用する方法とそのメリットを解説します。
http://www.ibm.com/developerworks/jp/rational/library/qm/rqm/TestToolIntegration/index.html
© 2011 IBM Corporation
28
関連記事
IBM Rational Functional Tester 導入ガイド
Rational Functional Testerの製品機能概要、評価版入手法、インストール方法、チュート
リアル起動方法、その他資料についてまとめたガイドです。
http://www.ibm.com/developerworks/jp/rational/library/qm/rft/v8/intro_guide/
IBM Rational Functional Tester 評価ガイド
「IBM Rational Functional Tester」 を使用する上での基本的な手順および使用上の考慮
点などをまとめた資料です。
http://www.ibm.com/developerworks/jp/rational/library/qm/rft/v8/eval_guide/
IBM Rational Functional Tester 活用ガイド
Rational Functional Tester(RFT)を活用するにあたり、テスト自動化を推進するリーダー、
テストチームのリーダー、もしくは実際の現場のテスターなどの方向けのガイドです。RFT
を導入する際に、忘れがちな設定を記載し、自動テストを成功させるコツを述べています。
テスト計画を立てる際にもご活用ください。
http://www.ibm.com/developerworks/jp/rational/library/qm/rft/rft_practicalguide/
© 2011 IBM Corporation
29