ヘルススコア機能は自動テスト運用の健全性を測定する機能です。ヘルススコアは測定した情報を数字で評価したものであり、この数字を向上させることでテスト運用の改善につなげることができます。本機能はプロジェクトページの「アナリティクス」タブからアクセスできます。
目次
1.ヘルススコアの向上が自動化プロジェクトの成功を導く
健全な自動テスト運用においては、テストから信頼性のあるフィードバックを毎日得られることが重要です。フィードバックが毎日得られる状態とは、具体的には作成したテストケースが毎日実行されており、開発によって発生したバグが遅くとも翌日にはテストの失敗としてレポートされるような状態を指します。また、信頼性のあるフィードバックとは、テスト自体が安定しており(例えば実行するタイミングによって成否が変わったりしない)、成功/失敗の結果を信頼して開発チームにフィードバックできる状態を指します。
ヘルススコアの算出は、健全な運用を実現するための要素の達成度に基づいて行われます。例えば、以下の要素をもとに計算されています。
- テストを定期実行しているか (テストからのフィードバックを速いサイクルで得るため)
- テストが成功しているか (フィードバックの信頼性を高めるため)
- テストがメンテナンスしやすいか (フィードバックの信頼性を持続させるため)
ヘルススコアを向上させることにより、自動テスト運用の健全性を高めることができます。こうしたテスト運用の地盤を確立することは、自動化の効果を実感し、プロジェクトを成功に導くために不可欠です。
2.提供機能
「アナリティクス」タブでは以下の機能を提供しています。
- 直近1週間の情報をもとに毎日スコアを測定
- スコア改善のためのアクションを表示
- 過去90日間の履歴チャートで改善活動の成果を確認
- APIを使えば異なる集計時間のデータを取得可能
ヘルススコアに基づいた改善アクションを行うことで、定量的な効果測定を行いつつ、自動テストの運用を継続的に改善することができます。
スコアは測定結果に基づいてグリーン、オレンジ、レッドの3色いずれかで表示されます。導入初期は、少ないテストケースでグリーン(80点以上)を目指し、スコアを保ちながらテストケースを増やしていくことを推奨しています。
- グリーン (80点以上): 運用状況は健全です。
- オレンジ (50-80点): 提示される改善アクションを実施し、フィードバックの信頼性を向上させましょう。
- レッド (50点未満): 作成したテストケースを毎日実行し、運用基盤を確立しましょう。
3.点数内訳
このスライドを参考にしてください。