ここでは、MagicPod Autopilotの失敗分析機能について説明します。
※本機能はAIクレジットの対象機能です。利用にはAIクレジットが必要となります。
目次
概要
失敗分析機能は、テストが失敗した際にMagicPod Autopilotが自動的に原因を調査し、分析する機能です。
失敗したテストのスクリーンショット、エラーログ、テストステップの情報などを読み取り、「なぜ失敗したのか」「どう対処すればよいか」を提示してくれます。
使用方法
前提条件
失敗分析機能を利用するためには、組織管理者のアカウントで「生成AI」の機能を有効化する必要があります。（設定方法はこちら）
一括実行で失敗分析機能を利用する
-
プロジェクトの「テスト一括実行」タブで「詳細」ボタンをクリックします。
-
失敗分析機能を使用したいテスト一括実行設定を選択し、「共通設定」画面の「テストの自動メンテナンス」で「失敗時に自動で分析」を選択します。
一括実行1回あたりに失敗分析機能が使用するAIクレジットの上限を設定することも可能です。
- テスト一括実行を実施します。
-
失敗したテストがあった場合、テスト結果詳細画面に失敗分析結果が表示されます。
「分析プロセス詳細を見る」ボタンをクリックすると、分析のプロセスや、分析によって消費したAIクレジット数を確認することができます。
個別のテスト結果で失敗分析機能を利用する
失敗したテスト結果の詳細画面から、失敗分析を行うことができます。
失敗分析機能を有効にせず実施した一括実行や、テスト単体実行、部分実行の失敗分析も可能です。
MagicPod Web APIで失敗分析機能を利用する
MagicPod Web APIで一括実行を行う場合も、失敗分析機能を利用することができます。
APIの詳細は下記を参照してください。
MagicPod Autopilotからの提案をもとにテストを自動修正する
失敗分析の結果をMagicPod Autopilotへの入力として活用することで、提案された内容を自動で修正することができます。
失敗分析結果画面の「提案をもとにテストを修復する」ボタンをクリックします。
※失敗分析の結果、テストケースの修正では解決できないとMagicPod Autopilotが判断した場合は「提案をもとにテストを修復する」ボタンが表示されないケースもあります。
テストケース編集画面に切り替わり、MagicPod Autopilotが立ち上がります。失敗分析による提案内容が自動でプロンプトに入力され、テストケースの修正が行われます。
自動入力されたプロンプト
LLM（生成AI）に渡している情報
- テストステップ
- UI画像、UIツリー情報
- 共有ステップ
- テスト実行ログ
- 当該テストケースの過去のテスト実行ログも含みます
- シークレット共有変数の値はマスクされます
- テスト実行時に取得された画面キャプチャ
注意点
- AIで確認コマンドの結果は失敗分析の対象外です。分析されるのはテストステップの実行に伴う失敗であり、すべての失敗が分析されるわけではない点に注意してください。
Q&A
Q. AIクレジットはどのくらい消費されますか
1回の失敗分析につき消費するAIクレジットは、平均0.2〜0.3クレジットです。
Q. テストケース編集画面での実行時に失敗分析機能を使用することはできますか
テストケース単体実行や部分実行の結果にも、失敗分析機能を使用することができます。
詳細は下記を参照してください。
Q. 同じテスト結果を複数回分析することはできますか
失敗分析済みのテスト結果を再分析することも可能です。
各分析結果は、分析プロセス詳細画面の下部矢印を操作すると確認できます。
Q. 分析結果の削除はできますか
失敗分析結果画面右側の3点リーダから、分析結果を削除することができます。
分析結果が複数ある場合は、分析プロセス詳細画面の下部矢印で削除希望の分析結果を選択し、ゴミ箱マークをクリックすることで削除できます。