MagicPod MCPサーバーを利用すると、AIエージェントにExcelなどのテスト仕様書を読み込ませ、その内容をもとにMagicPodのテストケースを作成できます。
本ページでは、テストケースの生成精度を高めるための、テスト仕様書の推奨形式や記載方法について紹介します。
目次
1. 推奨するテスト仕様書の形式
既存のExcelなどのテスト仕様書をそのまま利用することも可能ですが、AIがテストの目的や内容を正確に理解できるよう、以下の5つの情報を含めることをおすすめします。
| 項目 | 記載内容 |
|---|---|
| テストケース名 | 何を検証するテストなのか |
| 前提条件 | テスト実行前に必要な状態やデータ |
| 操作手順 | テスト対象アプリケーションで行う操作 |
| 期待結果 | 操作後に確認すべき内容 |
| 自動化可否 | 自動化の対象となるテストかどうか |
これらの情報を明確に記載することで、AIがテストの内容を理解しやすくなり、想定どおりのテストケースを作成しやすくなります。
上記の項目を含むテスト仕様書のサンプルを、以下からダウンロードできます。テスト仕様書を作成する際の参考としてご活用ください。
2. より精度の高いテストケースを作成するためのTips
① AIが誤解しやすい記載方法を避ける
AIがテスト仕様書の内容を正しく理解できるよう、以下のような記載方法はできるだけ避けることをおすすめします。
| 避けたほうがよいこと | 推奨する対応 |
|---|---|
| 自動化に関係のない備考が含まれている | 不要な備考や過去のリリースに関する情報は削除する |
| Excelのコメント機能に重要な情報を記載している | 重要な指示はセル内に直接記載する |
| セルが結合されている | できるだけセルの結合を避け、各項目の対応関係を明確にする |
| 色だけで自動化対象かどうかを区別している | グレーアウトなどの色による指定ではなく、「自動化対象外」などと文字で明記する |
| 列名と記載内容が一致していない | 列名と実際の記載内容を一致させる |
② 操作手順は必要に応じて具体的に記載する
AIは画面の情報をもとに操作方法を判断できるため、必ずしもすべての操作手順を詳細に記載する必要はありません。ただし、画面から判断できない操作や事前準備については、具体的な指示が必要です。
例えば、操作方法を厳密に指定する必要がなければ「マイページに戻る」と記載するだけでも構いませんが、特定の操作を行わせたい場合は「ハンバーガーメニューから『マイページ』を選択する」のように明示してください。
③ テストケースを作成する範囲を指定する
仕様書の1行ごとにテストケースを作成すると、テストケースが細かく分かれすぎ、管理の手間や実行時間が増える場合があります。
そのため、前提条件が同じで操作が連続している場合は、1つのテストケースにまとめることをおすすめします。一方、前提条件が異なる場合や、退会・アカウントロックなど後続のテストに影響する操作を含む場合は、テストケースを分けることも検討してください。
AIには、「中項目ごとに1つのテストケースを作成する」「テストIDのハイフンより前の数字が同じ項目を1つにまとめる」など、作成単位を具体的に指定すると効果的です。また、作成前にテストケースの分け方をAIに提案させることも有効です。
④ 曖昧な表現はできるだけ避ける
「任意の値」「適切な値」「正常に動作する」などの曖昧な表現は、AIが意図を正しく理解できない可能性があります。
入力する値や確認すべき内容は、できるだけ具体的に記載することをおすすめします。
⑤ 不明な点はAIに質問させる
仕様書に不明な点がある場合、AIが推測してテストケースを作成してしまうことがあります。
そのため、事前に不明点を確認するよう指示することも有効です。
指示の例：
テストケースを作成する前に、仕様書の操作手順・期待結果・前提条件を確認してください。不明な点や曖昧な点があれば、推測せずに質問してください。
⑥ 共通ルールを活用する
複数のテストケースに共通する確認事項などは、仕様書の各行に記載する代わりに、共通ルールとしてまとめてAIに指示することも有効です。
例えば、「画面遷移後は、遷移先の画面タイトルが正しいことを確認する」といったルールを設定することで、仕様書の記載量を抑えながら、期待結果の確認漏れを減らせます。
Excelの場合は、共通ルールを別シートにまとめることで、仕様書の構成が整理され、AIが共通ルールを認識しやすくなるため、おすすめです。
⑦ 目次シートを用意する
Excelに複数のシートが含まれる場合は、各シートの内容や自動化対象をまとめた目次シートを用意すると、AIが仕様書全体の構成を理解しやすくなります。
⑧ 期待どおりに生成されない場合は、仕様書やAIモデルを見直す
テストケースの生成精度は、テスト仕様書の具体性や使用するAIモデルの性能によって異なります。
期待どおりのテストケースが作成されない場合は、仕様書の記載をより具体的にしたり、より高性能なAIモデルに変更したりすることで、生成精度が改善する可能性があります。
3. 既存の共有ステップの活用方法
MagicPod MCPサーバーでは、既存の共有ステップを利用してテストケースを作成することも可能です。
ただし、既存の共有ステップを利用したい場合は、AIに明示的に指示する必要があります。
例えば、以下のような指示をテスト仕様書や共通ルールに記載したり、AIエージェントへのプロンプトに含めたりすることをおすすめします。
- ログイン操作には、既存の共有ステップ「ログイン処理」を使用する
- テストデータの初期化には、既存の共有ステップ「テストデータ初期化」を使用する
- 既存の共有ステップで実現できる操作については、新しいステップを作成せず、共有ステップを優先して使用する
このように指示することで、既存の共有ステップを活用し、テストケース間で共通する操作を効率的に管理できます。
4. 作成されたテストケースをレビューする
AIが作成したテストケースについては、以下のような観点で内容を確認することをおすすめします。
- 操作手順： 意図した操作手順や画面遷移になっているか
- 期待結果： 確認したい項目に対して、適切なアサーションが設定されているか
- 前提条件： テストに必要なデータや事前準備が適切に設定されているか
- テストケースの構成： テストケースの分け方や、操作手順のまとまりが適切か
- 共有ステップ： 指定した既存の共有ステップが正しく使用されているか
また、テストケースが安定して成功するかを確認するため、1週間程度、毎日定期実行し、実行結果にばらつきがないか確認することも有効です。