メインコンテンツへスキップ

AIアサーション

  • 更新

AIアサーションは、自然言語で「どのような結果を期待するか」をテストケース中に記述するだけで、生成AIが画面やテキストの内容を理解し、必要なチェックを自動的に行う機能です。

※旧スタンダードプランをご契約の場合、本機能はAIクレジットの対象機能です。利用にはAIクレジットが必要となります。

目次

活用シーン

  • 「検索条件と結果の整合性」など、データの意味を理解する必要があるチェック
  • 一覧画面・フィード画面など、内容が複雑で動的に変化するため、従来は安定したテストを組むのが難しかった画面のチェック
  • 「デザイン崩れがないかチェック」のような、人間の感覚が要求される機械的でないチェック

使い方

前提条件

AIアサーションを利用するためには、組織管理者のアカウントで「生成AI」の機能を有効化する必要があります。（設定方法はこちら）

 

使用可能回数

以下対象プランをご契約の場合、AIクレジット不要で利用できます。 

対象プラン 

  • スタンダードプラン(2025) *旧スタンダードプランは対象外 
  • エンタープライズプラン 

AIアサーションの使用可能回数 3,000回/月 

※通常の利用においてはほぼ残量を気にせずに利用できる回数となります 

※契約プラットフォーム(ブラウザプラン・モバイルプラン)毎にカウントされます

※使用回数は毎月1日の日本時間(JST) 午前10時 (1AM UTC)にリセットされます

 

旧スタンダードプランをご契約の場合、AIアサーションの利用には引き続きAIクレジットが必要です。 

プランの移行方法に関してはこちらをご参照ください。

新スタンダードプランと旧スタンダードプランの違い

 

手順

1. 「AIで確認」コマンドを追加します

2. 確認したい内容を日本語または英語で記述してください。

このように変数を使うこともできます。

 

ログ確認方法

チェック成功・失敗の判定を行ったAIの思考過程はログで確認できます。

失敗時はテスト結果画面のエラーメッセージおよび実行ログから確認できます：

成功時はテスト結果画面の「実行ログ」タブの右側のログから確認できます：

Tips

  • 確認したい内容は明確かつ具体的に記述しましょう
    • 具体例
      • 一覧表に詳細ボタンが表示されているか→一覧表のすべてのデータ行の右端に詳細ボタンが表示されていること
      • テキストが可読性の高い大きさで表示されているか → テキストAがテキストBよりも大きいサイズで表示されていること
  • 失敗させたいシーンで想定通り失敗することも確認しましょう
    • 具体例
      • ボタンの色がブルーであること→ブルー以外の場合に失敗するか
      • 家電商品だけが表示されること→家電以外が表示されている場合に失敗するか

活用事例

活用事例についてブログで紹介していますのでご参照ください：

ここでは具体的な活用事例を紹介します。

以下内容をより具体的に記載しますと精度が高まります。詳しくはTipsをご確認ください。

  • 「家電」カテゴリーを選択したとき、家電商品だけが表示されるか
  • 「在庫あり」で検索 → 売り切れ表示の商品が結果に出ていないか
  • 「2025年10月」で絞り込んだとき、結果が全て10月のデータであるか
  • 「人気順」「価格が高い順」などのソートが正しく機能しているか
  • 「10,000円〜50,000円」で絞り込んだ結果が範囲内か
  • 最新の投稿が上部に表示されるか
  • 各投稿にいいねボタンとコメントボタンがあるか
  • 投稿が重複表示されていないか
  • Canvas要素で描画されたグラフが表示されているか 
  • 店舗の住所と地図上のアイコン表示位置が整合しているか
  • 動画再生が行われているか/再生が完了しているか
  • ボタンの色が赤色か
  • 写真がセピア色で表示されているか
  • 商品画像が枠内に収まっているか
  • テキストが可読性の高い大きさで表示されているか
  • ダークモード時の背景と文字色のコントラスト崩れがないか
  • テキストが日本語で書かれているか

LLM（生成AI）に渡している情報

  • ユーザーが入力したプロンプト（確認したい内容）
  • テストステップ
    • 対象の「AIで確認」ステップの前に実行されたステップの情報
  • UI画像
    • 「AIで確認」ステップ実行時点で表示されているUIのみ

よくある質問

Q. AIアサーションと既存の確認コマンド(画像差分チェック含む)との使い分け方を教えてください

A. AIアサーションは既存の各種確認コマンドで確認が難しい場合に使用してください。

既存のコマンドの利用で問題なくテストできている場合、AIアサーションに置き換える必要はありません。

 

Q. 成功・失敗の判定が不安定です。どのようなプロンプトがいいですか？

A. まず、失敗したときの「AIの判断内容」を実行ログから確認してください。

失敗のたびに判断内容が異なる場合は、プロンプト自体が曖昧な可能性があります。 確認したい状態をより具体的・限定的な言葉で表現してみましょう。 お手元のAIエージェントで対象の画像を説明してもらうのも参考になるかもしれません。

失敗のたびに毎回同じ理由で失敗している場合は、 その誤検知パターンを「除外条件」としてプロンプトに明記するのが効果的です。 

【例】

画面左カラムに 👆（Backhand Index Pointing Up）が {$today} の日付とともに表示されていることを確認する。 
ただし、以下の場合は失敗と判定しないこと： 
・👍（Thumbs Up）に見える場合

 

Q. 使用可能回数 3,000回/月の制限を超えて使用することはできますか

AIアサーションの使用可能回数 3,000回/月を超えた場合に、AIクレジットを使用してAIアサーションの利用を継続するか、AIアサーションのステップの実行をスキップするか、あらかじめ設定しておくことができます。

組織管理者のアカウントでログインし、組織の「設定」タブ > オプション機能ページで設定可能です。

「使用しない」を選択した場合、または「使用して継続」を選択したがAIクレジットが不足している場合、AIアサーションのステップは実行がスキップされます。テストケース全体の実行には支障ありませんが、テスト自体の結果は「失敗」となります。（今後仕様変更の可能性がございますのでご了承願います。）

また、旧スタンダードプランを契約中でテスト実行時にAIクレジットが不足している場合も、同様にAIアサーションの実行がスキップされます。

 

Q. 失敗時の動作は 「失敗時点でテストを終了」と「失敗扱いとしてテストを継続」のどちらとなりますか

「失敗扱いとしてテストを継続」となります。現状は失敗時点でテストを終了するオプションを提供していません。

 

関連記事