ディープラーニングで簡単に自動テストスクリプトが作れる「MagicPod」
今日は、今話題のAI(人工知能)技術「ディープラーニング」を使い、誰でも簡単にモバイルアプリの画面自動テストスクリプトが作成できるWebサービスのお話です。
※2017年7月24日よりオープンβ版を提供開始しました！
MagicPodとは
﹁MagicPod﹂は、弊社で開発中のテスト自動化Webサービスです。現在は、モバイルアプリのテスト自動化にのみ対応しています。 MagicPodがどのようなWebサービスかについては、次のコンセプト動画を見ていただくと分かりやすいでしょう。MagicPodの最大の特徴は、アプリUIの画像をスキャンし、「名前入力欄」「登録ボタン」などの画面項目を自動検出することです。ディープラーニングの技術を使い、項目の種類やラベルを自動で判別します。(図1)
図1 Magic Podによる画面項目の自動検出
スキャンした画像から項目をドラッグ&ドロップしていくことで、簡単に読みやすいテストスクリプトを作成できます。※1(図2)
図2 Magic Podのテストスクリプト作成
iOSアプリのデモ(「ユーザー登録」アプリ)
続いて、実際にMagicPodを使ってテストスクリプトを作成している動画を見ていただきましょう。
まずはiOSアプリです。さきほどのコンセプト動画に登場した「ユーザー登録」アプリ※2のテストを、実際に作成・実行している様子です。
（※動画は削除されました）
Androidアプリのデモ(「Yahoo!乗換案内」アプリ)
続いてAndroidアプリです。こちらは、筆者が日頃からお世話になっているYahoo!乗換案内のアプリ※3 のテストです。
このテストは少し複雑で、図3の検索条件を指定して、電車の時刻を検索します。
図3 Yahoo!乗換案内に指定する検索条件
出発地・到着地・出発時刻の入力エリアには値を直接セットするのではなく、入力エリアをタップして図4のように別画面に移動し、その画面で値を入力するようになっています。
図4 Yahoo!乗換案内の画面遷移
こちらがそのテスト動画です。
動画内では、MagicPodがアプリUIの画像を解析し、以下のようにさまざまな画面項目を検出しています。
図5 「出発」入力エリア
図6 「検索」ボタン
図7 日付・時刻入力エリア
動画では分かりませんが、テキストのないアイコンについても、形を見て種類を判別できます。
図8 「設定」アイコン
図9 「マイク」アイコン
作成されたテストスクリプトは図10のようになります。
図10 作成されたテストスクリプト
