UIエクスプローラーの使い方
1. 始める前に
Akabot UI Explorer を使用する前に、次のセクションをよく読んで、必要なコンポーネントがあり、理解していることを確認してください。
1.1. UI エクスプローラーの概要
Akabot UI Explorer は、さまざまなアプリケーションのユーザー インターフェイス (UI) 要素を検査できるように設計された強力なツールです。その主な機能は、ボタン、テキスト フィールド、テーブルなどの画面上の要素を操作するオートメーション アクティビティで使用できる信頼性の高いセレクターを生成することです。これは、堅牢で安定した自動化ワークフローを構築するために不可欠なユーティリティです。
1.2.システム要件
- オペレーティングシステム:
- Windows 10/11、Windows Server 2016/2019/2022。
- ハードウェア: 少なくとも 4 コア CPU、4GB RAM。
- Akabot プラットフォーム: バージョン 2.2.0.7 以降。
1.3.サポートされているテクノロジー
Akabot UI Explorer は、さまざまな種類のアプリケーションの要素を検査できます。
- ウェブブラウザ: Web サイトを検査するには、拡張機能マニフェスト V3 をサポートする Chrome、Edge (Chromium) ブラウザーのバージョンがインストールされている必要があります。
- Windows アプリケーション: WinForms、Windows Presentation Foundation (WPF)、Win32、Qt アプリケーションなどのネイティブ Windows アプリケーションを検査します。
- Java アプリケーション: Java 64 ビット アプリケーションを検査するには、JDK (64 ビット) と Java Access Bridge がマシンにインストールされ、有効になっている必要があります。 32 ビット JDK で実行される Java アプリケーションはまだサポートされていません。
- SAP: Akabot UI Explorer は、SAP GUI アプリケーション内の要素のセレクターを検査して生成できます。
2. UI エクスプローラー インターフェイス
ツールを効果的に使用するには、インターフェイスを理解することが重要です。メイン ウィンドウはいくつかのキー パネルに分かれています。
2.1. Akabot UI Explorer のインストール
ステップ 1: パッケージをダウンロードします
- ダウンロード リンクにアクセスします: https://ws3.akabot.com/s/7ZNVRTGlKIcrLjr
- 圧縮ファイル (ZIP 形式) をローカル マシン (ダウンロード フォルダーなど) にダウンロードします。
ステップ 2: ZIP ファイルを解凍します
- ダウンロードした ZIP ファイルを右クリックします。
- すべて抽出を選択します
- 解凍が完了したら、解凍したフォルダーを開きます。
ステップ 3: アプリケーションを実行する
- 解凍したフォルダーを開きます。 Akabot.UiExplorer.exe (アプリケーション ファイル) をダブルクリックします。
- Windows Defender SmartScreen が表示された場合:
- [詳細情報] をクリックします。
- [とにかく実行] をクリックして続行します。
- システムは Akabot UI Explorer を起動します。
ステップ 4: 正常にインストールします
- アプリケーションが正常に開くと、Akabot UI Explorer のメイン インターフェイスが表示されます。これは、インストールが正常に完了し、ツールを使用できる状態になったことを示します。
2.2.メインツールバー
- 検証: セレクター エディターの現在のセレクターが有効かどうか、また画面上で UI 要素を一意に見つけることができるかどうかを確認します。セレクターが有効な場合はボタンが緑色に変わり、セレクターが無効な場合はボタンが赤色に変わります。
- 要素の指定: これは、新しい UI 要素を選択するための主なアクションです。これをクリックすると、画面上でマウスを移動でき、UI 要素が強調表示されます。要素をクリックすると、検査のために要素がキャプチャされます。
- ハイライト: セレクターが生成または編集された後、このボタンにより、画面上の対応する要素の周囲に赤い四角形が点滅し、セレクターが正しいターゲットを指していることを確認します。
- フレームワーク選択ドロップダウン (デフォルト、UI オートメーション、アクティブ アクセシビリティ): このドロップダウンでは、UI エクスプローラーがアプリケーションの要素を「表示」するために使用するテクノロジー フレームワークを選択できます。
- デフォルト: akaBot は、ターゲット アプリケーションに最適なフレームワークを自動的に決定します。
- UI オートメーション (UIA): 最新の Microsoft フレームワーク。最新のテクノロジ フレームワーク (WPF、WinForms、Qt) 上に構築された Windows アプリケーションに最適です。 Active Accessibility (AA): 古い Microsoft フレームワークで、従来の Win32 アプリケーションに役立ちます。
2.3.ビジュアルツリーパネル
左側にあるビジュアル ツリーには、デスクトップ上で現在開いているすべての UI 要素の階層構造が表示されます。要素間の親子関係 (ウィンドウ内のボタンなど) を示します。画面上で要素を選択すると、その要素がこのツリー内で自動的に強調表示され、そのコンテキストや他の要素との関係を理解できるようになります。
2.4.セレクターエディター
セレクター エディターは、UI エクスプローラーの最も重要な部分です。ここで、UI 要素に対して生成されたセレクターを表示、分析、および変更して、セレクターが堅牢で信頼性があることを確認します。エディタは 3 つの主要部分で構成されます。
ビジュアル エディター (上部ペイン): このペインには、ユーザー フレンドリーな階層ツリー構造でセレクターが表示されます。 属性パネル (右ペイン): ビジュアル エディターでノードを選択すると、このパネルには、Akabot がその特定の UI 要素に対して検出したすべての属性が表示されます。 Raw Text Editor (下部ペイン): このペインには、完全なセレクターが単一の XML テキスト文字列として表示されます。
セレクター エディターは、UI エクスプローラーの最も重要な部分です。ここで、UI 要素に対して生成されたセレクターを表示、分析、および変更して、セレクターが堅牢で信頼性があることを確認します。エディタは 3 つの主要部分で構成されます。
- ビジュアル エディター (上部ペイン): このペインには、ユーザー フレンドリーな階層ツリー構造でセレクターが表示されます。
- 属性パネル (右ペイン): ビジュアル エディターでノードを選択すると、このパネルには、Akabot がその特定の UI 要素に対して検出したすべての属性が表示されます。
- Raw Text Editor (下部ペイン): このペインには、完全なセレクターが単一の XML テキスト文字列として表示されます。
3. ブラウザ拡張機能を構成する
Web ブラウザで要素を検査するには、まず適切な Akabot ブラウザ拡張機能をインストールする必要があります。この拡張機能は、ブラウザと Akabot Studio の間に通信チャネルを作成します。 拡張機能は公式 Web ストアから直接インストールできます。
- Google Chrome の場合: https://chromewebstore.google.com/detail/akabot/pflniglmkbjhmlcpcgpnhnpicdfalkjb
- Microsoft Edgeの場合: https://microsoftedge.microsoft.com/addons/detail/akabot/idcmnficjddehpcjmkfcmomijikkgdgh
Akabot ブラウザ拡張機能をインストールしたにもかかわらず、UI エクスプローラーやアクティビティによって検出されない場合は、次の手順に従って問題を診断し、解決してください。
ステップ 1: 拡張機能が有効になっていることを確認します
- まず、拡張機能がブラウザに正しくインストールされ、アクティブ化されていることを確認します。
- ブラウザ (Chrome または Edge) を開き、拡張機能管理ページに移動します。
- Chrome の場合: chrome://extensions/
- エッジの場合:edge://extensions
- リストで Akabot 拡張機能を見つけます。
- 以下に示すように、トグルスイッチがオンの位置にあることを確認します。
ステップ 2: ネイティブ ホスト プロセスが実行されているかどうかを確認します
ブラウザ拡張機能は、Aka.RPA.NativeHost.exe と呼ばれるプロセスを通じて akaBot と通信します。このプロセスが実行中であることを確認する必要があります。
- Ctrl + Shift + Esc キーを押して、Windows タスク マネージャーを開きます。
- [詳細] タブに移動します。
- リストで Aka.RPA.NativeHost.exe という名前のプロセスを探します。
このプロセスが実行されていない場合は、ブラウザの起動を妨げる構成の問題があることを意味します。ステップ 3 に進みます。
ステップ 3: 拡張 ID を手動で構成する
- これは最も一般的な修正です。これにより、ブラウザはどの拡張機能がネイティブ ホスト プロセスとの通信を許可されているかを認識できるようになります。
- 拡張機能 ID を見つける
- ブラウザの拡張機能管理ページ (chrome://extensions またはedge://extensions) に戻ります。
Microsoft Edgeの場合：
各拡張機能の ID が表示されます。 Akabot 拡張機能の ID を見つけます。長い文字列になります。
- Chrome の場合: 右上隅で開発者モードを有効にします。
各拡張機能の ID が表示されます。 Akabot 拡張機能の ID を見つけます。長い文字列になります。
• ネイティブ ホスト マニフェスト ファイルの編集
o ファイル エクスプローラーを使用して、akaBot NativeHost インストール フォルダーに移動します。デフォルトのパスは次のとおりです: C:\Program Files\FPT Software\akaBot Platform\akaBot\NativeHost
• ブラウザに対応する JSON ファイルを、管理者権限を持つテキスト エディタ (メモ帳など) で開きます。
• 拡張子 ID のエントリがリストに存在することを確認します。サンプルは下の画像の通りです。
• 見つからない場合は、リストに追加します。各エントリは独自の行に配置し、二重引用符で囲み、最後にコンマを付ける必要があります (最後のエントリを除く)。
• JSON ファイルを保存します。 Web ブラウザのすべてのウィンドウを閉じて、再起動します。
• akaBot Studio を再起動します。これで接続が正しく確立されるはずです。
4. Java アクセス ブリッジの構成
Java アプリケーション (Swing、AWT など) の要素を検査および自動化するには、Java Development Kit (JDK) がインストールされ、Java Access Bridge が有効になっている必要があります。
ステップ 1: JDK をダウンロードします
-
Oracle の公式ダウンロード ページに移動します: https://www.oracle.com/java/technologies/javase/jdk17-archive-downloads.html
-
JDK 17 の Windows x64 インストーラー (.exe ファイル) をダウンロードします。
ステップ 2: インストール
- ダウンロードした .exe ファイルを開き、インストール ウィザードに従います。デフォルトのインストール パスを使用することをお勧めします: C:\Program Files\Java\jdk-17
- これは成功した画面です。
ステップ 3: インストールを確認する
- コマンド プロンプトを開き、java --version と入力します。
- 次に、次のようなものが表示された場合:
- Java 17.0.xx LTS
- Java(TM) SE ランタイム環境 ...Java が正しくインストールされます。
ステップ 4: Java を PATH に追加します (必要な場合)
• 環境変数を開く: Windows キー + S を押し、環境変数を入力して開きます。
• システム環境変数を編集します。
• [環境変数…] をクリックします。
ステップ 5: PATH を編集します
• [システム環境変数] で [パス] を見つけ、[編集] をクリックします。
• 「新規」をクリックして、C:\Program Files\Java\jdk-17\bin を追加します。
• すべてのウィンドウで [OK] をクリックします。
ステップ 6: 再確認
- 新しいコマンド プロンプトを開き、java --version を実行します。
- これで動作するはずです。
ステップ 7: 管理者としてコマンド プロンプトを開く
Windows キー + S を押して「cmd」と入力し、[コマンド プロンプト] を右クリックして、[管理者として実行] を選択します。
ステップ 8: Java bin フォルダーに移動します
- コマンドを実行します: cd "C:\Program Files\Java\jdk-17\bin"
ステップ 9: Java Access Bridge を有効にする
- コマンドを実行します: jabswitch -enable
- 以下が表示されるはずです:
- Java Access Bridge が有効になりました。
ステップ 10: ステータスを確認し、コマンド: jabswitch を実行します
- 何も表示されない場合は、有効になっていることを意味します。
- Java Access Bridge を無効にするには、次のコマンドを実行します: jabswitch -disable
5. アプリケーションの実行
このセクションでは、セレクターを作成およびテストするための標準的なワークフローについて説明します。
5.1. 要素の検査
• 自動化するアプリケーションを開きます。
• UI エクスプローラー ウィンドウで、[要素の指定] をクリックします。
• マウス カーソルをターゲット アプリケーション上に移動します。要素が赤いボックスで強調表示されているのがわかります。
• 操作したい特定の要素 (ログイン ボタンなど) をクリックします。
• UI エクスプローラーは要素をキャプチャし、そのセレクターが生成されてセレクター エディターに表示されます。この要素はビジュアル ツリーでも強調表示されます。
5.2. セレクターの検証と改良
• セレクターが生成されたら、「検証」ボタンをクリックします。ボタンが緑色に変わった場合、セレクターは有効で一意です。
• [ハイライト] ボタンをクリックします。画面上で選択した要素の周囲に赤いボックスが点滅するはずです。これにより、ターゲットが適切であることがわかります。
• セレクターが有効でない場合、または特殊すぎる場合 (たとえば、毎回変更される名前または ID が含まれている場合)、セレクター エディターで編集できます。その後、安定した信頼性の高いセレクターが得られるまで、再検証して強調表示することができます。
• 問題がなければ、セレクターをコピーして、ワークフロー内のアクティビティの Target プロパティに貼り付けることができます。
