コンピュータビジョン

AI Computer Visionパックには、Click、Type Into、Get Text など、リファクタリングされた基本的な共通要素アクティビティが備わっています。Computer Visionのアクティビティと従来のアクティビティとの主な違いは、akaBotの機械学習部門が開発したコンピューター ビジョンというニューラルネットワークを使用していることです。ニューラルネットワークは、セレクターを使用せずに、ボタン、テキスト入力項目やチェックボックスなどのUI要素を識別できます。

主に仮想デスクトップ環境での自動化に向けて作成されたこれらのアクティビティは、自動化しているウィンドウの画像をニューラルネットワークに送信し、そこで画像が分析され、そのUI要素が識別されることでラベル付けされています。そのため、Computer Visionのアクティビティにより、存在しないセレクターや信頼性の低いセレクターの問題を回避できます。スマートアンカーは、操作しているUI要素の正確な位置の特定に活用されることで、実行しようとしているアクションが確実に行われます。