【マイクロソフトの無料RPA】機能集1（レコーダー / OCR）

2022-08-10 2022-08-10

SSKC伊藤

弊社RPAコラムでは、何度かマイクロソフト社が無料提供しているRPA【Microsoft Power Automate Desktop】について、ご紹介しました。
過去のコラムはこちら　
~Microsoft Power Automate Desktopに関するコラム一覧～

今回は【Microsoft Power Automate Desktop】の一部機能をご紹介いたします。
本日ご紹介する機能は
①レコーダー機能
②OCR機能
です。

【目次】
　　◆レコーダー機能～操作方法の簡単記録&自動化
　　◆OCR機能～PDFなど、文字画像から文字を取得する機能
　　◆まとめ

◆レコーダー機能～操作方法の簡単記録&自動化

【Microsoft Power Automate Desktop】はEXCELの【マクロの記録】のように、実際に自動化したい操作を行うことで、記録することができます。
【Microsoft Power Automate Desktop】は
・デスクトップ操作(フォルダー、ファイル、EXCEL、その他アプリなど)
・web操作(Chrome、Microsoft Edge その他ブラウザー)

基本どんな操作でもレコード記録、自動化することができます。

やり方は簡単で【Microsoft Power Automate Desktop】操作画面の上部にある、レコーダーボタンを押し、レコーダー機能を立ち上げることで記録を開始することができます。
web操作を自動化することは操作したいwebページを開いた状態でレコードします。
※別途ブラウザを開くコマンドを追加する必要があります。

↑レコーダー機能の使い方
　【Microsoft Power Automate Desktop】の操作画面の上部に『レコーダー』というボタンがあります。
　押すと、画像右側のようなレコーダー機能が起動し、『記録』ボタンを押すと、記録が開始されます。

↑デスクトップの操作自動化
　レコーダーの『記録』ボタンを押すとカーソルを合わせたアプリやファイルが赤枠で囲われます。
　その状態でクリックやキー操作をすると操作が記録されます。
　操作が終わったら、『完了』ボタンを押すと、操作がコマンドとして記録されます。
　コマンド自体を編集することも可能です。（コマンド削除、入力文字の編集など）

↑web操作の自動化
　まず『新しいブラウザで起動する』コマンドで操作したいページのURLを入力し、起動します。
　操作対象ページが開いている状態でレコーダー機能を起動すれば、webページ上でもカーソルを負わせると赤枠で囲われ、操作を記録できます。
　『完了』ボタンを押せば、コマンドとして記録されます。

◆OCR機能~PDFなど、文字画像から文字を取得する機能

OCR（光学文字認識）機能とは、活字、手書きテキストの画像を文字コードの列に変換する機能のことです。
【Microsoft Power Automate Desktop】にはこのOCR機能が搭載されています。

例えばPDFや手書きで記入される請求書やアンケートなどから身で見て記入事項を文字コードで書き起こす作業があるとしたら、OCR機能を用いれば、その転記作業を自動化することができます。

使用方法は以下の通りです。

サンプル請求書ダウンロード

上記『サンプル請求書』の合計金額を取得する作業を自動化します。

①『アプリケーションの実行』コマンドでPDFを開きます。
②『レコーダー』ボタンを押し、右上のボタンから『画像記録』をオンにしてから『記録』ボタンを押します。
③PDF上で右クリック→『画像からテキストを抽出する』ボタンを押す。
④2回画像を長押しで囲む（取得したい場所→アンカー:別の請求書でも変わらない画像　ここでは総額）
⑤レコーダーを終了し、OCRで出てくる変数を『メッセージを表示』コマンドで表示できるようにします。
⑥必要があれば待機(『wait』コマンド）や、『Page Down』キー操作を追加します。
※自動化処理を動画にしています。