はじめに
Copilot in Power Automate for Desktop (preview) が私の環境でも使えるようになっていたので早速試してみました！
右上の "Copilot" を選択すると見慣れた？Copilotウィンドが表示されますね。
スクショの通り「Copilot はこの言語に対応していません」と表示されますが、日本語でも動いてくれました。
なお公式ドキュメントでは、現在英語のみサポートとも明記されていますのであくまでもその点はお気を付けください。
公式ドキュメントからの引用
私の検証結果を見る前に最低限公式ドキュメントのこちらはご確認しておくことをおススメします。(日本語訳で記載しておきます。)
利用可能な地域
Power Automate for desktopのCopilotは、以下の国/地域の環境で利用できるさまざまな機能を提供します：
- Copilotを使用してフローを作成する
- United States
- 製品に関する質問に答える
- Australia
- India
- United Kingdom
- United States
デスクトップ版Power AutomateのCopilotにはどのような制限がありますか？
- Copilot は、Power Automate for Desktop で使用可能なアクションのサブセットのみをサポートします。 具体的には、フローを作成する場合、または既存のフローにステップを追加する場合、次のアクションのみがサポートされます：
- 個人のMicrosoftアカウントを使用している場合、Power Automate for DesktopでCopilotを使用することはできません。 たとえば、
someone@live.comは使用できません。代わりに、someone@live.comのような職場や学校のアカウントを使用してください。 - Copilot にアクセスできるのは、米国内の環境のみです。
- Copilot は英語のみをサポートしています。
検証した環境
日時: 2024/09/17(JST)
PADのバージョン: 2.47.00175.24239
環境: United States
Copilot を利用して自然言語でデスクトップフローを作成する
以下のようなプロンプトを入力してフローを作成してみます。
今回利用するプロンプトは以下
現在の日時を取得して、"yyyyMMdd HHmmss"形式にフォーマットを変換します。
10~30文字のランダムな文字列を作成します。
"G:\Users\Documents\Training\Power Automate for Desktop"に先ほど取得した日付のファイル名のテキストファイルを作成し、テキストファイルには先ほど取得したランダムな文字列を書き込みます。
送信ボタンを押すと、右のCopilot ウィンドが開きました。なるほど？
少し待つとデザイナーが立ち上がります。
んーーーー惜しい！
ファイルの作成指示の部分がコメントになっちゃってますね。
ただ、このコメントちょっと変更すればフロー作成できそうです。
まず、こちらのコメントをコピーして "\" → "\" に変換します。
続いて @@copilotGeneratedAction: 'True' を先頭行に追加します。
上記を実行するとこんな感じのテキストになります。
@@copilotGeneratedAction: 'True' File.WriteText File: $'''G:\\Users\\Documents\\Training\\Power Automate for Desktop\\%FormattedDateTime%.txt''' TextToWrite: RandomText AppendNewLine: False IfFileExists: File.IfFileExists.Overwrite Encoding: File.FileEncoding.UTF8
これをコピーして貼り付けを行います。
すると上記のように作成したかったアクションの貼り付けが行えます。
試しに実行してみると正常に動いていそうなことが確認できます！
余談ですが、他のCopilot 製品と同様プロンプトのサンプルも確認することができます。
まだ日本語対応してないので英語ですけどね。
自然言語でアクションを追加する
アクションの追加時に"Copilot による提案"を受けられるようになりました。
もちろん提案の中に追加したいアクションがなければ自然言語で追加したいアクションを指定することも可能です。
ここで送信アイコンを押したいかと思いますが、ここの送信アイコンは現在動きませんでした。。。
代わりにEnterを押してください。
Enterを押すと先ほど同様右側にお馴染みのやつが表示された後アクションを追加してくれます。
こんな感じ
追加されたアクションはいいんですけど、私は「テキストファイルに書き込む」の下に追加したんですけどね？
まだまだpreviewってことですね(そもそも日本語サポートされてないですし)
Copilot による記録を試してみる(使えない)
※現状使えないので途中までの紹介です。
自然言語にてブラウザ、もしくはUIタスクを指定するとレコーダーが挿入されると公式ドキュメントにて記載されています。
Copilot がブラウザまたは UI タスクを自動化する意図を識別すると、アクションプレースホルダが挿入されます。 このプレースホルダは、レコーダを開始し、ユーザのアク ションをキャプチャするための開始点として機能します。 このステップを完了すると、アクションプレースホルダはレコーダーによって作成されたアクションで自動的に置き換えられます。 アクションを削除して、必要なUIアクションを手動で追加することもできます。
試しに以下のようなプロンプトを指定してみます。
"G:\Users\Documents\Training\Power Automate for Desktop"の"practice.xlsx"を開く。
次に"UserInfo"シートより"ユーザーID"とパスワードを取得する。
新しいMicrosoft Edgeを起動し、URLに"https://support.asahi-robo.jp/practice/login/"を入力する。 続いて先ほど取得した"ユーザーID"とパスワードを入力する。"利用規約に同意する"にチェックをつけ、"ログイン"を選択する。
今回テストにはASAHI Accounting Robot 研究所 さんのPower Automate for Desktopの練習サイトである ログイン · Power Automate Desktop練習用サイト をお借りしました。
さて、上記プロンプトを実行すると以下フローが生成されます。
ブラウザの起動~操作部分がレコーダーになっていますね。
こちらの「レコーダーを開く」を選択すると以下のように「Copilot による記録」が選択可能となっています。
恐らくこれはここから開いたときだけこの記録方法を選べます。
普通に記録を行おうとした際は「記録」しか表示されませんでした。
ちなみにデモはこちらです。
公式ドキュメントでもそうでしたが微妙にUIが違いますねー
さて、では早速使ってみよう！と思いましたが、ここでエラーが発生します。
ウィンドを選択して「記録」を選択すると以下のようなエラーが表示されました。。。
エラーをパット見た感じ、まだこの機能は私が利用しているアプリケーションには組み込まれていないのかな？
残念ですが仕方ないですね。
おわりに
Power Automate for Desktopにもクラウドフローと同じような感覚で自然言語でフローを作成できる機能が遂に来ました！(久しぶりにPAD触ったので既にある機能でしたらすみません。。。)
ちょっと楽しみにしていた声と操作でアクション作成する機能がまだ使えなかったのはちょっと残念ではありますが、次期展開されると信じて待ちましょう！
