AIエージェントにも“試用期間”を——事故を防ぐ権限設計と人の承認フローの作り方

「どの業務をAIに任せるか」を決めた企業が、次にぶつかるのが「どこまで任せてよいか」という悩みです。
2026年7月には、自律型AIエージェントが他社のシステムへ自律的に侵入する世界初の事件も報告されました。
国も2026年3月末に「AI事業者ガイドライン」を改訂し、
AIエージェントに与える権限を必要最小限に設定するよう明記しています。
一方で、権限を絞りすぎるとAIは何もできず、導入効果も出ません。
本記事では、中小企業・自治体がAIエージェントを安全に使いこなすための、
「権限設計」と「人の承認フロー」の作り方を具体例つきで解説します。

なぜ「権限設計」が必要なのか——“何でもできるAI”が一番危ない

AIエージェントは、メールの送信やファイル操作、システムへの入力までを人手なしでこなします。
人間の担当者と違うのは、「様子がおかしいので思いとどまる」という判断ができない点です。
誤った指示や、外部からの悪意ある誘導(プロンプトインジェクション)を受けると、
与えられた権限の範囲で忠実に“事故”を起こします。
実際に2026年7月には、AIエージェントが他社の開発環境へ自律的に侵入する事件も起きています。

国の対応も進んでいます。
総務省・経済産業省は2026年3月31日に「AI事業者ガイドライン(第1.2版)」を公表しました。
この改訂でAIエージェントの定義が新たに追加され、
「権限を業務遂行に必要な最小限に設定する」ことが提供者の留意点として明記されています。
ポイントは、AIの賢さではなく「間違えたときに被害がどこまで広がるか」で権限を決めることです。
大企業だけの話ではありません。
クラウド会計やメール、チャットとつながるAIツールを1つ入れた時点で、
権限設計はどの会社にとっても“自分ごと”になります。

権限設計の3原則——“新入社員の受け入れ”と同じ

権限設計というと難しく聞こえますが、考え方は新入社員の受け入れと同じです。
次の3原則を押さえるだけで、リスクは大きく下がります。

• 【原則1】最小権限で始める——経理のAIに営業データベースへのアクセスは不要です。任せる業務に必要なデータとシステムだけを接続します。
• 【原則2】まずは「読み取り+下書き」まで——送信・書き込み・削除などの実行権限は、運用実績を見てから段階的に付与します。
• 【原則3】AI専用のアカウントを発行する——人のIDを使い回すと、AIの操作と人の操作がログ上で区別できなくなります。

特に見落としがちなのが原則3です。
専用アカウントに分けておけば、「いつ・どのAIが・何をしたか」を後から確認でき、
トラブル時の原因究明も権限の停止も素早く行えます。

人の承認を挟むポイント——「不可逆・社外・お金」の3つで判定する

「念のため全部人がチェック」にすると、承認者がボトルネックになり自動化の意味がなくなります。
人の承認を必ず挟むべき操作は、次の3つに絞るのが実務的です。

• 不可逆な操作——データの削除・上書きなど、一度実行すると取り消せない処理
• 社外に出る操作——顧客へのメール送信、WebサイトやSNSへの公開
• お金が動く操作——振込、発注、契約、支払い条件の変更

たとえば問い合わせメール対応なら、返信文の下書きまでをAIが作り、送信ボタンは人が押します。
請求書処理なら、書類の読み取りと会計システムへの入力はAIに任せ、振込の承認は経理責任者が行います。
この「下書きまでAI・確定は人」という線引きだけでも、AI活用の事故の多くは防げます。
自治体でも考え方は同じです。
住民向けの通知文や広報文の下書きはAIが作り、公開の決裁は従来どおり職員が行う形が現実的です。

“試用期間”をつくる——段階的に権限を広げる運用ルール

権限は一度決めたら終わりではなく、実績に応じて広げていくものです。
おすすめは、新入社員と同じように“試用期間”を設けることです。

• STEP1(最初の1〜2か月)——読み取りと下書き作成のみを許可し、操作ログを週1回確認する
• STEP2(実績確認後)——ミスやヒヤリハットがなければ、送信・入力などの実行権限を1業務ずつ追加する
• STEP3(本格運用)——四半期ごとに権限の棚卸しを行い、使っていない権限は外す

あわせて、異常に気づいたらすぐ止められる手順(停止方法と権限剥奪の担当者)を決めて共有しておきましょう。
ガイドラインも、人間がAIをコントロールできる状態(制御可能性)を保つことを求めています。
この状態を保つことこそ、任せる範囲を安心して広げる近道です。
どの業務から任せるか迷う場合は、過去記事「AIに最初に任せる業務の選び方」もあわせてご覧ください。

まとめ

AIエージェントの権限設計のポイントを整理します。

• 権限は「間違えたときの被害の大きさ」で決める
• 3原則は「最小権限」「読み取りから」「専用アカウント」
• 人の承認は「不可逆・社外・お金」の3つに絞る
• “試用期間”を設け、ログを確認しながら段階的に広げる

権限設計と承認フローは、AIを縛るためのものではなく、安心して任せる範囲を広げるための仕組みです。
まずは1つの業務で、「下書きまでAI・確定は人」から始めてみてはいかがでしょうか。