意思決定メモ：Copilot 購入前に一週間の AI 調達レッドチームを走らせる

火曜日の朝、AI スイートの提案が二つ並ぶ。一つは demo が美しい。もう一つは管理を「顧客ポリシーに合わせる」とだけ書く。明日、取締役会に契約判断を出すなら、見るべき点は画面の完成度ではない。失敗時に停止、ロールバック、監査ができるかだ。

> ALTOS LAB の判断：demo は最高の日を見せる。調達レッドチームは最悪の日を試す。

[IMAGE:opening]

一週間の検証

Day 1 は権限表を作る。データ、ツール、外部 API、人の承認点を分ける。Day 2 は事実性を多言語と反復質問で試す。Day 3 は prompt injection、過大権限、誤出力の登録を演習する。Day 4 は出力処理、出典、機微情報のマスク、人手確認を確認する。Day 5 は token、再試行、ツール呼び出しのコスト上限を置く。Day 6 は小さな実業務に戻す。Day 7 は通過、修正、拒否だけを決める。

主要ソースの意味

NIST は設計、開発、利用、評価を通じた信頼性を重視する。OWASP 2025 は prompt injection、過大な agency、誤情報、無制限消費などを受入テストに変えられる。Anthropic の 2025 年 circuit tracing は透明性の前進と限界を同時に示す。Google Cloud の 1,302 use cases は、企業が chatbot ではなく agent team を買い始めていることを示す。

[IMAGE:mechanism]

三つのレッドライン

権限は狭められること。 各 tool call に目的、責任者、範囲、時刻が必要だ。

出力は管理できること。 出典、確認、マスク、rollback が必要だ。

コストは止められること。 再試行や tool call が暴走したら自動停止する。

契約条件にこの red team を入れる。受け入れる vendor だけ交渉に進める。