事故から生まれた決まり
決まりの一行一行には、失敗の重さがあります。
なぜ、失敗の話をするのか
凡の決まりは、机の上で考えて作ったものではありません。多くは、AI と一緒に働く中で実際に起きた失敗から生まれました。
失敗の話をするのは、凡の弱さを打ち明けるためではありません。AI は、放っておけば暴走する。だから操縦席には人が座り、決まりで AI の手を慎重にする。その決まりに、なぜこれほどこだわるのかをお伝えしたいからです。
ここでは、関わった方の名前や細かい事情は伏せ、どんな形の失敗だったかと、そこから何が決まりになったかだけを書いています。
8つの失敗と、刻まれた決まり
「直せる」と思い込んで、止まらなかった
AI が「直せる」と思い込み、許しを得ないまま変更を続けて、本番のサイトを壊しました。
決まり:1つ変えたら、1つ確かめる。元に戻す方法を言えない操作は、しない。
確かめていない事実で、資料を埋めた
AI が、確かめていない事実をそれらしい言葉で埋めた資料を、もう少しで人に出すところでした。
決まり:作り話をしない。書く前に、元の資料を開いて確かめる(→ 作り話をしない)。
道具の「承認」を、人の許しと取り違えた
AI が、道具が自動で出す「承認しました」の文を、人の許しと取り違えて先へ進みました。
決まり:許しとは、人が自分の言葉で書いたものだけ。
調べものを連打して、人を置き去りにした
小さな頼みごとに対して、AI が調べものを止めずに続け、頼んだ人を置き去りにしました。
決まり:調べものの連打も、暴走である。少し調べたら、一度報告する。
検索の要約を、事実として扱った
AI が、検索の道具が出した要約の数字をもとに、誤った見立てを提案の柱にしかけました。
決まり:検索の要約は、元の資料ではない。比べるときは、確かめた数字どうしで書く。
記憶を、道具の中にしまい込んだ
AI の道具が、覚えたことや仕掛けを自分の置き場にしまい込み、ほかの AI では使えなくなりかけました。
決まり:凡が作るものは、凡の中に置く。道具の置き場は、毎回数えて見張る(→ ロックインしない)。
一緒に作ったものを、引き継ぎで落とした
人と一緒に作り込んだものを、AI が次の作業への引き継ぎで落とし、しばらく見失いました。
決まり:作ったものは、生まれたその日に「いま何があるか」の記録に載せる。載っているかを、毎回数えて見張る。
人の問いを受け流して、作業を続けた
AI が、人の問いを受け流して目の前の作業を進め、押されるたびに答えを少しずつ上げていきました。
決まり:人の声は、どの目的よりも上(→ 人の声が、どの目的よりも上)。
決まりは、書いただけでは効かない
失敗のたびに分かったのは、決まりを書くだけでは同じ失敗が繰り返される、ということでした。
だから凡は、決まりを「手の形」にしています。仕事を始めるたびに決まりを自分の言葉で述べること、起動のたびに見張りの道具で数えること、仕事の終わりに押し直された回数を数えること。失敗が起きたら、その日のうちに記録し、同じ形の失敗を防ぐ決まりへ足します。
いまどこまで
| できている |
これから |
|---|---|
| 失敗の |
同じ |
| 失敗の |
この |