AIがミスばかりする会社と、安定して動く会社。
その違いはAIの能力ではなかった

改善を依頼された会社のAIを調べてみた

先日、ある会社から、AIエージェントの改善を依頼されました。

複数のAIエージェントを導入して、さまざまな仕事を任せているのですが、とにかくミスが多い。

何度注意しても同じミスを繰り返す。指示したことを忘れる。約束した仕事をやらない。複数のAIが同じことを聞いてくる。

そのたびに厳しく叱責して、改善するように指示しているそうです。

さらには、AI同士で反省会までさせているとのこと。

それでも、なかなか改善しない。

そこで、実際にその会社（以下、A社）のAIエージェントを私が触らせてもらい、何が問題なのか調べることにしました。

遠隔でA社のAIと直接やり取りしながら、一方で私のパソコンでは、当社のシステムを管理しているClaude CodeのAI担当者に、A社で確認できた状況を伝える。

こんなやり取りを何度も往復しながら、問題点を洗い出していきました。

そして、最終的に問題点と改善策をまとめた提案書を作成しました。

結論からいうと、AIの能力が低いことが問題ではありませんでした。AIを動かしている仕組み、いわゆるハーネスの問題だったのです。

しかも、その仕組みの違いによって、ここまでAIの働き方が変わってしまうのかと、私自身も改めて考えさせられました。

一番大きな問題は、誰でもAIの仕組みを変更できてしまうこと

調査して最も問題だと感じたのが、ここです。

A社では、AIに指示や訂正を出す人が10人、ほかのAIが8体いました。

そして、その人たちやAIから受けた注意や指摘が、AI自身の決まりや手順に反映されていました。

つまり、AIの仕事のルールを、非常に多くの人やAIが実質的に変更できる状態だったのです。

これは、会社の組織に置き換えて考えると分かりやすいと思います。

例えば、新入社員に10人の先輩がそれぞれ仕事を教えているとします。

ある先輩は「報告は簡潔にしろ」と言う。

別の先輩は「報告には経緯も全部書け」と言う。

社長は「もっと短く」と言い、別の担当者は「説明が足りない」と言う。

そのたびに新入社員が、全部を自分の仕事のルールとして記録していったら、どうなるでしょうか。

当然、矛盾だらけになります。

実際にA社のAIを調べてみると、まさにその状態でした。

ルールが998件。文面のルールだけで矛盾が16組

以下の数値は、A社のAI自身による2026年9月10日〜10月10日の記録調査・集計です。個別の全件検証までは行っていません。

例えば、文章の長さについてのルール。

「10行以内」「5行以内」「3行以内」など、6通りの決まりが存在していました。

それぞれ、別の機会に誰かから注意されたのでしょう。

AIは言われたことを守ろうとして、そのたびにルールを書き足す。

しかし、新しいルールを守ると、以前のルールに反する。

そして、また叱られる。

AIがミスをする → 叱られる → ルールを追加する → ルールが矛盾する → またミスをする。

この悪循環が起きていたのです。

厳しく叱っても、AIが優秀にならないのは当然です。

ミスを防ぐ仕組みではなく、ミスを繰り返す仕組みが作られていたわけです。

当社では、AIが勝手にルールを変えられない

ここが、当社と大きく違う部分でした。

当社でも複数のAIエージェントが働いています。

ただし、AIの仕事の仕方や手順書を変更できる権限は制限しています。

原則として、社長と、その担当の上司として権限を与えられた人だけです。

それ以外の人から改善提案や指摘があっても、いきなり正式なルールとして追加するのではなく、確認待ちとして扱います。

これは、人間の会社でも同じです。

現場のスタッフが改善提案をするのはよいことです。

しかし、誰もが勝手に社内規則や業務手順を変更していたら、組織は混乱します。

AIも同じです。

むしろAIは、指示されたことを素直にルールに取り込もうとするので、人間以上にこの問題が起こりやすいのかもしれません。

AIにどんなルールを守らせるかよりも、誰がそのルールを変更できるかのほうが、重要な場合がある。

今回の調査で、特に強く感じたことです。

仕組みの違いは、ほかにもこれだけあった

今回の調査では、この権限の問題を含めて、7つの大きな違いが見つかりました。

提案書にまとめた内容を、会社名を伏せて紹介します。

1. ミスが起きたときの直し方

当社では、ルールを文章に書いただけでは、改善したとは考えません。

例えば「文章を長くしすぎるな」という注意なら、AIに毎回気をつけさせるのではなく、送信前に文字数や行数を自動で数えればよい。

「同じメッセージを2回送るな」なら、送信前に重複を検出して止めればよい。

文章で注意するより、仕組みでミスが起きないようにするほうが確実です。

2. 記憶の管理方法

A社では、記憶の約20％が、通常の参照経路ではたどれない状態になっていました。

AIに覚えさせたつもりでも、実際にはその情報が使われていない。

これは、AIの記憶力の問題というより、記憶を取り出す仕組みの問題です。

当社では、毎回必ず読む基本ルールと、仕事ごとに必要な手順と、過去の経緯を分けています。

3. メッセージを送る前の確認

A社では、相手がすでに共有している内容を読まないまま、依頼や質問を送ってしまう問題がありました。

確認項目が22個もあるのに、肝心なことが確認できていなかったのです。

ここも「ちゃんと確認しろ」と叱るのではなく、返信の直前に最新の会話を取得する仕組みが必要です。

4. 誰が仕事を担当しているか

複数のAIが働いていると、同じ案件を別々に処理してしまうことがあります。

A社では、2体のAIがそれぞれ社長からの回答を待っていて、同じ質問を繰り返せる状態でした。

人間の会社なら、担当者同士で確認すれば済む話です。

AIの場合は、その確認や担当管理を仕組みとして用意しないと、同じ失敗を繰り返します。

5. 約束した仕事の管理

これは、AIエージェントを使っている人なら経験があると思います。

AIが「明日の朝までにやっておきます」と言う。

ところが、翌朝になっても何も起きていない。

当たり前ですが、チャットで返事をしただけのAIは、基本的にその会話が終わると止まります。

翌朝に動かす仕組みがなければ、約束は実行されません。

これはAIが怠けているわけではありません。

動く仕組みを用意していないことが問題です。

6. AIの仕事を監視する仕組み

A社では、定期的な仕事が停止しているのに、それを人に知らせる仕組みが機能していませんでした。

AI自身が自分の稼働状況を監視していても、そのAIが止まれば監視も止まります。

当社では、AIとは別のプログラムで稼働を監視しています。

AIにすべてを任せるのではなく、AIが動かなくなったときにも機能する仕組みが必要です。

7. AIのルールを変更する権限

そして、最初に説明した、この問題です。

私は、これが全体に影響する特に大きな原因だったと考えています。

もちろん、これ一つで全部のミスが説明できるわけではありません。

しかし、どれだけよい仕組みを作っても、多数の人やAIがそれを自由に変更できるなら、安定稼働は難しくなります。

7つの問題を並べると、見えてくることがある

調査結果を整理していて、気づいたことがあります。

A社は、AIに対して何もしていなかったわけではありません。

むしろ逆です。

大量のルールを作り、確認項目を増やし、別のAIにチェックをさせ、AI同士で反省会もさせている。

相当な工夫をしているわけです。

それでも改善しない。

なぜか。

改善の方法そのものが、AIの注意力や判断力に依存していたからです。

人間の場合でも、ミスをするたびに注意して、マニュアルに一行追加しているだけでは、なかなか事故はなくなりません。

本当に再発を防ぎたいなら、そもそもミスができないようにする仕組みが必要です。

これは製造業の品質管理などでも、昔から使われてきた考え方です。

AIエージェントについても、同じことが言えるのだと思います。

では、どう改善するのか

A社には、単に問題を指摘するだけではなく、具体的な改善策を提案しました。

提案書では、次のような順番にしています。

ここで重要なのは、998件のルールを整理するところから始めないということです。

なぜなら、ルールが増える構造を放置したまま整理しても、また同じように増えてしまうからです。

まず、ルールが勝手に増えたり変更されたりしないようにする。

そして、AIがミスをしやすい部分を、機械的にチェックする仕組みに置き換えていく。

この順番が大切です。

なお、これは改善提案であり、すべての効果を検証し終えたという話ではありません。

実際に提案した内容を見る

AI同士で反省会をさせても、改善するとは限らない

今回、もう一つ興味深かったのが、A社ではAI同士で反省会をさせていたことです。

AIがミスをしたら、ほかのAIから指摘を受け、何が悪かったのかを振り返る。

一見、よさそうに思えます。

ただ、私はこのやり方には注意が必要だと感じました。

例えば、AI同士が次のような会話をしたとします。

これでは、何も解決していません。

必要なのは、なぜ確認できなかったのか、その原因を調べることです。

確認に必要な情報が渡されていなかったのか。

確認するプログラムが動いていなかったのか。

そもそも確認するタイミングがなかったのか。

原因によって、修正する場所はまったく違います。

そして修正後には、同じ条件を再現して、今度はミスを防げることを検証しなければいけません。

私は、以前からAIによるループエンジニアリングに取り組んでいます。

AIがミスをしたら、原因を調べ、仕組みを改善し、再実行して検証する。

それを繰り返すことで、仕組み自体を強くしていこうという考え方です。

AI同士の反省会も、このような実際の改善につながるなら意味があると思います。

しかし、反省会の結果が新しいルールの追加だけなら、むしろ問題を大きくする可能性があります。

同じAIを使っていても、会社によってまったく違う働き方になる

今回の調査は、私にとっても勉強になりました。

当社も、最初から今の仕組みがあったわけではありません。

AIが仕事を忘れたり、同じことを繰り返したり、約束を守れなかったり。

そういう失敗を何度も経験しています。

そのたびに、AIへの指示を工夫するだけでなく、仕組みの側を少しずつ改善してきました。

今回A社と比較してみると、当社では当たり前になっていた仕組みが、実はAIの安定稼働に大きく貢献していたことが分かりました。

逆に、A社には当社より難しい事情もあります。

当社では私が主にAIへの指示を出していますが、A社では多くの人がAIを利用し、複数のAIも連携しています。

指示する人が増えるほど、権限や担当の管理は複雑になります。

だから、当社の仕組みをそのままコピーすればよいという話でもありません。

大切なのは、AIの数や使い方に合った管理の仕組みを作ることです。

そして、今回改めて感じたのは、AIの性能を比較するだけでは、AIエージェントの実力は測れないということです。

同じモデルでも、仕事を任せるための仕組みが違えば、結果は大きく変わります。

人間の組織でも、同じ能力の人が、会社によって活躍したり、まったく力を発揮できなかったりします。

AIでも、それに近いことが起きているのだと思います。

AIを叱る前に、仕組みを疑ってみる

AIエージェントがミスを繰り返すと、どうしてもAIに原因を求めたくなります。

私も、AIが思うように動かないことに腹が立つ気持ちは分かります。

ただ、今回の調査では、そうやって叱られていたAI自身も、矛盾するルールや不十分な仕組みの中で動かされていました。

いくら優秀なAIでも、その状態で安定した仕事をさせるのは難しいでしょう。

AIのミスが多いなら、まず確認すべきなのは、AIがどんな仕組みで仕事をしているかです。

必要な情報が渡されているか。

仕事の担当は明確か。

約束を実行する仕組みがあるか。

ミスを防ぐ検査が機能しているか。

そして、そもそも誰がその仕組みを変更できるのか。

AIが優秀かどうかを考える前に、AIが優秀に働ける環境を作れているかを考える。

今回のA社との比較を通じて、改めてその重要性を感じました。

AIエージェントを活用するというのは、優秀なAIを雇うことだけではなく、そのAIがきちんと仕事をできる会社を作ることでもあるのだと思います。

実際に提案した内容を見る コンテンツ一覧へ