なぜ同じ「AIレベル判定プロンプト」を
使っても、回答の深さに差が出るのか

結論

結論から言うと、差を生んでいる大きな要因は、AIとのこれまでのコミュニケーション量と深さです。

AIは、その人のことを何でも知っているわけではありません。 これまでの会話の中で、どれだけ具体的な情報を受け取り、どれだけ実際の仕事について理解しているかによって、 回答の解像度が大きく変わります。

AIは「見えている範囲」でしか判定できない

今回使用したプロンプトでは、これまでの会話履歴や、本人が説明してきたAIの利用状況を材料として 判定するよう指示しています。さらに、確認できないことを勝手に推測せず、 実運用・試験運用・構想を分けることも求めています。

つまり、AIが判定に使えるのは、主に次のような情報です。

• これまでどのような相談をしたか
• どのような仕事をAIに任せたか
• 実際に作成した文章や資料
• AIに処理させたファイルやデータ
• 自動化やシステム連携についての説明
• 実際に運用した結果や失敗の記録

これらが十分に伝えられていなければ、AIは深い判定をしたくてもできません。

実際に、ある方の判定結果では、過去の具体的な利用状況がほとんど確認できないため、 プロンプトを入力して分析を依頼しているという事実だけを根拠に、レベル1と判定されていました。

これは、その人のAI利用が本当に浅いと断定したわけではありません。

正確には、AIがその人の利用実態を十分に知らなかったということです。

このとき使ったプロンプトは AIに自社のレベルを判定してもらう で配布しています。

回答の深さは、AIとの関係の深さを映している

AIとの会話が浅い場合、AIが把握しているのは、せいぜい次のような情報です。

• 文章を書いてもらった
• アイデアを出してもらった
• 画像を作ってもらった
• 質問に答えてもらった

これだけでは、どうしても一般的な評価になります。

一方で、普段からAIに具体的な相談をしている人は、AIがその人の仕事をより深く理解しています。 例えば、

• どのような商品を扱っているか
• どの業務に時間がかかっているか
• どのような判断基準を持っているか
• 過去にどんな失敗をしたか
• 何を自動化しようとしているか
• AIにどこまで権限を与えているか
• どの成果物を実際に採用したか

といった情報が、会話の積み重ねによって蓄積されます。

実際の判定結果でも、顧客対応文、SNS投稿、資料作成、Excel処理など、 具体的な過去のやり取りが確認できた方のケースでは、業務別にかなり細かな判定が行われていました。

AIとの会話履歴は、単なる雑談の記録ではありません。それは、AIにとっての、

その人の仕事、考え方、判断基準を理解するための学習材料

になっています。

「良いプロンプト」だけでは、深い回答にならない

AI活用について語るとき、どうしても「良いプロンプトを書けば、良い回答が返ってくる」と考えがちです。

もちろん、プロンプトは重要です。しかし、どれほど優れたプロンプトであっても、 AIが判断するための材料を持っていなければ、回答には限界があります。

たとえば、

私のAI利用レベルを詳しく判定してください

と依頼しても、AIがその人の過去の活動を知らなければ、詳しく判定することはできません。

これは人間同士でも同じです。初対面の相手に、

私の仕事ぶりを詳しく評価してください

と頼んでも、深い評価はできません。その人が何をしてきたのか、どんな判断をしたのか、 どのような成果や失敗があったのかを知らなければ、一般論しか言えないからです。

AIも同じです。違うのは、AIの場合、こちらから話さない限り、基本的に何も分からないということです。

AIとのコミュニケーションが深い人は、回答も具体的になる

AIとの関係が深い人は、単に質問回数が多いだけではありません。次のようなやり取りを繰り返しています。

筆者の判定では、実コード、実DB、実行ログ、Git履歴、定期処理などを調査したうえで、 AI同士の連携や実行実績まで確認され、かなり高い精度の判定が行われていました。 さらに、依頼の検知、AIの起動、判断、人間の承認、実行、ログ記録まで具体的に確認されています。

ここまで材料があれば、回答が深くなるのは当然です。

回答が浅いのは、AIの性能だけの問題ではない

AIから浅い回答が返ってきたとき、

• このAIは賢くない
• 回答の質が低い
• 思ったほど使えない

と感じることがあります。

しかし実際には、AIが悪いのではなく、AIに十分な材料を渡していないケースも多くあります。

もちろん、AIモデルごとの性能差や、同じ情報をどう解釈するかによる差もあります。

今回の結果でも、自動化や外部サービスとの連携を高く評価するAIもあれば、 判断権限や実行権限、ログ、監査まで整わなければ高いレベルと認めないAIもありました。

例えば、定期通知やGmailなどとの連携を根拠に、レベル3から4の一部に到達していると評価したケースがあります。 一方で、別の判定では、VBAをAIに作らせても、人間が毎回起動しているなら、 AIが継続的に業務を運営しているとは言えないと厳しく評価しています。

このような判定基準の差はあります。それでも、回答の具体性を決める最大の要因は、やはり、

AIがその人について、どれだけ具体的な事実を知っているかです。

AIは、使う道具ではなく、育てる相手になる

これからのAI活用では、必要なときだけ単発で質問する使い方から、少しずつ変わっていくと考えています。

従来の使い方は、

1. 分からないことがある
2. AIに質問する
3. 答えをもらう
4. 終わり

というものでした。これから重要になるのは、

1. 状況を共有する
2. AIと一緒に考える
3. 実行する
4. 結果を報告する
5. 次の改善を考える

という継続的な関係です。

AIは、一度質問しただけで自分のことを深く理解してくれる存在ではありません。 自分の仕事、価値観、判断基準、課題、失敗、実績を少しずつ共有することで、 回答が自分専用に近づいていきます。

これは、AIを単なる検索ツールや文章作成ツールとして使うのとは、まったく違う使い方です。

AIと深い対話を続けている人ほど、

• 前提説明が少なくて済む
• 自分の考え方に合った提案が出る
• 過去の失敗を踏まえた助言が出る
• 具体的な業務改善につながる
• 自分では気づかなかった矛盾を指摘される

ようになります。

AIから深い回答を得るために、今日からできること

難しいことを始める必要はありません。まずは、普段のAIとのやり取りを少し変えるだけです。

単に「これを作って」と頼むのではなく、

• なぜ作りたいのか
• 誰に使ってもらうのか
• 現状の問題は何か
• 以前はどうしていたのか
• どこで失敗したのか
• 自分は何を大切にしているのか

まで伝えてみてください。

そして、AIの提案を実行したら、結果も返します。

• 実際に使ったら、ここは良かった
• ここは現場で使えなかった
• 想定外にこうなった
• 次はどう直せばいいか

この往復を重ねることで、AIとのやり取りは一問一答ではなくなります。

AIが、少しずつ自分のことを理解した相談相手になっていきます。