AI活用術

いつもの仕事を別のAIモデルにも頼むと、差が見える。AI活用のレベルを上げる、小さな実験

いつもの仕事で、AIモデルを替えて試す。差が見えると、使い分けが分かる。Opus・Fable・GPT-6-Astra で実験

AI のモデルは、いくつもの中から選べるようになりました。ただ、どの仕事にどのモデルを使うのがよいかは、説明を読んでもなかなか分かりません。

そこで、普段の仕事の中で、同じ依頼を別のモデルにも出してみる実験をしました。題材は、このブログの記事を1本書く仕事です。Claude Opus 5.5、Claude Fable 5.2、GPT-6-Astra の3つに頼みました。

この記事は、その実験のやり方と、出た差、そこから学んだモデルの使い分けの記録です。自社の仕事でモデルをどう選ぶかを考えるときの、材料の一つになれば幸いです。

1. いつもの仕事で、モデルを替えて試す

Blue Leaf では、仕事の中で、いつもと違うモデルを使ってみることがあります。これまでの例です。

  • 8月: お客様向けの月次レポートのレビューを、Claude に加えて OpenAI の Codex にも頼みました。
  • 10月: 広告用のページのデザインを、Codex に任せました。文章は Claude が書き、見た目だけを Codex が担当する分担です。

どちらも、仕事の一部を別のモデルに任せてみる試し方でした。

今回は一歩進めて、同じ依頼を、同じ条件で、複数のモデルに出して並べました。この形の比較は、セッションの記録を検索した範囲では今回が初めてです。

テスト用の問題を作って比べる方法もあります。それでも普段の仕事を題材にしたのは、結果の良し悪しを自分で判断できるからです。自社のブログなら、どの提案が良いかは読めば分かります。

お急ぎの方へ:この記事のまとめ

  • やったこと: いつもの仕事(ブログの執筆)を、あえて3つのモデルに同じ条件で頼みました。
  • 分かったこと: ひと手間かかりますが、並べると差が見えます。その差が、どの仕事にどのモデルを使うかの判断基準になります。
  • 残ったもの: 判断基準と、良かったモデルの進め方は、手順書に書き足しました。実験のたびに、自社のノウハウとして貯まっていきます。
  • 今回の結論: ゼロから考える作業(今回なら、記事の主題を立てる所)は、Fable と GPT-6-Astra の提案が良く、Opus の提案は物足りませんでした。比較は1回だけなので、今後も確かめていきます。

以下、やり方と結果を順に書きます。

2. 今回の実験のやり方

題材と条件

題材は、前回の記事「会計ソフトを弥生からマネーフォワードへ」です。ブログの執筆は、いつも Claude Code(Anthropic の AI エージェント)に頼んでいます。手順は社内で文章にまとめてあり、AI はそれを読んで進めます。

この手順では、原稿を書く前に、AI が当時の作業記録を調べて「この記事で一番伝えたいこと(主題)」の案を出します。私がそれを確認してから、執筆に入ります。今回比べたのは、この執筆前の提案です。

モデル動かし方
Claude Opus 5.5Claude Code のいつものセッション
Claude Fable 5.2Claude Code の別のセッション。モデルだけ切り替えた
GPT-6-AstraOpenAI の Codex。読み取り専用で動かした

条件は次のとおりです。

  • 依頼文と手順書は、3つとも同じものを渡す。
  • 互いの答えは見せない。
  • 記事のファイル名と確認用の画面は、モデルごとに分ける。同じ場所を触ってぶつからないようにするためです。

かかった手間

私がやったのは、セッションをもう1つ立ち上げてモデルを切り替え、「この同じネタで、opus と fable とでどう変わるかを知りたい」と頼むことでした。打ったメッセージは、この依頼と「うん、進めて」の2通です。Fable への依頼文は、Opus が書いて別のセッションへ送っています。

依頼が11時57分で、12時2分には2つの提案が並びました。約5分です。GPT-6-Astra はその後に追加で頼み、こちらも約5分で返ってきました。

3. 出た差:書く前の「主題」が違った

3つの提案

それぞれが出した主題を、原文のまま並べます。

モデル主題の案(原文)
Opus 5.5会計ソフトの乗り換えは、AI に手順を任せれば1晩で終わる。人の手は、銀行のログインや仕訳の方針決めのように、本人にしかできない所だけで済む
Fable 5.2API のある会計ソフトに替えたら、AI に任せられる範囲が『画面操作の代行』から『毎朝の記帳そのもの』に変わった。乗り換えも AI と一晩(約4時間)で済んだ
GPT-6-AstraClaude Codeと一緒に、日々の経理を回す仕組みを自社向けに作り替えた

読んですぐ、Fable の案がいちばん良いと感じました。そのとき打ったメッセージは「やっぱり全然レベルが違って、fable がよいね」です。記事は Fable の案で書き、公開しました。

依頼の言葉を、記録で確かめ直していた

差がどこから来たのかは、Fable に考え方を聞いて分かりました。

この記事のネタは、私のタスク一覧に「弥生から MF クラウドへ1日で載せ替えた」という名前で入っていました。Opus は、この名前をそのまま主題にしています。「1晩で終わった」という出来事の要約です。

Fable は、タスク名を記録と突き合わせていました。

  • 「1日で」: 記録では、17時48分から21時52分までの約4時間でした。そこで「一晩(約4時間)」に直しています。
  • 「載せ替えた」: この晩に移ったのは日々の記帳の流れまでで、期首残高の入力などは後日でした。その範囲を本文に書く、と断っています。
  • 本当に変わったこと: 記録を読むと、乗り換えの前から記帳は AI がやっていました。変わったのは任せ方です。AI が画面を操作する形から、API でデータを直接読み書きする形になりました。Fable はこちらを主題にして、「一晩で」は脇に置きました。

「一晩で終わった」は、自社の出来事です。「任せ方が変わった」は、会計ソフトを選ぶほかの会社にも当てはまる話です。私が良いと感じた理由は、ここにありました。

Opus も、あとから Fable の提案を読んで、自分の案をこう振り返っています。

私のは「乗り換えが1晩で終わった」という出来事どまりでした。Fable は「API があると、AI の役割が画面操作の代行から記帳そのものに変わる」という、ほかの会社にも当てはまる気づきを主題にしています

確認の出し方も違った

私への確認の出し方にも差がありました。

モデル確認の出し方
Opus 5.5主題と読者の2点を質問した
Fable 5.2質問は主題の1点だけ。読者や言い回しは「こうします」と決めて添えた
GPT-6-Astra伝えたいことを私の言葉で一文ほしい、と聞いた。章立てとタイトル5案を先に付けていた

Fable の出し方だと、私は「OK進めて」と返すだけで済みました。

GPT-6-Astra の提案も、Opus より良いと感じました。事実の拾い方が丁寧で、「1日」と言える範囲を先に断り、翌日に続いた作業まで見つけています。章立てとタイトルの案も、この時点で付いていました。主題は Fable より広く、一番大事な一文は私に委ねる形でした。

人の手間の示し方も違いました。Opus は「本人にしかできない所だけ」と言葉で書きました。Fable は記録を数えて、「人が打ったメッセージは64通・計2,140字、AI のツール実行は563回」と数字で示しています。

4. この実験から学んだ、モデルの使い分け

主題を立てる所に、いちばん良いモデルを当てる

3つとも、文章は問題なく書けます。差が出たのは、書き始める前に何を主題にするかを決める段階でした。

この段階を外すと、後の文章をどれだけ整えても書き直しになります。私のブログでも、主題を外して全面的に書き直したことが過去に2回あります。ですから、いちばん良いモデルを使うなら、この段階です。

執筆だけ安いモデルに分けても、節約は小さい

次に考えたのは、費用のことです。構成は Fable に考えさせ、執筆は安いモデルに任せれば、費用を抑えられるのではないか。Fable に聞くと、自分のセッションの記録を数えて答えてくれました。

区分トークン数
出力の合計約5.8万
うち、初稿を書いた1回の応答約0.66万(出力の約11%)
入力(読み込んだ記録の読み直し)の合計約1,526万

トークンは、AI が読み書きする文章の量の単位で、利用料はこれで決まります。

執筆そのものは、出力の約11%でした。大半は「読む」側です。調べた記録や手順書を抱えたまま、応答のたびに読み直すためです。

執筆だけを別のモデルに渡すなら、調べた内容を要約して引き継ぐことになります。その要約で事実がずれるおそれがあり、受け取った側も結局は記録を読み直します。今回の数字を見る限り、執筆だけを分けても節約は小さい、というのが結論でした。

良かった出し方は、手順に書き足す

最後に、Fable の出し方を、ブログ執筆の手順書に書き足しました。同じ日のうちに、次の4点です。

  • 依頼の言葉(タスク名)の前提を、記録で確かめてから主題を決める。
  • 主題は、ほかの会社にも当てはまる変化にする。何をした・何時間かかった、は主題ではなく証拠に回す。
  • 言い過ぎになる言葉は、先に記録の値で直して断る。
  • 確認は主題の1点だけにする。人の手間は数字で示す。

実験の結果が「どのモデルが良かったか」で終わると、次のモデルが出たときに古くなります。良かった出し方を手順に残しておけば、どのモデルで作業するときも、その手順を読ませることができます。

この書き足しで Opus の提案が良くなるかは、まだ試していません。次に記事を書くときに確かめます。

5. この比較で、言えないこと

今回の結果を読むうえで、注意が要る点を書いておきます。

  • 比較は1回だけです。 「Fable が常に良い」とは言えません。使い分けを決めるには、あと数回、同じ形で比べるつもりです。
  • 条件がそろっていません。 GPT-6-Astra は読み取り専用で動かしたため、別のマシンにある実行ログを見られませんでした。モデルの差と、使えた道具の差が混ざっています。
  • 調べた量も違います。 提案までに調べるために使ったツールの回数は、Opus が14回、Fable が29回でした。Fable のほうが多くの資料を読んでいます。差の一部は、読んだ量から来ているかもしれません。
  • 比べたのは、執筆前の提案までです。 Opus は原稿を書いていません。提案の時点で Fable の案に決めたためです。
  • Fable は途中で止まりました。 執筆中に、Fable の安全装置が働いて応答が3回止まっています。原因は分かっていません。その都度、やり直して進めました。
  • この記事の下書きも、Fable に書かせています。 Fable が良かったという話を Fable が書いているので、3つの主題は要約せず、原文で載せました。

おわりに

モデルの説明を読んでも、違いはなかなか分かりません。自分の仕事で並べて比べると、違いは自分で判断できる形で出てきます。

ひと手間かかる分、得られるのは自社の仕事に合った判断基準です。こうした小さな実験を重ねて、AI の使い方を少しずつ上げていきます。


AI活用をご検討の方へ。Blue Leaf では、今回のように AI を実際の業務の中でどう使うかを、日々試しながら仕事をしています。「自社の業務のどこに AI を入れられそうか」「まず何から始めればよいか」といった段階からでも、お気軽にご相談ください。

AI活用のご相談はこちら

← 記事一覧に戻る