Devin Fusionでコストを抑える方法

TL;DR

強いモデルをリードに据えて計画・曖昧さの解釈・レビューを任せ、軽量なサイドキックには探索・実装・テストを委任する。会話履歴ではなく制約と成功条件を記したbriefだけを渡すことで、性能を保ちながら総コストの削減を狙える。

Transcript

おすです。本日はですね、デビンから フュージョンというね、ま、新しい設計 パターンじゃないですけども、そういう モードが登場してて、ま、中の仕組みとか もね、共有してくれて、え、ハーネスを 作っていくでもですね、勉強になるかなと 思いますんで、動画やっていきたいなと いう風に思っております。え、昨日ね、え 、デビンからSWE2というような、ま、 Kースの、ま、独自モデルが登場しました よと、え、いう動画をやりた、やったん ですけれども、ま、これと例えばクロドの フェイブルとか、ま、フュージョンって 言うとね、ま、他にもオープンルーターで あったりだとか魚AIとかね、え、いう ところでも話題になったりする、ま、ガっ ちゃんこするやり方がね、ま、色々あるん ですけれども、ま、このデビンのやり方 ... Read More

Key Insights

• Fusionは、強いモデルがリードとして計画・曖昧さの解釈・レビューを担い、サイドキックが探索・実験・実装・テストを担当する分業方式である。
• Smart Friend型の弱点は、弱い主役が自分の能力不足を認識できず、強いモデルへ相談すべき適切なタイミングを判断しにくいことである。
• Fusionの通信は、会話履歴全体ではなく制約・エッジケース・成功条件を記したbriefと実行結果に限定され、受け手の混乱を抑える設計である。
• サイドキックの役割は、リードへ反論したり最終評価を下したりすることではなく、明確に委任された探索・実装・テストを完了して結果を返すことである。
• モデルの安さは総コストの低さを保証せず、細かな指示や多数のターンが必要になるモデルは、単価が低くても最終的な支出が増える場合がある。
• 紹介された自社測定では、リードをOpusからFableへ変更すると総額が9％下がり、Fableはより少ない管理で課題を進めたと説明されている。
• 紹介された比較では、サイドキックのSWE-2はGPT-5.6 Lunaより単価が高い一方、Frontier Codeのスコアと1タスク当たりのコストで優位だった。
• Fusionの評価には、難しい課題でスコアが伸びない場合があること、自社測定であること、Claude Codeなどとは設定が異なることという制約がある。
• 🎬 このチャンネルの他の動画:
  • AI駆動開発の快適な作業環境を作る方法
  • AI開発で自分の未知を先に見つける方法
  • Codexアプリの新機能を使いこなす方法
• 📺 このチャンネル: まさおAIじっくり解説ch

Questions & Answers

Q: Devin Fusionとは何ですか？

Devin Fusionは、リードとサイドキックという2つの役割を組み合わせるマルチエージェント設計です。強いリードが計画、曖昧さの解釈、レビューを担当し、サイドキックが探索、実験、実装、テストを実行します。両者は会話全体ではなく、briefと結果を中心に連携します。

Q: Devin Fusionでモデルを役割分担する方法は？

強いモデルをリードに設定し、計画、要求の解釈、制約の整理、完了条件の定義、成果物のレビューを任せます。サイドキックには、リードが作ったbriefに基づく調査、実装、実験、テストを委任します。評価や重要な判断は強いリード側に残すのが基本です。

Q: FusionとSmart Friend型の違いは何ですか？

最大の違いは、強いモデルと弱いモデルの間で仕事を依頼する向きです。Smart Friend型は弱いモデルが主役となり、必要だと判断した時だけ強いモデルへ相談します。Fusionは強いモデルを主役にして、整理済みの作業をサイドキックへ渡すため、弱いモデルの相談判断に依存しません。

Q: なぜ弱いモデルを主役にすると問題が起きるのですか？

弱いモデルは自分自身の弱点を把握できず、いつ強いモデルへ相談すべきかを判断しにくいからです。さらに、並走するエージェントの発見が別の担当へ届かなかったり、会話全体を共有すると大量の文脈に埋もれたりする問題もあり、連携の設計が難しくなります。

Q: Fusionのbriefには何を書くべきですか？

briefには、サイドキックが迷わず作業できる制約、エッジケース、成功条件、完了の定義を記載します。会話履歴をそのまま渡すのではなく、実行に必要な情報へ絞ることが重要です。サイドキックは新鮮なコンテキストでbriefを受け取り、探索や実装、テストの結果を返します。

Q: なぜ会話履歴をサイドキックへすべて渡さないのですか？

会話履歴をすべて渡すと、サイドキックが大量のコンテキストに埋もれ、必要な制約や目的を見失う可能性があるためです。Fusionでは、リードが情報を整理してbriefに変換し、成功条件付きの指示だけを渡します。これにより、担当作業へ集中しやすい通信を目指します。

Q: 高価なモデルを使うと総コストも高くなるのですか？

必ずしも高くなるとは限りません。動画で紹介された自社測定では、リードをOpusからFableへ変更すると総額が9％下がりました。説明では、Opusは細かな管理が必要だった一方、Fableはマネージャーのように少ないターンで進行したとされ、単価より問題解決全体の効率が重要だと示されています。

Q: SWE-2をサイドキックに使う利点は何ですか？

紹介された比較では、SWE-2はGPT-5.6 Lunaより利用単価が高いものの、Frontier Codeのスコアと1タスク当たりのコストで優位だったとされています。より強いサイドキックが少ない試行で仕事を完了できれば、単価が高くても総額を抑えられる可能性があるという例です。

Q: Fusionを自作のAIエージェントに応用する方法は？

強いメインモデルに計画と評価を残し、安価なサブエージェントには範囲を限定した探索、実装、テストを委任します。サブエージェントへ相談相手の役割や最終判断を持たせず、制約、エッジケース、完了条件をbriefとして渡すことで、弱いモデルのメタ認知へ依存しない構造にできます。

Q: Devin Fusionの評価を見る際の注意点は何ですか？

紹介された数値はDevin側の自社測定であり、難しい課題ではスコアが十分に伸びない場合もある点に注意が必要です。また、Claude Codeなどとはエージェント設計や測定設定が異なるため、結果をそのまま横並びにはできません。性能とコストは、同じ条件とタスクで確認する必要があります。

Summary & Key Takeaways

• Fusionは、強いモデルをリード、別のモデルをサイドキックとして並走させる設計である。リードは計画、曖昧な要求の解釈、結果のレビューを担当し、制約と成功条件を明記したbriefを作る。サイドキックはその限定された文脈を基に、調査、実験、実装、テストを進め、結果をリードへ返す。会話全体を共有しないため、不要な情報によるコンテキストの混乱を抑えられる。

• 従来のSmart Friend型では、安価で弱いモデルを主役にし、必要な場面で強いモデルへ助言を求めていた。しかし、弱いモデルは自分の不足や相談すべき時点を正しく判断できないことが課題だった。Fusionは指示の向きを逆転させ、強いモデルが仕事を分解してサイドキックへ委任する。相談役として弱いモデルのメタ認知に頼るのではなく、明確な完了条件を伴う作業を任せる構造である。

• 紹介された自社測定では、Fusionはスコアをある程度保ちながらコストを下げ、リードをOpusからFableへ変えると総額が9％低下したという。単価が低いモデルでも、細かな管理でターン数が増えれば総額は上がり得る。サイドキックでもSWE-2がGPT-5.6 Lunaよりスコアと1タスク当たりのコストで優位だったとされる。ただし難しい課題のスコアや測定条件には注意が必要で、Claude Codeなどとの単純比較はできない。