멀티 에이전트 하네스로 9달러와 200달러 실험의 차이는 무엇인가

TL;DR

답은 구조의 차이에서 나온다. 같은 AI 모델을 사용하더라도 프론트 엔드 디자인, 플래너 제너레이터 이밸루에이터 등 역할 분담이 성능 차이를 만들었다. 9달러 버전은 작동하지 않는 반면 200달러 버전은 실제로 작동하는 게임을 만들었다. 이 실험은 AI를 어떻게 조직하고 평가하느냐가 핵심임을 보여준다.

Transcript

며칠 전에 앤트로픽이 블로그 글 하나를 올렸어요. 클로드 만든 회사요. 거기서 재밌는 실험 결과를 공개했는데요. 같은 클로드한테 같은 걸 시켰어요. 레트로 게임 만들어죠. 하나는 9 달러 들었고 20분 걸렸어요. 하나는 200달러 들었고 6시간 걸렸어요. 9달러짜리는요. 게임이 안 돌아갔어요. 플레이 버튼 눌러도 캐릭터가 안 움직여요. 200달러짜리는 실제로 플레이가 됐고 AI가 레벨도 만들어지고 스프라이트도 그려줬어요. 같은 AI예요. 모델이 같아요. 다른 건 딱 하나 AI를 어떻게 쓰냐 그 구조가 달랐어요. 오늘은 그 이야기를 해 볼게요. 먼저 지금 대부분의 사람들이 AI를 쓰는 방식부터 짚어 볼게요. 체 GPT든 ... Read More

Key Insights

• 컨텍스트 불안 문제를 해결하기 위한 다중 에이전트 구조의 필요성이 강조된다.
• 평가자 역할을 명확히 두고 구체적 네 가지 기준을 통해 피드백하는 체계를 갖춘다.
• 제플래너와 이밸루에이터의 협업으로 스프린트형 개발에서 품질이 향상된다.
• 플래너가 큰 그림을 제시하고 구현은 제너레이터가 맡아 기술 디테일은 이밸루에이터가 점검한다.
• 체계적인 테스트와 로그 분석으로 버그를 구체적으로 식별하고 수정한다.
• 다양한 도메인에서 하네스의 원리로 구조를 재설계하면 성능 차이가 크게 나타난다.
• 모델의 발전이 항상 하네스를 대체하는 것은 아니며, 새로운 도전과제와 구조 필요성을 제기한다.
• 하네스의 핵심 메시지는 같은 모델이라도 작업 방식의 차이가 실용성의 차이를 만든다는 것이다.

Questions & Answers

Q: 어떻게 단일 에이전트와 다중 에이전트 구조의 차이가 성능에 영향을 주는가

단일 에이전트는 기획부터 구현까지 한 사람에게 의존하기 때문에 컨텍스트 불안과 자기 평가 편향이 심화될 수 있다. 다중 에이전트에서는 역할을 분배하고 각 에이전트가 특정 관점에서 피드백을 제공하므로 문제의 편향을 줄이고 품질을 높일 수 있다. 이러한 구조 변화가 9달러와 200달러 실험의 차이를 만든 핵심이다.

Q: 프론트엔드 디자인 실험에서 GAN에서 아이디어를 차용한 이유는 무엇인가

프론트엔드 디자인의 품질을 평가하는 데 주관적 기준이 개입하기 쉽기 때문이다. GAN 아이디어를 차용해 생성과 평가를 분리하고, 생성 쪽은 디자인을, 평가 쪽은 품질과 창의성, 완성도, 기능성 같은 구체적 기준으로 평가하도록 했다. 이렇게 하면 디자인의 주관성을 줄이고 구체적 개선 포인트를 도출할 수 있다.

Q: 플래너의 역할은 무엇이며 왜 구현의 기술 디테일은 따로 다루었나

플래너는 한 문장짜리 요청을 받아 전체 스펙으로 확장하는 역할이다. 기술적인 구현 디테일은 실제 구현 에이전트에게 맡김으로써 큰 그림의 설계와 작은 구현의 정확성이 서로 어긋나지 않게 한다. 이 방식은 초기 설계의 방향성과 이후 구현의 정확성을 분리하여 실무적 오류를 줄인다.

Q: 이밸루에이터의 구체적 테스트 방법은 무엇이며 왜 중요할까

이밸루에이터는 플레이라이트를 사용해 실제로 웹사이트를 클릭하고 사용해 보며 버그를 구체적으로 찾아낸다. 예를 들어 드래그로 영역을 채워야 하는 경우의 실패 지점을 찾아내고, 같은 기준으로 재현 가능한 버그를 기록한다. 이처럼 실제 사용 맥락에서 평가하는 것이 중요하므로 품질보다 현실적 작동 여부를 보장한다.

Q: 200달러 버전의 구체적 기능 확장은 어떤 구성으로 이루어졌나

16개 기능이 10개 스프린트에 걸쳐 만들어졌다. 레벨 에디터, 스프라이트 에디터, 스프라이트 애니메이션, 사운드 이펙트, AI 스프라이트 생성기, AI 레벨 디자이너 등 다양한 도구가 포함되었고 실제로 게임이 플레이 가능하도록 구현되었다.

Q: 모델의 개선으로 스프린트 구조가 없어지는 사례는 어떤가

오퍼스 4.6과 같은 더 나은 모델은 컨텍스트 불안을 크게 줄여 스프린트로 작업을 나눌 필요를 줄였다. 그 결과 게임 제작은 더 단순한 구조로 재설계되었고 이밸루에이터도 매 스프린트가 아닌 마지막에 한 번만 작동하는 방식으로 바뀌었다.

Q: 엔트로픽의 핵심 주장인 한네스의 지속성에 대한 요지는 무엇인가

모델이 발전해도 하네스의 복잡성은 없어지지 않는다. 대신 더 높은 수준의 작업을 요구하게 되며, 더 어려운 과제를 시킬 수 있을 만큼 더 복잡하고 포괄적인 구조가 필요해진다는 점이다. 이로써 AI 발전이 자동으로 구조의 간소화를 의미하지 않음을 보여준다.

Q: 최종적으로 어떤 결과물이 만들어졌으며 어떤 차이가 있었나

최종적으로는 브라우저에서 돌아가는 DAW가 만들어져 실제로 음악을 생성할 수 있었다. 3시간 50분 걸리고 비용은 약 124달러였다. 다만 이 밸루에이터가 놓친 일부 디테일이 있어 여전히 미세한 문제는 남아있었다.

Summary & Key Takeaways

• 플래너가 무엇을 만들지 설계하고 제너레이터가 기능을 구현하며 이밸루에이터가 실제 사용감을 테스트한다는 구조가 작동 여부를 좌우한다. 이 구조에서 반복 사이클을 통해 품질이 강화된다. 단일 에이전트 대비 협업 구조의 차이가 큰 효과를 낸 사례로 평가된다.

• AI 모델의 개선이 항상 구조의 축소를 의미하지 않는다. 더 복잡한 문제를 해결하기 위해 더 정교한 하네스가 필요하고, 한편으로는 모델이 커지면 평가 기준과 계약의 명확성이 더욱 중요해진다.

• 실험은 같은 모델이더라도 하네스 설계의 차이가 실용성에 큰 영향을 준다는 것을 보여준다. 9달러 버전은 기능 누락이나 비효율로 작동하지 못했고 200달러 버전은 실제 플레이가 가능했다.