에이전트 엔지니어링에서 안티패턴은 무엇이고 왜 더 적게 주는가를 묻는 질문

TL;DR

발표자는 현장 문제를 반영한 커리큘럼으로 보는 시각을 제시한다. 엔트로닉의 공식 시험은 다섯 영역의 비중을 통해 에이전트 설계의 핵심이 아키텍처와 컨텍스트 관리임을 드러낸다. 루프, stop_reason, 서브에이전트 분리와 컨텍스트 축소가 성능과 안전성에 결정적 요인임을 강조한다.

Transcript

에이전트 하나에 툴을 몇 개까지 붙여도 될까요? 엔트로피이 만든 공식 인증 시험은이 질문의 숫자로 답합니다.네 다섯 개를 넘어가면 출론 품질이 떨어진다고요. 그 이상은 툴을 얻는게 아니라 에이전트를 쪼개라고요.이 시험 올해 3월 12일에 나온 엔트로픽의 첫 공식 기술 인증이에요. 60문항 120분 합격선 720점. 그런데 오늘 얘기하려는 건 자격증이 아닙니다. 컴퓨터 과학을 30년 넘게 가르쳤고 지금은 버클리에서 강의하는 사람이이 시험지를 뜯어봤어요. 결론이 이랬습니다. 시험이 묻는게 곧 실제 프로덕션 에이전트가 요구하는 것들이라고. 그러니까 이건 시험이 아니라 커리큘럼이라고요. 영상 중간중간 발표자 클립이 들어갑니다.... Read More

Key Insights

• 안티패턴 카탈로그의 필요성: 에이전트 설계에서 무엇을 피해야 하는지 명확한 목록이 현장 문제를 더 잘 다룬다.
• 아키텍처의 비중이 가장 큼: 시험 구성에서 아키텍처가 27%를 차지하며 시스템 설계가 핵심이라는 점을 강조한다.
• 루프와 스톱 리즌의 중요성: 에이전트가 도구를 직접 실행하지 않으므로 제어 흐름을 명확히 해야 한다.
• CLAUDE.md 의 삼중 계층 관리: 홈 디렉토리, 저장소 디렉토리, 디렉토리별 파일로 관리하면 충돌이 감소한다.
• 저하되는 단일 에이전트의 과도한 도구 사용의 위험성: 한 에이전트에 도구를 과다 연결하면 품질이 떨어진다.
• 서브에이전트의 정보 노출 최소화: 그룹싱크를 피하기 위해 사고 과정의 일부를 비공개로 두는 전략이 필요하다.
• 포크 기반 요약으로 컨텍스트 관리: 롱 세션을 분리하고 요약으로 메인 컨텍스트를 유지한다.
• 토큰 관리의 실용성: 토큰은 비용이므로 컨텍스트를 적절히 축소하는 것이 이익이다.

Questions & Answers

Q: 에이전트 설계에서 아키텍처가 프롬프트 설계보다 왜 더 중요한가요

발표자는 시험 구성을 통해 아키텍처와 오케스트레이션이 가장 큰 비중을 차지한다고 명확히 밝힙니다. 시스템을 어떻게 구성하고 에이전트를 어떻게 조합하는지가 성능과 안전성에 직접 영향을 주므로, 프롬프트만으로 해결되는 문제가 아님을 강조합니다.

Q: 루프를 사용할 때 stop_reason이 왜 중요한가요

LLM은 도구를 직접 실행하지 못하고, 응답의 도중에 어떤 도구를 사용할지 결정하는 것은 코드 레벨의 제어에 달려 있습니다. stop_reason을 확인해 도구 사용 여부를 판단하고, 필요하면 도구를 실행한 후 다시 루프를 돌리며 인간의 검토를 거칠 수 있습니다.

Q: CLAUDE.md 파일을 왜 3단계로 나눠 관리하나요

한 파일에 모든 지시를 넣으면 특정 디렉토리의 규칙이 다른 파일의 규칙과 충돌할 수 있습니다. 세 단계로 나누면 구체성이 높은 파일이 우선 적용되고, 충돌이 발생하더라도 가장 구체적인 파일의 규칙이 적용되어 예측 가능성과 재현성을 높입니다.

Q: 멀티 에이전트에서 왜 에이전트를 쪼개야 하나요

하나의 에이전트에 너무 많은 도구를 연결하면 출론 품질이 떨어질 가능성이 커집니다. 각 에이전트를 특정 기능에 집중시키고 필요 최소한의 도구만 부여하면 팀 간의 협력에서 생길 수 있는 그룹싱크 현상을 줄이고 품질을 높일 수 있습니다.

Q: 컨텍스트가 너무 커지는 것을 어떻게 방지하나요

포크를 이용해 로그를 별도의 서브 컨텍스트로 분리하고, 최종 요약을 통해 메인 컨텍스트로 다시 합칩니다. 또한 토큰 수를 모니터링하고 일정 수치를 넘으면 요약 또는 압축을 수행하는 규칙을 적용합니다.

Q: 토큰 관리가 중요한 이유는 무엇인가요

토큰은 비용과 직결되므로 불필요한 정보의 컨텍스트 확장을 막고 핵심 정보만 남겨 효율적으로 대화를 유지하는 것이 바람직합니다.

Q: 툴 벨트를 확장하는 대신 에이전트를 쪼개는 실무적 이점은 무엇인가요

툴 벨트를 무분별하게 늘리면 각 도구의 신뢰성과 관리 비용이 증가합니다. 에이전트를 쪼개고 각자 한 가지 일을 담당하게 하면 각 단위의 신뢰성과 예측 가능성이 올라가고 유지보수가 쉬워집니다.

Q: CI/CD 파이프라인에서의 대화형 사용의 한계는 무엇인가요

파이프라인에서 대화형으로 구현하면 기대하는 정답이 바로 나오지 않는 경우가 생깁니다. 이때 stop_reason과 요약 규칙 등을 활용해 안전하고 재현 가능한 응답 흐름을 설계하는 것이 중요합니다.

Summary & Key Takeaways

• 핵심 1은 에이전트 설계의 핵심 우선순위가 아키텍처와 오케스트레이션임을 지적한다. 60문항 120분의 시험 구성은 현장 운영에 필요한 구성 요소를 반영하며, 툴의 다중 사용보다 구조적 설계가 더 중요하다는 메시지를 전달한다.

• 핵심 2는 루프 구조의 필요성과 stop_reason의 중요성을 설명한다. LLM이 도구를 직접 실행하지 못한다는 점을 고려해 루프와 중지 사유를 통해 제어 흐름을 안전하게 유지해야 한다는 원칙을 제시한다.

• 핵심 3은 CLAUDE MD 파일의 관리 방식이 중요하다는 점이다. 한 파일에 모든 정보를 넣기보다는 세 단계의 계층으로 분리해 충돌을 줄이고 재현성을 높여야 한다.

• 핵심 4는 멀티에이전트 환경에서의 그룹씽크 문제를 피하기 위해 각 에이전트에 필요한 정보만 제공하는 원칙의 필요성을 설명한다.

• 핵심 5는 컨텍스트의 과도한 팽창이 성능 저하의 원인임을 지적하고, 포크를 이용한 요약과 메인 컨텍스트의 압축 전략을 제시한다.

• 핵심 6은 컨텍스트 관리의 구체적 기법으로 토큰 수를 관리하고 필요 시 컨텍스트를 분리하는 방법을 다룬다.

• 핵심 7은 툴 벨트를 무분별하게 확장하기보다 에이전트를 쪼개 하나의 일에 집중시키는 원칙을 강조한다.

• 핵심 8은 CI/CD 같은 파이프라인에서도 대화형 상호작용의 한계를 인지하고 안전한 답을 도출하는 방법을 제시한다.