그래프 엔지니어링, 실제로 돌려보니 언제 이득일까? — 멀티 에이전트 하네스 비교 실험기
devai

그래프 엔지니어링, 실제로 돌려보니 언제 이득일까? — 멀티 에이전트 하네스 비교 실험기

정민수(Peter)·

안녕하세요, 개발팀 피터입니다 😎

Claude Code로 멀티 에이전트 개발 흐름을 쓰고 있다면, 한 번쯤 이런 고민을 하게 됩니다.

"오케스트레이터가 알아서 위임하게 둘까, 아니면 흐름 자체를 그래프로 고정할까?"

그래프로 고정하면 더 안전해 보입니다. 그런데 그만큼 노드가 늘어나고, 노드가 늘어나면 토큰과 시간도 늘어납니다.

그래서 직접 같은 요청을 두 방식으로 돌려서 비교해 봤습니다. 이 글은 그 기록과 결론입니다.


01. 비교한 두 방식

먼저 두 방식이 무엇인지부터 정리하겠습니다.

기존 하네스 — 오케스트레이터가 직접 위임

메인 세션(오케스트레이터)이 프로젝트 지침의 라우팅 규칙을 보고 담당 에이전트를 호출합니다.

백엔드는 백엔드 에이전트에게, 프론트는 프론트 에이전트에게 맡기고, 끝나면 QA 에이전트를 한 번 붙입니다.

단순하고 잘 돌아갑니다. 다만 규칙이 문서에 산문으로만 있어서, 지키는지는 오케스트레이터의 판단에 달려 있습니다.

그래프 워크플로우 — 흐름을 스크립트로 고정

Claude Code의 Workflow 기능으로 개발 흐름을 노드와 게이트로 고정한 방식입니다.

Intake(사전 점검) → Contract(영역 간 계약, 필요할 때만)
  → 구현(영역별, 가능하면 병렬)
  → DiffCheck(보고된 변경 파일 ↔ 실제 git 변경 대조)
  → QA(스크립트가 고른 모듈 테스트만, 실패 시 해당 영역만 반송)

핵심은 "읽기는 에이전트가, 판단은 코드가" 한다는 점입니다.

예를 들어 에이전트가 "구현 완료"라고 보고해도, 실제 git 변경이 없으면 스크립트가 멈춥니다. 에이전트가 "요청 전제가 실제 코드와 다르다"고 보고하면, 역시 스크립트가 다음 단계로 넘기지 않습니다.

즉,

  • 기존 하네스 → 규칙을 오케스트레이터가 지킨다

  • 그래프 → 규칙을 스크립트가 강제한다


02. 어떻게 테스트했나

비교 실험에서 가장 중요한 건 공정성입니다. 처음에 이걸 한 번 틀렸습니다.

첫 시도의 실수

처음엔 한 세션에서 두 방식을 순서대로 돌렸습니다.

그런데 첫 번째 실행에서 알게 된 환경 정보(로컬 DB 테스트가 원래 실패한다는 사실)를 두 번째 실행의 QA에게 미리 알려주게 됐습니다. 두 번째가 유리할 수밖에 없죠.

워크트리만 나눠서는 해결되지 않습니다. 오케스트레이터의 기억이 두 실행에 걸쳐 있으면, 뒤에 돌린 쪽은 항상 정보를 가진 상태로 시작합니다.

최종 측정 방식

  • 세션과 워크트리를 모두 분리했습니다. 같은 커밋에서 새 워크트리 2개, 새 세션 2개를 동시에 실행했습니다.

  • 두 세션에는 같은 요청 본문을 주고, 방식을 지정하는 문장 한 줄만 다르게 했습니다.

  • 모델은 양쪽 모두 같은 모델을 썼습니다.

  • 토큰은 오케스트레이터와 모든 서브에이전트의 트랜스크립트에서 직접 합산했습니다.

  • 결과는 하네스의 자체 판정을 믿지 않고, 끝난 뒤 전체 게이트를 따로 돌려 채점했습니다.

그리고 성격이 다른 작업 두 개로 실험했습니다.

실험

작업

특징

실험 1

백엔드 RAG tool에 지표 1종 추가

단일 영역, 결정 사항을 프롬프트에 전부 명시

실험 2

화면에 규제 이벤트 패널 추가

백엔드 API + 프론트 화면, 결정 사항을 일부러 비운 짧은 요청


03. 실험 1 — 단일 영역, 결정 사항 완비

항목

그래프

기존

배율

판정

pass

pass

시간

19분 44초

14분 47초

1.33×

토큰 (cache_creation)

53.6만

27.6만

1.94×

독립 게이트

새 실패 0

새 실패 0

노드별로 쪼개 보면 이유가 바로 보입니다.

노드

그래프

기존

오케스트레이터

12.2만

6.8만

Intake

11.4만

없음

구현

14.8만

13.9만

DiffCheck

8.1만

없음

QA

7.0만

6.9만

구현과 QA 비용은 두 방식이 똑같았습니다.

그래프가 더 쓴 건 전부 Intake, DiffCheck, 그리고 워크플로우를 읽느라 커진 오케스트레이터 컨텍스트입니다. 이걸 그래프의 고정비라고 부르겠습니다.

그래프 고정비 ≈ 토큰 26만 + 시간 5분

결과물은 동급이었습니다. 결정 사항을 프롬프트에 전부 적어 줬으니 어느 쪽이든 같은 답으로 수렴하는 게 당연합니다. 그래프의 확인 노드들은 할 일이 없었고, 비용만 남았습니다.

그런데 QA의 행동이 달랐다

숫자보다 흥미로운 건 QA였습니다.

로컬 DB 테스트가 환경 문제로 실패하자, 두 QA가 다르게 반응했습니다.

  • 그래프 QA: 스크립트가 정해 준 명령만 실행하고, 환경 실패는 따로 분리해서 보고했습니다.

  • 기존 QA: 스스로 범위를 넓혔습니다. 테스트 DB를 바꾸고, 컨테이너 환경변수에서 DB 관리자 비밀번호를 찾아 관리자 계정으로 테스트를 돌렸습니다.

기존 QA 덕분에 검증은 하나 더 됐습니다. 하지만 아무도 지시하지 않은 권한을 쓴 겁니다.

같은 QA 에이전트인데 왜 이렇게 다를까요? 그래프는 "이 명령을 돌려라"를 주고, 기존 방식은 "검증해라"라는 목표만 줍니다. 목표만 받은 에이전트는 막히면 우회로를 찾습니다.


04. 잠깐, 이 차이가 우연은 아닐까?

실험 2를 준비하다가 작은 사고가 있었습니다. 방식 지정 문장이 빠진 채로 요청이 들어가서, 두 세션 모두 기존 방식으로 돌아버렸습니다.

비교로는 무효지만, 덕분에 같은 방식을 두 번 돌렸을 때의 편차를 얻었습니다.

항목

실행 A

실행 B

편차

시간

924초

1,022초

약 10%

토큰 (cache_creation)

30.6만

26.9만

약 14%

같은 방식끼리도 10~14%는 흔들립니다. 실험 1의 1.33배, 1.94배는 이 편차보다 확실히 큽니다. 그래프의 고정비는 노이즈가 아니라 실제 비용이라는 뜻입니다.

그리고 이 실행에서도 기존 QA가 또 관리자 계정을 썼습니다. 우연이 아니라 재현되는 행동이었습니다.


05. 실험 2 — 다영역, 짧은 요청

이번엔 그래프에 유리할 것으로 예상한 조건입니다. 백엔드와 프론트를 동시에 만들어야 하고, API 경로·응답 필드·화면 위치를 아무것도 정해 주지 않았습니다.

항목

그래프

기존

배율

판정

needs_user (QA 전에 중단)

pass (남은 리스크 있음)

시간

578초

596초

0.97×

토큰 (cache_creation)

42.2만

32.5만

1.30× (QA 미포함)

독립 게이트

백엔드 테스트·정적 분석, 프론트 타입체크·빌드 통과

같음

시간 오버헤드가 사라졌다

그래프는 Contract 노드에서 API 계약을 먼저 고정하고, 백엔드와 프론트를 병렬로 돌렸습니다.

그 덕분에 Intake와 Contract에 쓴 시간이 상쇄돼서, 전체 시간은 기존과 같아졌습니다.

반대로 기존 방식에서는 계약을 쓰는 일이 오케스트레이터에게 넘어갔습니다. 오케스트레이터 비용이 6.8만에서 8.0만으로 늘어난 이유입니다.

두 쪽 모두 같은 결함을 만들었다

백엔드는 전역 설정 때문에 null 필드를 JSON에서 아예 빼는데, 프론트 타입은 그 필드가 항상 있다고 선언했습니다. 런타임 오류는 없지만 계약이 어긋난 상태입니다.

  • 기존: QA가 마지막에 "남은 리스크"로 적고 pass.

  • 그래프: 백엔드 에이전트가 구현 도중 "계약서와 실제 동작이 다르다"고 발견. 스크립트가 이를 보고 즉시 중단.

발견은 그래프가 더 빨랐습니다. 그런데 문제는 그다음입니다.

게이트가 너무 엄격했다

백엔드 에이전트는 보고서에 이렇게 적었습니다. "사용자 확인까지 올릴 사안은 아니라고 판단했다."

즉, 에이전트는 메모로 적은 건데, 스크립트는 그 항목이 비어 있지 않으면 무조건 멈추게 짜여 있었습니다.

결과적으로 사소한 타입 문제 하나 때문에 DiffCheck와 QA를 모두 건너뛰고, 검증되지 않은 상태로 끝났습니다.

결정적 게이트는 에이전트가 필드를 느슨하게 쓰는 순간 오탐을 낸다.

해결책은 단순합니다. 전제 불일치에 심각도(blocking / note)를 두거나, 에이전트가 완료로 보고했다면 경고로만 처리하면 됩니다.


06. 그래서 언제 그래프를 써야 할까?

두 실험을 나란히 놓으면 경계가 보입니다.

조건

실험 1 (단일 영역, 결정 완비)

실험 2 (다영역, 짧은 요청)

시간 배율

1.33×

0.97×

토큰 배율

1.94×

1.30× (QA 미포함)

결과

동급

같은 결함, 그래프는 조기 중단

그래프를 쓰지 않는 게 나은 경우

  • 한 영역 안에서 끝나는 작업

  • 요청에 결정 사항이 다 적혀 있는 작업

  • QA에서 떨어질 가능성이 낮은 작업

결과

  • 확인 노드가 할 일이 없어서 고정비만 낸다

그래프가 이득이 되는 경우

  • 다영역 작업 → 계약을 먼저 고정하고 병렬로 돌려서 시간 비용이 사라진다

  • 짧고 모호한 요청 → 잘못된 전제로 구현 1회분(약 14만 토큰, 10분)을 버리기 전에 멈출 수 있다

  • 검증 권한을 통제해야 하는 환경 → QA가 지시 밖 권한을 쓰지 못하게 구조로 막는다

단, 마지막 두 가지는 게이트가 정확할 때만 이득입니다. 이번처럼 오탐으로 멈추면 오히려 손해입니다.


07. 정리

이번 실험을 한 문장으로 요약하면 다음과 같습니다.

그래프는 일을 더 잘하게 만드는 게 아니라, 규칙을 강제하는 데 비용을 내는 것이다.

구현 비용은 방식과 상관없이 같았습니다.

그래프가 추가로 내는 건 확인 노드의 고정비입니다.

그 고정비는 "무언가 어긋날 때"만 회수됩니다. 어긋날 일이 없는 작업에서는 순수한 오버헤드입니다.

그리고 어긋남을 잡는 게이트가 너무 엄격하면, 잡아야 할 것보다 멈추지 말아야 할 것을 더 많이 잡습니다.

그래서 결론은 이렇습니다.

단순한 작업은 직접 위임, 다영역·모호한 작업은 그래프. 그리고 그래프의 게이트는 "막을 것"과 "적어 둘 것"을 구분해야 한다.

복잡해 보이지만 원리는 단순합니다. 규칙을 강제하는 장치는, 규칙이 깨질 가능성이 있는 곳에만 두면 됩니다.


참고 개념

  • Claude Code Workflow (스크립트 기반 멀티 에이전트 오케스트레이션)

  • Subagent / Agent 위임

  • git worktree를 이용한 실행 격리

  • A/A 테스트 (같은 조건 반복으로 노이즈 측정)

  • Maker / Checker 분리

정민수(Peter)
작성자정민수(Peter)