"AI가 스스로 규칙 고친다"…모델 성능 60% 끌어올린 '셀프-하네스' 등장

AI 에이전트의 새로운 진화, '셀프-하네스'의 등장

기존의 프롬프트 엔지니어링이나 수작업 디버깅 중심의 에이전트 개발 방식을 넘어, AI가 자신의 실패 원인을 분석하고 실행 환경을 지속적으로 최적화하는 '자기 진화형 에이전트' 기술이 등장했습니다.

중국의 상하이 AI 연구소 연구진은 최근 대형언어모델(LLM) 기반 에이전트가 인간 개발자의 개입 없이 스스로 자신의 운영 체계를 개선할 수 있는 새로운 프레임워크 '셀프-하네스(Self-Harness)'를 온라인 아카이브(arXiv)를 통해 공개했어요.

이번 연구는 AI 에이전트의 성능 향상이 단순히 더 강력한 모델 개발에만 의존하지 않고, 에이전트가 스스로 자신의 동작 규칙을 진화시키는 방향으로 나아갈 수 있음을 보여주는 사례로 주목받고 있습니다.

에이전트 성능의 숨은 열쇠, '하네스(Harness)'란?

AI 업계에서는 강력한 파운데이션 모델 개발 경쟁이 치열하게 전개되고 있지만, 실제 AI 에이전트의 성능은 모델 자체뿐 아니라 이를 둘러싼 '하네스(Harness)'에 의해 크게 좌우됩니다.

하네스는 시스템 프롬프트, 도구 사용 규칙, 메모리 관리, 검증 절차, 실행 정책, 오케스트레이션 로직, 오류 복구 메커니즘 등 에이전트의 행동을 제어하는 운영 계층을 의미해요. 대표적인 성공 사례로는 다음 도구들이 있습니다.

• 클로드 코드(Claude Code)
• 코덱스(Codex)
• 오픈핸즈(OpenHands)
• SWE-에이전트(SWE-Agent)

연구진에 따르면, 실제 에이전트 실패 사례의 상당수는 모델 자체의 한계보다는 하네스 설계 문제에서 발생합니다. 예를 들어, 코드 실행 결과를 검증하지 않고 성공했다고 판단하거나 동일한 실패 작업을 무한 반복하는 경우가 대표적이에요.

기존 하네스 개발은 주로 숙련된 엔지니어가 시행착오와 경험에 의존해 수정하는 방식이었습니다. 하지만 모델 종류가 급격히 늘어나고 업데이트 주기가 빨라지면서 이러한 방식은 확장성의 한계에 직면하고 있어요.

셀프-하네스의 3단계 작동 원리

연구진은 이 문제를 해결하기 위해 셀프-하네스를 제안했습니다. 이 시스템은 더 강력한 외부 모델이나 인간 전문가의 도움 없이, 에이전트가 자신의 실행 기록을 분석하고 반복적으로 나타나는 실패 패턴을 찾아내 스스로 운영 규칙을 수정합니다. 구체적으로는 다음 3단계의 반복 학습 구조를 갖추고 있어요.

1. 약점 탐색(Weakness Mining): 에이전트의 실행 기록과 실패 사례를 분석해 모델 고유의 오류 패턴과 취약점을 찾아냅니다.
2. 하네스 수정 제안(Harness Proposal): 발견된 문제를 해결하기 위해 최소한의 규칙 변경이나 실행 절차 수정안을 생성합니다.
3. 제안 검증(Proposal Validation): 회귀 테스트를 수행해 해당 수정안이 실제로 성능을 향상하는지 확인하고, 다른 작업에서 부작용이나 성능 저하를 일으키지 않을 때만 최종적으로 채택합니다.

이러한 과정을 반복적으로 수행하면서 에이전트의 하네스는 지속적으로 진화하며, 각 모델의 특성에 맞춰 더욱 효율적인 실행 체계를 구축하게 됩니다.

벤치마크 실험 결과: 최대 60% 성능 향상

연구진은 '터미널-벤치-2.0(Terminal-Bench-2.0)' 벤치마크에서 3가지 서로 다른 모델 계열(미니맥스 M2.5, 큐원3.5-35B-A3B, GLM-5)을 대상으로 셀프-하네스를 검증했습니다. 실험 결과는 매우 성공적이었으며 모든 모델에서 성능이 크게 향상되었습니다.

모델 자체를 전혀 수정하지 않고 하네스만 스스로 진화시켰음에도 최소 33%에서 최대 60% 수준의 상대적 성능 향상이 가능함을 입증했습니다.

모델별 맞춤형 진단 및 해결책

연구진은 단순히 프롬프트를 길게 만들거나 일반적인 지침을 추가하는 것이 아니라, 각 모델이 반복적으로 드러내는 고유한 약점을 실제 실행 규칙으로 변환했다는 점이 핵심이라고 설명합니다. 셀프-하네스는 각 모델의 특성에 따라 다음과 같이 정교한 해결책을 찾아냈어요.

• 미니맥스 M2.5: 데이터셋 설정을 끝없이 탐색하다가 시간 초과(Timeout)에 빠지는 경향을 보였습니다. 이에 셀프-하네스는 일정 횟수 이상의 도구 호출이 발생하면 강제로 접근 방식을 변경하도록 하는 '루프 차단기(loop breaker)' 규칙을 자동으로 추가했습니다.
• 큐원3.5: 파일 덮어쓰기 오류가 발생하면 동일 명령을 반복 실행하는 고질적 문제를 보였습니다. 이에 셀프-하네스는 중복 명령 실행을 원천 금지하고 누락된 파일을 즉시 복구하도록 규칙을 바꿨습니다.
• GLM-5: 환경 변수 유지에 실패하거나 외부 다운로드에 지나치게 많은 시간을 소비하는 문제가 있었습니다. 이를 해결하기 위해 PATH 유지 규칙과 검증 절차를 새로 추가했습니다.

한계점과 미래: 엔지니어는 '피드백 아키텍트'로

물론 연구진은 이 기술이 인간 개발자를 완벽하게 대체할 수 있는 단계는 아니라고 선을 그었습니다.

이 시스템은 대량의 평가 작업과 회귀 테스트를 실시간으로 반복해야 하므로 상당한 계산 비용이 수반됩니다. 무엇보다 객관적이고 정확한 평가 체계가 사전에 완벽히 존재해야만 작동할 수 있습니다.

따라서 코드 작성, 내부 업무 자동화, 데브옵스(DevOps) 파이프라인과 같이 결과를 정량적으로 즉시 측정할 수 있는 환경에서 가장 큰 효과를 발휘합니다. 반대로 의료 진단, 법률 판단, 기간계 주요 인프라 운영과 같이 평가 기준이 주관적이거나 실패 비용이 극도로 높은 영역에서는 아직 적용하기 이릅니다.

그럼에도 불구하고 연구진은 향후 엔지니어의 역할이 크게 변화할 것으로 기대하고 있습니다.

"지금까지는 개발자가 직접 프롬프트와 도구 사용 규칙을 한 땀 한 땀 수정해 왔다면, 앞으로는 AI가 스스로 개선하고 진화할 수 있도록 정교한 평가 체계와 피드백 루프를 설계하는 '피드백 아키텍트(Feedback Architect)'의 역할이 더욱 중요해질 것입니다."