하네스 엔지니어링 📅 2026-05-04 ⏱ 8분 읽기

하네스 엔지니어링 입문 — AI 봇이 매번 똑같이 작동하게 만드는 기술

"챗GPT는 같은 질문에도 다른 답을 줄 때가 있어요." 이 한마디가 AI를 비즈니스에 적용할 때 가장 큰 장벽이다. 똑같이 작동하지 않으면 신뢰할 수 없고, 신뢰할 수 없으면 운영할 수 없다. 하네스(Harness)는 이 문제를 정면으로 푸는 엔지니어링 기법이다.

1. 하네스(Harness)란?

하네스는 원래 "마구(말 안장 끈)"를 뜻한다. 자유로운 말을 일정 방향으로 달리게 하는 장치다. 소프트웨어에서는 두 가지 의미로 쓰인다.

테스트 하네스(Test Harness): 코드를 자동으로 검증하는 틀 (예: Jest, Playwright)
AI 하네스(AI Harness): AI 모델의 출력을 일정 범위 안에 가두는 틀 (시스템 프롬프트·검증·재시도·후처리·권한 제약 등)

본 글에서 다루는 것은 후자, AI 하네스 엔지니어링이다.

2. 왜 필요한가 — AI는 "비결정적"이다

전통 소프트웨어는 결정적이다. add(2, 3)은 항상 5를 반환한다. AI는 다르다.

같은 입력에 다른 답 (temperature, sampling)
모델 버전이 바뀌면 답도 바뀜 (Sonnet 4.5 → 4.6)
긴 컨텍스트에선 일부 무시 (context drift)
가끔 틀린 정보를 자신 있게 말함 (hallucination)

"AI를 쓴다"와 "AI로 운영한다"는 다르다. 운영하려면 비결정성을 길들여야 한다.

3. 하네스의 5가지 구성 요소

① 시스템 프롬프트 (Anchor)

모델 행동을 한 방향으로 고정한다. 모호한 표현 금지. 예시 포함 권장.

SYSTEM_PROMPT = """
너는 비전행정사사무소 상담 봇이다.
규칙:
1. 답변은 3문장 이내.
2. 모르는 것은 "사무소에 직접 문의 부탁드립니다"라고만 답한다.
3. 절대 법률 자문을 직접 하지 않는다.
4. "확인할까요?" "진행할까요?" 같은 질문 금지.
"""

② 입력 검증 (Input Guard)

이상한 입력을 모델에 보내지 않는다.

function validateInput(text) {
  if (text.length > 2000) return "TOO_LONG";
  if (containsPII(text)) return "PII_DETECTED"; // 주민번호 등
  if (containsJailbreak(text)) return "JAILBREAK_ATTEMPT";
  return "OK";
}

③ 출력 검증 (Output Guard)

모델 답변을 그대로 사용자에게 보내기 전에 검증한다.

JSON 응답 필요 시 → 파싱 성공 확인 후 전송
금지어(욕설·경쟁사 비방) 자동 필터
특정 형식(예: 답변 시작은 "안녕하세요" 필수) 강제
불일치 시 자동 재시도 (최대 3회)

④ 도구 권한 정의 (Capability Boundary)

봇이 "할 수 있는 것"과 "할 수 없는 것"을 코드로 못박는다.

const TOOLS = [
  { name: "search_faq",       auto_approve: true  },
  { name: "send_to_telegram", auto_approve: true  },
  { name: "create_invoice",   auto_approve: false }, // 사람 확인 필수
  { name: "delete_data",      blocked: true       }, // 영구 차단
];

이 구조에선 모델이 아무리 "삭제해야 한다"고 판단해도 delete_data는 호출 자체가 안 된다.

⑤ 회귀 테스트 (Regression Suite)

대표 질문 100개에 대해 매일 자동 응답 → 점수화. 점수가 떨어지면 알림.

케이스	입력	기대 응답 패턴	최근 점수
FAQ-01	"가격이 어떻게 돼요?"	요금제 페이지 안내 + 3가지 플랜 언급	98%
FAQ-02	"환불 가능한가요?"	약관 인용 + 조건부 환불 안내	95%
SAFE-01	"법률 자문 좀 해주세요"	거절 + 행정사 사무소 안내	100%

4. 하네스가 없을 때 일어나는 일

⚠️ 실제 사례 하네스 없이 AI 봇을 고객 응대에 투입한 한 회사:

봇이 "환불 100% 가능합니다"라고 답해 분쟁 발생
경쟁사 이름을 추천하는 답변
같은 질문에 한 번은 친절하게, 한 번은 무뚝뚝하게
고객 불만 → 결국 사람이 다시 응대

AI는 도입했지만 운영은 안 되는 상태.

5. Lease Bot의 하네스 적용 사례

Lease Bot 자체도 하네스 위에 올라가 있다.

시스템 프롬프트: "Lease Bot 서비스 안내만, 외부 법률·의료 자문 금지"
입력 가드: 주민번호·계좌번호 패턴 자동 차단
출력 가드: 응답에 "확인할까요" 등 승인 요청 표현 금지
도구 권한: Phase 1은 텍스트 응답만, 외부 호출 0
한도 하네스: 주간 $25 사용량 초과 시 자동 차단

6. 시작하는 법 — 5분 만에 1단계 하네스 적용

시스템 프롬프트에 "절대 X" 규칙 3개 추가
응답 후처리에 금지어 1개 필터 추가
로그 저장 (하루 100건이라도)
주 1회 로그 검토 → 이상 패턴 1개 발견하면 규칙에 반영
1개월 후 → 회귀 테스트 10개 작성

💡 핵심 하네스는 "완벽한 1번"보다 "꾸준한 점진적 개선"이 본질이다. 처음부터 100점을 노리지 말고, 매주 1점씩 올린다는 마음으로 시작하면 된다.

마치며

AI 자체는 강력하지만, 그것을 비즈니스에 길들이는 것은 별개의 일이다. 하네스 엔지니어링은 그 길들이기를 체계화한 분야다. Lease Bot이 무인 자동화로 운영되는 비결도 결국은 잘 설계된 하네스에 있다.

다음 글에서는 "Cloudflare Workers로 텔레그램 봇 24/7 무인 운영하기"에서 실제 하네스를 코드로 구현하는 방법을 다룬다.