반응형 토큰최적화2 LLM 에이전트 입력 토큰 70% 줄이기: OpenAI 툴 지연 로딩과 한국어 설명의 함정 LLM 에이전트 LLM 에이전트 입력 토큰 70% 줄이기: OpenAI 툴 지연 로딩과 한국어 설명의 함정 툴을 수십 개 가진 챗봇이 인사 한마디에도 수천 토큰을 쓸 때 — 필요한 툴만 싣는 법과, 한국어로 쓴 설명이 비싸게 청구되던 문제 핵심 요약 툴을 쓰는 LLM은 호출할 때마다 모든 툴 정의를 입력으로 보낸다. 툴이 44개인 챗봇은 "안녕" 한마디에도 입력이 약 7,800토큰이었다. 캐시는 단가를 낮출 뿐 토큰 수는 그대로 센다. OpenAI Responses API의 툴 지연 로딩(툴 묶음 + tool_search)은 묶음 이름과 설명만 먼저 보내고, 필요한 묶음만 그 응답 안에서 불러온다. 같은 질문 12개로 재니 입력 합계가 절반으로 줄고 툴 선택은 거의 같았다... 2026. 10. 5. AI가 만든 JSON이 계속 퇴짜맞을 때: LLM 호출을 75% 줄인 세 가지 처방 LLM 프로덕트 엔지니어링 AI가 만든 JSON이 계속 퇴짜맞을 때: LLM 호출을 75% 줄인 세 가지 처방 PydanticAI 구조화 출력 · 검증-재시도 루프 최적화 실측 기록 핵심 요약 자연어를 복잡한 트레이딩 전략 JSON으로 바꿔주는 AI 기능이, 간단한 요청 하나에 131초 · LLM 호출 8회를 쓰고 있었다. 범인은 모델이 아니라 검증 실패 → 전체 재생성(retry) 루프였다. 처방 세 가지: ① 프롬프트에 완전한 동작 예제 JSON(규칙 목록 10줄보다 효과적) ② 흔한 파라미터는 quick reference로 인라인(불필요한 도구 호출 제거) ③ 흔한 실수는 검증 전에 코드로 수리. 결과: LLM 호출 8회 → 2~3회, 토큰 66K → 13~26K.. 2026. 8. 23. 이전 1 다음 반응형