반응형 LLM에이전트2 JSON 모드로는 부족한 이유: Structured Outputs strict 스키마로 LLM 형식 실패 없애기 LLM 에이전트 JSON 모드로는 부족한 이유: Structured Outputs strict 스키마로 LLM 형식 실패 없애기 복잡한 JSON 문서를 LLM에게 받을 때 — 프롬프트로 부탁하는 대신 스키마로 강제하는 법과, 거부의 절반이 검증기 쪽에 있던 이야기 핵심 요약 JSON 모드는 문법적으로 올바른 JSON만 보장한다. 필드 이름·타입·허용 값은 여전히 모델에 달려 있어, 복잡한 문서는 6개 중 2개만 검증을 통과했다. 거부된 4건을 열어 보니 3건은 모델이 아니라 검증기의 결함이었다. JSON에는 정수와 실수의 구분이 없는데, 검증기가 14.0을 "정수가 아니다"로 거부하고 있었다. 검증 코드(Pydantic)에서 JSON 스키마를 생성해 strict로 강제.. 2026. 10. 5. LLM 에이전트 입력 토큰 70% 줄이기: OpenAI 툴 지연 로딩과 한국어 설명의 함정 LLM 에이전트 LLM 에이전트 입력 토큰 70% 줄이기: OpenAI 툴 지연 로딩과 한국어 설명의 함정 툴을 수십 개 가진 챗봇이 인사 한마디에도 수천 토큰을 쓸 때 — 필요한 툴만 싣는 법과, 한국어로 쓴 설명이 비싸게 청구되던 문제 핵심 요약 툴을 쓰는 LLM은 호출할 때마다 모든 툴 정의를 입력으로 보낸다. 툴이 44개인 챗봇은 "안녕" 한마디에도 입력이 약 7,800토큰이었다. 캐시는 단가를 낮출 뿐 토큰 수는 그대로 센다. OpenAI Responses API의 툴 지연 로딩(툴 묶음 + tool_search)은 묶음 이름과 설명만 먼저 보내고, 필요한 묶음만 그 응답 안에서 불러온다. 같은 질문 12개로 재니 입력 합계가 절반으로 줄고 툴 선택은 거의 같았다... 2026. 10. 5. 이전 1 다음 반응형