vLLM의 도구 호출 정확도 문제 해결하기 ↗
도구 호출이 스키마를 어기면 오류 메시지와 재시도가 쌓여 에이전트의 품질과 비용에 영향을 줌. Ubicloud의 Kimi K2.6 테스트에서는 vLLM 0.28의 스키마 정확도가 92% 에 그쳤음 제약 디코딩(constrained decoding) 은 생성 단계마다 스키마에 맞지 않는 토큰을 ...
AI·IT 수집 자료실
공식 출처에서 수집한 소식을 발행일 순서로 확인하세요. 발췌는 원문의 일부이며 TUMN이 작성·검증한 해설 글과 구분됩니다. 전체 내용은 원문에서 읽을 수 있습니다.
1개 · 1페이지 · 로그인 없이 열람