GeekNews주목
로컬 LLM이 실제 성능보다 더 멍청하게 느껴지는 이유
같은 모델 가중치도 GPU 명령어·추론 백엔드·정밀도 설정에 따라 답이 달라지고, 긴 문맥에서는 도구 호출 실패로 이어질 수 있다는 실험 결과가 나왔다.
사서의 짚기
같은 가중치라도 GPU 명령어나 어텐션 백엔드, 정밀도 설정에 따라 출력이 달라지고 긴 문맥에서 도구 호출 실패로 이어질 수 있다는 실험은, 로컬 LLM 배포 시 벤치마크 점수만으로 실제 사용성을 판단하기 어렵다는 점을 시사한다. 온프레미스 운영자에게 실질적인 참고자료다.
원문 발췌
같은 모델 가중치라도 GPU 명령어·추론 소프트웨어·정밀도 설정 이 다르면 다음 토큰 확률이 달라지고, 긴 문맥에서는 도구 호출 실패로 이어질 수 있음 Qwen3.6-27B와 약 10만 토큰의 실제 에이전트 작업 문맥을 실험한 결과, vLLM의 어텐션 백엔드 차이는 후반부부...