AI타임스주목
엔비디아, AI 모델 라우팅 병목 뚫었다...‘선형 연산’으로 KV 캐시 전송 성공
엔비디아가 AI 에이전트가 모델을 바꿀 때 생기는 지연을 줄이려 KV 캐시를 선형 연산으로 다른 모델에 전송하는 기술을 공개했다.
사서의 짚기
여러 모델을 오가는 에이전트 작업에서는 모델을 바꿀 때마다 캐시를 다시 계산하는 비용이 병목이었는데, 이를 선형 연산으로 우회했다는 점이 기술적으로 의미 있다. 실제 적용되면 멀티모델 에이전트의 응답 속도와 운영 비용 구조가 달라질 수 있다. 에이전트 인프라나 추론 최적화를 다루는 엔지니어가 참고할 만하다.
원문 발췌
엔비디아가 여러 AI 모델을 번갈아 사용하는 장시간 AI 에이전트 작업에서 다른 모델로 전환할 때 발생하는 막대한 연산 비용과 지연시간 등 '라우팅 병목'을 줄일 수 있는 새로운 기술을 제시했다. 엔비디아는 최근 AI 모델이 축적한 KV(Key-Value) 캐시를 다른 모델이 그대로 재활용할 수 있도록 변환하는 ‘크로스 모델 KV 캐시 전송(Cross-Model KV Cache Transfer)’ 기술을 온라인 아카이브를 통해 공개했다.기존에는 AI가 대화 도중 더 큰 모델이나 더 저렴한 모델로 전환할 때 수신 모델이 누적된 대화