GeekNews주목
Show GN: 내 GPU로 어떤 LLM을 돌릴 수 있는지 계산해주는 오픈소스 도구 만들었습니다
GPU 모델을 고르면 실행 가능한 LLM과 양자화·속도를 계산해주는 오픈소스 VRAM 계산기가 공개됐다.
사서의 짚기
GPU 견적 상담에서 반복되던 질문을 자동화한 실용적 도구로, 로컬 LLM 구동을 고려하는 실무자에게 바로 쓸모가 있다. 양자화와 예상 속도까지 함께 계산해준다는 점에서 단순 스펙 비교를 넘어선 정보를 준다. 개인 서버나 온프레미스 환경에서 LLM을 운영하려는 개발자가 챙겨볼 만하다.
원문 발췌
AI 인프라 견적/자문 일을 하면서 "이 GPU로 이 모델 돌아가요?"라는 질문에 매번 VRAM을 손으로 계산해서 답하는 게 반복돼서, 이걸 자동화하는 계산기를 만들어 오픈소스로 공개했습니다. 무엇을 하는지: GPU를 고르면 실행 가능한 모델(양자화, 예상 속도)을 계산 — GPU 147종, 모