뮤즈 글리머 30B 로컬 실행 — 32GB면 돌아간다

메타가 2026년 8월 공개한 뮤즈 글리머(Muse Glimmer) 30B는 “클라우드 없이 내 컴퓨터에서 상시 돌아가는 에이전트”를 정면으로 겨냥한 오픈 모델입니다.

결론부터 말하면 RAM(또는 VRAM) 32GB면 공식 4비트로 무난하게 돌아가고, 24GB면 16.76GB짜리 경량본이 대상이며, 16GB는 이 모델의 사정권이 아닙니다. LM Studio가 안내하는 최소치 26GB와 파일 용량 16.76GB가 어긋나 보이는 건 KV 캐시·비전 인코더·드래프터가 모델 위에 더 얹히기 때문입니다. 아래에서 파일별 실제 용량, 속도, 그리고 반드시 켜야 하는 실행 옵션을 정리합니다.

뮤즈 글리머 30B는 어떤 모델인가

LM Studio 모델 페이지 설명에 따르면 뮤즈 글리머는 자율 에이전트 작업을 목적으로 설계된 30B급 오픈 모델로, 멀티스텝 추론·안정적인 툴 사용·멀티모달 이해·실패 복구를 하나의 모델에 묶었습니다. 단순한 대화형 모델이 아니라, 함수 스키마를 따라 여러 단계를 진행하다가 툴 호출이 실패하면 원인을 진단하고 재시도하는 흐름을 전제로 만들어졌다는 점이 핵심입니다.

공식 스펙 요약

메타는 24GB·32GB 소비자 하드웨어를 겨냥한 4비트 양자화 2종을 함께 제공하며, 한 번의 순전파로 16토큰 블록을 통째로 제안하고 본 모델이 병렬 검증하는 경량 DFlash 스펙큘레이티브 디코딩 드래프터도 같이 배포합니다.

실제 속도는 얼마나 나오나

공식 모델 카드가 배치 크기 1, 그리디 디코딩 조건으로 직접 측정치를 공개했습니다. 혼자 쓰는 사람이 체감하는 속도가 바로 이 조건입니다(K-Quant-17GB + 양자화 드래프터 기준, 맥은 ExecuTorch·RTX는 llama.cpp 로 측정).

맥북 M4 Max에서도 초당 수십 토큰이면 대화는 매끄럽게 흘러갑니다. 다만 드래프터를 안 붙이면 손해가 큽니다 — 같은 장비에서 1.5~3.1배가 그냥 날아갑니다.

내 PC에서 돌아갈까 — 양자화별 용량

먼저 파일 용량과 필요 메모리는 다릅니다. LM Studio는 가장 작은 뮤즈 글리머 실행에 최소 26GB RAM을 안내하는데, 정작 공식 4비트 파일은 16.76GB입니다. 차이는 KV 캐시와 비전 인코더, 드래프터가 모델 위에 더 얹히기 때문입니다. 공식 카드는 언어 모델을 20GB 아래로 압축해 KV 캐시·퍼셉션 인코더·드래프터가 24GB 또는 32GB 안에서 동시에 돌아가도록 맞췄다고 설명합니다.

공식 GGUF (메타 배포)

멀티모달과 속도 가속을 쓰려면 본체 하나만으로는 안 되고 mmproj·dflash를 같이 받아야 합니다. 위 속도표의 233 tok/s도 본체 + 드래프터 조합에서 나온 숫자입니다.

커뮤니티 GGUF — 더 잘게 쪼갠 선택지

공식 배포는 4비트 2종뿐이라, 그 사이나 아래위를 원하면 커뮤니티 빌드를 씁니다.

⚠️ 용량 표를 볼 때 주의할 점 — 뮤즈 글리머는 공개 다음 날 GGUF 리포가 여러 개 만들어졌는데, 그중에는 README에 파일 목록과 용량만 적어 두고 실제 파일은 하나도 올라오지 않은 리포도 있습니다(2026-08-11 확인 시점 기준). 게다가 같은 이름의 양자화라도 리포마다 용량이 조금씩 다릅니다. 위 표는 실제로 파일이 올라와 있는 NANI-Nithin/Muse-Glimmer-30B-GGUF 기준이며, 받기 전에 리포의 Files 탭에서 파일이 실재하는지와 실제 용량을 반드시 확인하세요.

커뮤니티 빌드는 대체로 텍스트 전용이라 mmproj와 DFlash 드래프터가 빠져 있습니다. 이미지 입력이나 속도 가속이 필요하면 공식 리포에서 그 둘을 따로 받아 --mmproj 와 -md … -ngld 99 로 붙이면 됩니다.

실행 전 반드시 확인할 3가지

1. llama.cpp 빌드 b10353 이상: muse-glimmer 지원은 2026년 8월 10일 PR #26841로 머지돼 릴리스 b10353에 처음 실렸습니다. b10344 이하는 아키텍처 자체를 인식하지 못해 파일 로드를 거부합니다.
2. --jinja 필수: 채팅 템플릿이 GGUF 안에 박혀 있어서 별도 템플릿 파일은 필요 없지만, 이 옵션이 빠지면 llama-mtmd-cli가 this custom template is not supported 로 아예 죽습니다.
3. 추론 트레이스를 분리하려면 llama-server: llama-cli와 llama-mtmd-cli는 생각 과정을 본문에 그대로 섞어 출력합니다. content와 reasoning_content로 갈라 받고 싶다면 서버를 써야 합니다.

공식 리포가 안내하는 실행 줄입니다.

./build/bin/llama-server \
    -m       muse-glimmer-30B-kquant-17gb.gguf \
    --mmproj mmproj-kquant.gguf \
    -a muse-glimmer-30B \
    -ngl 99 -c 131072 -np 4 \
    --host 127.0.0.1 --port 8080 \
    --jinja \
    --temp 1.0 --top-p 0.95 --top-k 64

여기에 드래프터를 붙이면 앞서 본 3배 가속이 걸립니다. 메모리는 1.6GB 정도 더 씁니다.

    -md dflash-kquant.gguf -ngld 99

놓치기 쉬운 함정 하나 — llama-server는 -c 를 -np 슬롯 수로 나눠 씁니다. 위 예시처럼 -c 131072 -np 4 로 띄우면 요청 하나가 쓰는 컨텍스트는 32,768 입니다. 기동 로그의 n_ctx_slot 값이 실제 상한이니 그 숫자를 보세요.

응답이 content 대신 to=self<|message|> 로 시작한다면 빌드가 채팅 파서보다 오래된 것입니다. 반대로 기동 시 뜨는 [spec] failed to measure draft model memory 경고는 무해합니다 — 드래프터는 정상 동작합니다.

로컬로 돌릴까, 클라우드에 올릴까

판단 기준은 결국 메모리와 가동 시간 두 가지입니다.

LM Studio가 안내하는 최소 요구치가 26GB RAM입니다. 이 선을 넘는 PC나 워크스테이션이 이미 있다면 상시 구동형 에이전트는 로컬이 유리합니다. 24시간 켜 두는 사용 패턴에서 시간당 과금은 그대로 누적되지만, 로컬은 전기요금 외에 추가 비용이 붙지 않기 때문입니다.

반대로 메모리가 모자라거나 하루 몇 번만 쓰는 간헐적 사용이라면, 30B급 모델을 위해 장비를 새로 맞추는 것보다 클라우드 GPU 인스턴스가 합리적입니다. 다만 시간당 단가는 제공업체·리전·GPU 종류에 따라 크게 갈리고 수시로 바뀌므로, 이 글에 숫자를 박아두는 대신 쓰려는 제공업체의 현재 가격표를 직접 확인하시길 권합니다. 무활동 시 인스턴스를 자동으로 내리는 옵션이 있는지도 함께 보세요 — 간헐적 사용에서는 이 옵션 유무가 월 비용을 가릅니다.

어떤 용도에 적합한가

공식 설명이 꼽는 권장 용도는 로컬·자율 AI 에이전트, 코딩과 디버깅, 구조화된 함수 호출, 스크린샷·차트·문서 이해, 합성 데이터 생성, LLM-as-a-judge 평가 워크플로입니다.

라이선스는 Apache 2.0입니다. 공식 모델 카드가 전체 가중치·양자화본·DFlash 드래프터·퍼셉션 인코더를 모두 Apache 2.0으로 배포한다고 명시하므로 상용 이용에 별도 제약이 붙지 않습니다. 함께 걸려 있는 Usage Policy 는 불법 행위, 무기·군사 용도, 무면허 전문 자격 행위(금융·법률·의료), 사칭과 허위정보, 악성코드 생성 등을 금지하는 일반적인 사용 정책이지 상업적 사용을 제한하는 조항이 아닙니다(만 18세 미만 사용 대상 아님도 함께 명시). 다만 모델 카드는 에이전트로 쓸 때 되돌릴 수 없는 작업에는 사람의 확인 절차를 두라고 별도로 권고합니다 — 상시 구동 에이전트를 만들 계획이라면 이쪽이 라이선스보다 중요한 대목입니다.

참고 자료

– meta-models/Muse-Glimmer-30B — 공식 모델 카드 (스펙·속도 측정치·Apache 2.0)
– meta-models/Muse-Glimmer-30B-GGUF — 공식 GGUF 배포 (파일 용량·실행 명령·b10353 빌드 요건)
– Muse Glimmer Usage Policy (금지 사용 목록 원문)
– NANI-Nithin/Muse-Glimmer-30B-GGUF — 커뮤니티 양자화 (양자화별 용량)
– Muse Glimmer — LM Studio 모델 페이지 — “To run the smallest Muse Glimmer, you need at least 26 GB of RAM” (2026-08-11 확인)