Qwen3.8 기준 2026년 로컬 LLM 양자화 총정리 — 4비트는 버티고 1비트는 무너진다

로컬에서 LLM을 돌린다는 말의 기준선이 2026년 들어 눈에 띄게 내려왔습니다. 예전에는 “작은 모델을 겨우 흉내내는 것”에 가까웠다면, 지금은 개인 장비에서 비전·추론까지 되는 모델을 돌리는 이야기가 됐습니다. 그 변화의 대부분을 만들어낸 기술이 양자화(quantization)입니다. 이 글은 16비트부터 1비트까지 무엇이 실제로 확인되는 사실이고, 무엇이 아직 근거 없는 소문인지를 구분해 정리합니다.

2026년 로컬 LLM의 기준선은 “17GB”다

Unsloth 공식 문서 기준으로 Qwen3.8-27B는 비전과 추론 능력, 256K 컨텍스트 윈도우를 갖추고 있으며 17GB RAM/VRAM 환경에서 로컬 구동됩니다. 이 한 줄이 지금 로컬 LLM 판의 좌표입니다.

27B 파라미터 모델이 17GB에 들어간다는 사실 자체가 양자화의 결과입니다. 16비트(FP16/BF16)는 파라미터 하나당 2바이트를 쓰므로, 270억 파라미터를 그대로 담으면 산술적으로 50GB를 넘습니다. 즉 17GB라는 숫자는 가중치를 더 적은 비트로 압축했다는 뜻이고, 로컬 LLM 이야기에서 “몇 B 모델이냐”보다 “몇 비트로 받았냐”가 먼저 나와야 하는 이유입니다.

양자화 포맷 지도 — 16비트에서 1비트까지

계열	대표 표기	주 사용처	이 글의 근거로 확인되는 것	주의점
16비트	FP16 / BF16	학습, 품질 기준선	Qwen3.8-2.4T-A95B 풀정밀은 저장에만 4.9TB 필요	개인 저장장치 범위를 벗어남
8비트	FP8	서버·워크스테이션 추론	Hugging Face에 Qwen3.8-27B-FP8 재배포본이 여러 건 공개돼 있음	GPU가 FP8 연산을 지원해야 속도 이점이 생김
4비트	GGUF / NVFP4	개인 PC의 실질 표준	Unsloth가 Qwen3.8용 GGUF·NVFP4를 배포	같은 4비트라도 배포자별 품질 차이가 존재
1비트 계열	Dynamic GGUF	초대형 모델의 최후 수단	2.4T 모델을 1비트 Dynamic GGUF로 배포	실제로는 1.19~1.56bpw. PPL·KLD 표가 공개돼 있음

8비트(FP8): 성능을 거의 안 깎는 대신 하드웨어를 고른다

FP8은 서버 추론 쪽의 기본값처럼 자리 잡았습니다. 다만 개인 장비 기준으로는 무겁습니다 — 27B FP8 재배포본이 35.8GiB(bf16 51.7GiB 대비)라, 24GB 카드에는 올라가지 않습니다. Hugging Face에는 Qwen3.8-27B의 FP8 재배포본이 여러 계정에서 올라와 있고, 원본 모델 카드도 vLLM 같은 서빙 스택과 연결되는 형태로 제공됩니다. 다만 FP8은 “파일이 작아지는 것”보다 “연산 유닛이 FP8을 네이티브로 처리하는가”가 실익을 가릅니다. 구형 GPU에서는 용량만 줄고 속도 이득은 기대만큼 나오지 않을 수 있습니다.

4비트: 개인 PC가 실제로 쓰는 구간

17GB에서 27B가 돌아가는 구간이 바로 여기입니다. 4비트는 가중치 하나가 표현할 수 있는 값이 16가지(2⁴)로 줄어드는 압축인데, 이 정도까지는 실용적으로 쓰인다는 것이 배포 생태계로 증명돼 있습니다. 중요한 건 “4비트면 다 같다”가 아니라는 점입니다. Unsloth 문서의 2026년 8월 19일 업데이트에 따르면 Qwen3.8-27B GGUF는 Dynamic V3.0을 적용해 같은 파일 크기에서 정확도를 10% 개선했습니다. 파일 이름의 비트 수가 같아도 내용물은 다를 수 있습니다.

1비트: “돌아간다”와 “쓸 만하다”는 다른 문제

흔히 “1비트”라 부르지만 가중치 하나가 두 값만 갖는다는 뜻은 아닙니다. 실제로는 코드북을 쓰는 방식이라 IQ1_S가 1.5625bpw, 가장 낮은 UD-IQ1_XXXS도 1.1875bpw입니다. 그래도 4비트(16가지)보다 표현 해상도가 훨씬 낮아, 정보 손실이 선형이 아니라 급격하게 커지는 구간이라는 점은 분명합니다. 실제로 1비트는 정상 하드웨어에서는 도저히 감당이 안 되는 초대형 모델을 억지로 얹을 때 등장합니다. Unsloth는 풀정밀 저장에만 4.9TB가 필요한 Qwen3.8-2.4T-A95B를 1비트 Dynamic GGUF 형태로도 내놓았습니다.

실제로 Unsloth 문서에는 1비트 계열의 dtype별 지표가 표로 실려 있습니다(Qwen3.8-2.4T-A95B 기준).

dtype	BPW	PPL	KLD	top-p
IQ1_S	1.5625	2.578876	0.564553	78.882
UD-IQ1_XS	1.4375	2.931261	0.690161	75.726
UD-IQ1_XXS	1.3125	3.540383	0.876007	71.284
UD-IQ1_XXXS	1.1875	4.488796	1.109944	66.257

PPL(퍼플렉시티)은 낮을수록, top-p 일치율은 높을수록 원본에 가깝습니다. 같은 “1비트 계열” 안에서도 1.5625bpw와 1.1875bpw 사이에 PPL이 2.58 → 4.49로 벌어집니다. 비트를 조금 더 깎는 것이 품질에 어떻게 돌아오는지가 여기서 드러납니다.

다만 이 수치는 2.4T 모델 기준이라, 27B급에 그대로 옮겨 적용할 수는 없습니다. “1비트는 몇 % 하락” 같은 숫자를 단정하는 글은 의심하는 편이 낫고, 실제 손실 폭은 각 배포처의 공식 문서와 모델 카드를 직접 확인해야 합니다. 이름에 붙은 Dynamic이 무엇을 동적으로 조정하는지도 마찬가지로 공식 문서 확인이 필요한 부분입니다.

양자화 선택은 결국 ‘내 메모리에 들어가는 가장 큰 비트폭’을 고르는 문제입니다.

2.4조 파라미터를 개인이 돌린다는 말의 실제 의미

Qwen3.8 계열의 최상위 모델인 Qwen3.8-2.4T-A95B는 2.4조 파라미터 모델이지만 실제 활성 파라미터는 95B입니다. 총량 2400B 중 95B만 활성화되므로 활성 비중은 약 4%(95 ÷ 2400)입니다. 이 구조 덕분에 “총 파라미터 규모”와 “추론 시 실제로 계산되는 규모”가 완전히 분리됩니다.

그런데도 개인이 이 모델을 온전히 다루기 어려운 이유는 활성 파라미터만 메모리에 올리면 되는 게 아니라 전체 가중치를 어딘가에 두어야 하기 때문입니다. 풀정밀 4.9TB라는 숫자가 그 벽입니다. 1비트 양자화가 등장하는 자리가 정확히 여기입니다.

참고로 AI타임스는 2026년 8월 24일 「맥북에서 돌리는 ‘무삭제 큐원 3.8’ 등장…엔비디아 GPU·클라우드 없이 구동」이라는 제목의 기사를 냈습니다. 다만 이는 제목 수준의 정보이므로, 어떤 양자화본을 어떤 사양에서 돌린 것인지는 공식 문서와 모델 카드로 확인해야 합니다.

하드웨어: 양자화 등급에 맞춰 무엇을 살 것인가

양자화를 이해했다면 장비 선택은 의외로 단순해집니다. 기준점은 하나, Qwen3.8-27B의 17GB입니다. OS와 컨텍스트 캐시가 같은 메모리를 나눠 쓰므로 17GB에 딱 맞추는 구성은 권하기 어렵고, 여유를 두는 편이 안전합니다(이 여유폭은 공식 권장이 아니라 일반적인 운영 판단입니다).

선택지	왜 이 작업에 필요한가	구매 포인트	추천 대상
통합 메모리 노트북(32GB 이상)	CPU·GPU가 메모리를 공유해 17GB 요건을 단일 기기로 넘김. 별도 GPU 없이 4비트 27B 구동을 노릴 수 있음	메모리 용량이 곧 모델 상한. 나중에 증설이 불가하므로 처음부터 넉넉히. 신형 출시 직후 구형 재고 할인이 가성비 구간	노트북 한 대로 끝내고 싶은 개발자·연구자
VRAM 24GB급 외장 GPU	4비트 27B에 컨텍스트 여유까지 확보	⚠ FP8 재배포본은 안 올라간다 — 35.8GiB라 24GB를 넘는다. FP8을 쓰려면 그보다 큰 카드가 필요하다	데스크톱 보유자, 장시간 배치 추론이 필요한 경우
2TB 이상 NVMe SSD	같은 모델의 4비트·8비트 판본을 여러 개 받아 비교하려면 저장 공간부터 부족해짐	읽기 속도보다 용량 우선. 4.9TB급 풀정밀은 개인 구성 범위 밖이라 처음부터 포기하는 편이 합리적	여러 양자화본을 직접 비교하려는 사용자
시간제 클라우드 GPU	장비를 사기 전에 “내 워크로드가 이 모델로 되는가”를 먼저 검증	무료 체험 크레딧이나 시간 단위 과금으로 며칠만 써 보고 결정. 최저가만 보고 지역·네트워크 조건을 놓치지 말 것	구매 전 검증 단계, 단기 프로젝트

결론: 가장 추천하는 조합

가장 추천하는 선택은 통합 메모리 32GB 이상 노트북 한 대 + 구매 전 시간제 클라우드 GPU 검증입니다. 이유는 단순합니다. 2026년 기준 개인이 실제로 쓰는 구간은 4비트이고, 그 구간의 대표 모델이 17GB를 요구하며, 통합 메모리 구조는 별도 GPU 없이 그 요건을 가장 낮은 총비용으로 넘기기 때문입니다. VRAM 24GB급 GPU는 4비트 27B에 컨텍스트 여유를 두고 싶거나 이미 데스크톱이 있는 경우의 선택지로 두면 됩니다.

반대로 1비트 양자화는 “초대형 모델을 어떻게든 얹기 위한 수단”으로 이해하고, 품질이 필요한 작업의 기본값으로 삼지 마세요. 4비트에서 안 되는 일이 1비트에서 되는 경우는 없습니다.

참고 자료

– Qwen3.8 – How to Run Locally | Unsloth Documentation
– Qwen/Qwen3.8-27B · Hugging Face
– 맥북에서 돌리는 ‘무삭제 큐원 3.8’ 등장…엔비디아 GPU·클라우드 없이 구동 (AI타임스, 2026-08-24)
– huginnfork/Qwen3.8-27B-FP8 · Hugging Face
– orcarouter/Qwen3.8-27B-Uncensored-FP8 · Hugging Face