VRAM 2

파일 크기 21GB, 필요 VRAM 31.8GB — 오픈웨이트의 함정 두 개를 한 번에 배웠습니다

논문 투고를 하다 보니 그림 작업이 따로 노동이었습니다. 본문은 다 써놓고도 라벨이 어디서 겹치나 며칠이고 씨름하게 되거든요. 그래서 헤르메스 안에 그림만 그리는 전용 에이전트를 만들어보기로 했습니다. 막상 쪼개보니 이야기는 두 갈래로 갈렸습니다. 손에 있는 숫자로 matplotlib 그림을 그리는 데이터 피규어 쪽 하나, 배경 그림이나 이미지 편집 같은 생성형 쪽 하나였습니다. 데이터 피규어는 기존 논문 작성 에이전트에 스킬로 흡수해서 순조롭게 자리 잡았어요. 골칫덩이는 생성형 쪽이었습니다. 오픈웨이트 모델을 로컬에 올려보려다 기술 벽과 법적 벽에 연속으로 막혔습니다. 그림 요정을 따로 앉혔습니다프로파일을 분리한 이유는 지극히 실무적이었습니다. 컨텍스트 오염이에요. 이미지 생성 작업은 대용량 출력(Bl..

공부/인공지능 2026.10.24

3진 가중치로 27B를 6GB에 — 근데 진짜 98.2% 그대로일까

용량은 작은데 27B급 성능을 낸다는 신형 압축 모델, Bonsai 2가 나왔습니다. 겉으로 듣기엔 "메모리 적게 쓰면서 큰 모델 성능은 그대로"라는, 너무 좋아서 의심부터 드는 문장이죠. 그래서 이번엔 제조사 벤치 수치를 그대로 믿기보다, 실제 구조(3진 가중치 + 하이브리드 어텐션)를 뜯어보고 컨텍스트 길이별로 메모리 소요를 직접 계산해서, 어느 하드웨어에서 어디까지 돌릴 수 있는지 따져봤습니다. 이 모델이 뭔가Bonsai 2 27B는 원본 27B 모델을 3진 가중치({-1, 0, +1})로 압축하고, 여기에 FP16 그룹 스케일을 곁들여 만든 PTQ(사전학습 후 양자화) 모델입니다. 가중치가 세 개의 값뿐이라 표현이 극도로 단순해지고, 그 덕분에 배포 크기가 약 5.9GB까지 내려갔더군요. 27B짜..

공부/인공지능 2026.10.09