TechToast

2x DGX Spark에서 대형 로컬 모델 고르기: DeepSeek V4-Flash vs Qwen3.8 — 1M 컨텍스트와 동시성의 트레이드오프

연구실에서 지금 2x DGX Spark(GB10, 통합메모리 128GB × 2노드)로 로컬 LLM을 서빙하고 있습니다. 최근 딥시크가 DeepSeek V4.1-Flash를 공개하면서, "요새 뭐 써야 하나"를 다시 따져볼 때가 됐습니다. 랩 실측으로 다시 확인한 결론부터 말하자면, 램(파라미터 총량)이 어디까지 들어갈 수 있을지를 정하고, 활성 파라미터가 속도를 정하고, 양자화가 품질을 정합니다. 이 세 가지가 서로 다른 자리에 걸려 있는 게, 이 비교의 전부입니다. V4.1-Flash는 왜 2x Spark에서 "미지의 영역"인가DeepSeek V4.1-Flash는 552B backbone에 196B Engram을 얹은 구조이고, 네이티브(MXFP4/FP8)로 떠 올리면 약 511GB입니다. 2x Spa..

도비비 '잔혹한 천사의 테제' 번안, 일본어 원곡과 몇 % 같은 소리인가 — 음절 380개 뽑아 재봤다

도비비의 '잔혹한 천사의 테제' 한국어 번안을 듣다가, 왜 이렇게 원곡 일본어랑 발음 간격이 좁을까 싶어서 가사 두 개를 나란히 놓고 음절을 하나하나 분해해봤습니다. 결론부터 — 같은 자리에 같은 자음이 올 확률은 낮지만, 발음의 '재질'(분포)은 91% 일치합니다. 그 차이가 '번안'과 '원곡 같은 소리'를 가릅니다. 왜 이 곡인가이 곡은 '잔혹한 천사의 테제', 1995년 고바야시 요코(高橋洋子)가 부른 에반게리온의 오프닝입니다. 일본 애니메이션을 한번 지나친 사람이라면 첫 소절에서 어깨를 들썩였을 법한 멜로디인데, 그 위에 한국어 가사를 얹은 버전이 도비비(CANDID MUSIC)의 번안입니다. 도비비가 Vocal & Lyric Adaptation을 맡았고, 들을수록 "한국어·일본어 발음 간격을 최..

3진 가중치로 27B를 6GB에 — 근데 진짜 98.2% 그대로일까

용량은 작은데 27B급 성능을 낸다는 신형 압축 모델, Bonsai 2가 나왔습니다. 겉으로 듣기엔 "메모리 적게 쓰면서 큰 모델 성능은 그대로"라는, 너무 좋아서 의심부터 드는 문장이죠. 그래서 이번엔 제조사 벤치 수치를 그대로 믿기보다, 실제 구조(3진 가중치 + 하이브리드 어텐션)를 뜯어보고 컨텍스트 길이별로 메모리 소요를 직접 계산해서, 어느 하드웨어에서 어디까지 돌릴 수 있는지 따져봤습니다. 이 모델이 뭔가Bonsai 2 27B는 원본 27B 모델을 3진 가중치({-1, 0, +1})로 압축하고, 여기에 FP16 그룹 스케일을 곁들여 만든 PTQ(사전학습 후 양자화) 모델입니다. 가중치가 세 개의 값뿐이라 표현이 극도로 단순해지고, 그 덕분에 배포 크기가 약 5.9GB까지 내려갔더군요. 27B짜..

슬라이서가 낸 gcode를 프린터로 직접 보내는 것까지는 누구나 할 만해 보입니다. 그런데 특정 펌웨어는 미리 알려주지 않는 엄격한 검증 규칙을 들고 있습니다. 저는 3DWOX 1 프린터에 리눅스에서 파일 복사 없이 네트워크로 바로 출력하는 걸 하다가, 「출력 GCODE 파일에 문제가 있습니다(409)」 라는 에러를 만났습니다. 이 펌웨어가 원하는 형식을, 실제 OEM gcode를 ground truth로 역추적해서 하나씩 잡은 과정을 정리했습니다.네트워크 출력 자체는 의외로 간단했습니다파일 복사는 필요 없었습니다. TCP 9100 포트에 raw gcode를 그대로 쏘면 됩니다. PJL 같은 별도 래핑이 필요하지 않았고, 보내는 단계까지는 정상 동작했습니다. 문제는 보낸 뒤에 시작되었습니다. 프린터가 받..

27B 모델을 분류에 쓰던 걸 9B 스코어링 모델로 갈아끼우기메일을 실시간으로 분류하는 작업에, 27B급 일반 생성 모델을 프롬프트와 JSON 출력 규칙으로 이끌어 흉내 내던 구조를 쓰고 있었습니다. 그런데 이걸 토큰을 한 글자도 뱉지 않고 확률 하나만 내놓는 9B 스코어링 분류 모델로 갈아끼웠더니, 더 빨라지고 더 정확해졌습니다. 분류처럼 고정된 라벨 집합에 하나만 매기면 되는 정해진 일에는, 큰 모델보다 작업에 특화된 작은 모델이 오히려 유리하다는 결론이 나왔습니다. 라이선스와 하드웨어 함정까지 실제로 부딪혀 가며 비교한 이야기를 풀어보겠습니다. 왜 거대한 생성 모델로 분류를 흉내 냈을까"일반 LLM에 프롬프트와 JSON 출력을 시키면 뭐든 된다"는 패턴은, 로컬 LLM을 만지는 사람이라면 한 번쯤 ..

모델은 256K인데 자꾸 128K로 나온다 — 로컬 LLM 컨텍스트 길이 함정같은 모델을 쓰는데 어떤 세션에선 128K로, 또 어떤 세션에선 256K로 인식되는 일이 있었습니다. 모델이 바뀐 것도 아니고, 설정이 꼬인 것도 아닙니다. 클라이언트가 최대 컨텍스트 길이를 알아내는 방식에 구멍이 있었습니다. 원인과 해결 방법을 정리해 봅니다. 같은 모델인데 세션마다 다르게 보인다모델을 직접 붙이는 대신 프록시를 거쳐 여러 모델을 붙여 쓰는 구성입니다. 그래서 실제 최대 컨텍스트 길이가 262,144(256K)인 모델을 두고도, 세션에 따라 128K로 잡히는 일이 생겼습니다. 모델 스펙은 그대로인데 클라이언트가 "이 모델은 131,072까지"라고 알고 있는 셈이죠. 그 모델을 처음 붙였을 때부터 256K로 잘 ..

모델은 256K인데 자꾸 128K로 나온다 — 로컬 LLM 컨텍스트 길이 함정같은 모델을 쓰는데 어떤 세션에선 128K로, 또 어떤 세션에선 256K로 인식되는 일이 있었습니다. 모델이 바뀐 것도 아니고, 설정이 꼬인 것도 아닙니다. 클라이언트가 최대 컨텍스트 길이를 알아내는 방식에 구멍이 있었습니다. 원인과 해결 방법을 정리해 봅니다. 같은 모델인데 세션마다 다르게 보인다모델을 직접 붙이는 대신 프록시를 거쳐 여러 모델을 붙여 쓰는 구성입니다. 그래서 실제 최대 컨텍스트 길이가 262,144(256K)인 모델을 두고도, 세션에 따라 128K로 잡히는 일이 생겼습니다. 모델 스펙은 그대로인데 클라이언트가 "이 모델은 131,072까지"라고 알고 있는 셈이죠. 그 모델을 처음 붙였을 때부터 256K로 잘 ..

게이트를 만들었다가 걷어냈다 — 로컬 LLM 멈춤의 진짜 원인 찾기 컨텍스트가 큰 로컬 LLM을 여러 세션으로 나눠 쓰다 보면, 세션을 셋째 개 열 때쯤 전체 요청이 뻗어버리는 일이 반복됐습니다. 대부분의 운영 이야기에서 이 시점의 결론은 하나로 정해져 있습니다. 「KV 캐시가 부족해서 그렇다」는 것. 저도 그랬습니다. 하지만 이번에는 그 결론이 틀렸습니다. 그래서 원인을 고치겠다고 게이트웨이를 먼저 만들었고, 한참을 돌고 나서 그 게이트를 통째로 걷어냈습니다. 만들었다가 지운, 그 과정과 이유를 적어봅니다.증상과 오진: 「컨텍스트를 줄이자」가 아니라 「접수 창구를 만들자」멈춤 현상은 이렇게 옵니다. 한두 개 세션은 거뜬히 돌아가는데, 세 번째 세션에 요청이 들어오면 전체가 미적대다가 폴백 모델로 떨어집..

세담 V2 — 열 살 아이를 위한 레고 브릭봇 액션 플랫포머열 살 아이를 위한 레고 브릭봇 액션 플랫포머를 만들고 있습니다. 화려한 오픈월드도,난이도를 올려서 도전 정신을 북돋우는 것도 아닙니다. 제가 아이에게 맞춰 내세운 기준은딱 하나였습니다. "지나치게 어렵지 않고, 자극이 낮고, 난이도가 부드러운 게임."그 기준을 지키면서 지난 사이클 동안 스테이지 15개, 보스 6종, 캐릭터 4종, 그리고로컬 2인 협동까지 이리저리 손을 봤습니다. 어떤 것을 어떻게 다듬었는지, 아이가 화면앞에서 느끼게 될 결과를 중심으로 정리해봅니다. 작은 목차 발밑 세계 만들기 — 물·무너지는 블록·바람보스전의 온도 — 경직과 페이즈 2아이가 보는 화면 — 표정, 눈동자, 레고 브릭"점프가 왜 안 돼요?" — 고친 두 가지 ..

한동안 모니터링 웹사이트 하나만 띄워 두기엔 아깝다는 라즈베리파이 5(8GB) 한 대가 생겼습니다. 거기에 7인치 터치 LCD까지 붙어 있어서, 창 하나 켜 두기엔 정말 아깝다는 생각이 들었습니다. 그래서 GPU 사용량, LLM 사용량, 에어컨 제어, 오늘 일정, 날씨를 한 화면에 몰아넣은 '연구실 모니터'를 만들어 봤습니다. 스크롤 한 번 없이, 터치로 바로 보고 조작하는 화면입니다. 왜 벽에 걸 웹 하나를 새로 만들었나각 서버마다 모니터링 페이지가 이미 있습니다. 하지만 그 화면을 켜 놓으려면 새 탭을 열고 스크롤을 내려야 합니다. 서버실(연구실)에 걸어 두고 터치로 바로 보고 조작하려면, 스크롤 없이 한 화면에 다 들어오는 페이지가 필요했습니다. 처음엔 기존 페이지를 iframe으로 붙여 넣을까 생..