TechToast

DeepSeek 1017을 2대의 GB10에 돌리다 — TensorFold와 1M 컨텍스트의 실체

한 줄 요약부터. DeepSeek의 새 모델 '1017'(V4.1-Flash-1017)을 우리 GB10 두 대에 EXL3 2.9bpw 포맷으로 올려서 서빙 엔진을 바꿔가며 실측했습니다. TensorFold가 디코드는 vLLM보다 1.6배 빨랐는데, 커뮤니티에서 돌던 2.1~2.3배 주장 그대로는 재현되지 않았습니다. 우리가 느려서가 아니라 기준선이 빨랐습니다. 그리고 이번 실험에서 제일 중요한 걸 하나 확정했는데, 모델 카드에 적힌 1M과 두 대가 실제로 주는 1M은 다른 문장이라는 점입니다. 1017이 어떤 모델이고, 어떻게 올렸나1017은 10월 17일에 나온 DeepSeek V4.1-Flash-1017입니다. 모델 카드가 발표한 주요 수치로는 Terminal-Bench가 직전 버전의 31.2에서 4..

API server down 경보를 받고 서버를 의심했습니다 — 로그가 거짓말한 겁니다

새벽에 알림 하나가 떴습니다. "API server down". 에이전트를 백본으로 살아가는 사람한테 이 문장은 심장이 내려앉는 문구입니다. 바로 SSH로 서버에 붙어서 점검을 시작했습니다. 프로세스가 죽었겠거니 하는 마음으로요.서버는 말짱했습니다먼저 포트를 확인했습니다. ss -tlnp | grep 18642 돌아온 포트는 멀쩡히 LISTEN 상태였습니다. hermes status 점검도 플랫폼 정상이었고요. API 서버는 OpenAI 호환 HTTP 엔드포인트 0.0.0.0:18642으로 정상 구동 중이었고 응답도 잘 돌아오고 있었습니다. 그러니까 다운은 사실이 아니었습니다. 서버는 살아있었습니다. 그런데 이대로 "다행입니다"로 넘길 수가 없었습니다. 경보는 꽤 자신 있게 down을 외쳤고, 그 외침의..

헤르메스 데스크톱에 음성 대화를 붙였습니다. 제 목소리를 받아 적고, LLM이 생각하고, 다시 목소리로 답해 주는 구성입니다. ChatGPT 음성 모드처럼 바로 대답이 나올 줄 알았는데, 실제로는 답이 한 박자 늦었습니다. 말을 끝내면 음... 소리가 나오기까지 1, 2, 3초가 뜸하거든요. 반응은 있으니 고장이라 하기엔 애매했고, 그냥 느린 것이었습니다. 여기서 다들 하는 짐작이 있습니다. 입력도 음성이고 출력도 음성이니 STT(음성을 텍스트로 바꾸는 단계)나 TTS(텍스트를 음성으로 바꾸는 단계)부터 의심하게 되죠. 그런데 로컬 음성 스택(whisper + Kokoro)을 하나씩 붙여 보며 잡아 본 병목은 그 둘이 아니었습니다. STT는 거의 즉답이었고 TTS는 스트리밍으로 말하기 시작하는데도, 첫 ..

한 줄 요약부터. 연구실 문패를 '재실/부재/강의/퇴근'으로 자동 표시하려면, 결국 한 가지를 알아야 합니다. 지금 방 안에 있는 그 사람이 '나'인지가요. 사람 감지 이벤트만으론 학생이 들어와도 '재실'이라 떠버리니까요. 그래서 라즈베리파이 + CCTV 이벤트를 얼굴 인식으로 판정해봤는데, 같은 사람 임베딩끼리도 거리가 0.86에서 1.5까지 흔들리는 걸 실측으로 확인한 뒤 1:1 동일성 판정은 포기했습니다. 대신 좌표 존(공간 마커) + 요일 패턴 규칙으로 갈아탔습니다. 평일 근무시간에는 97% 이상 '교수'로 판정되는 걸 보고, 얼굴 인식은 '화질이 좋을 때만 쓰는 보조'로 내린 이야기입니다. 무엇을 만들고 있었나연구실 문패는 e-paper 화면에 '내 방/방문자/공사(주말)' 같은 상태를 띄우는 ..

무엇을 만들었나연구실 문 앞에 붙이는 '자리 비움' 표시는 종이 문패를 쓰면 상태를 바꿀 때마다 다시 써야 하고, 재실/부재/강의/회의/퇴근 상태를 그때그때 알리고 싶으면 사람이 직접 바꿔야 합니다. 그래서 온라인으로 상태를 바꾸면 몇 초 안에 문패 화면이 갱신되는 e-paper 문패를 만들었습니다. 만들면서 배터리를 13배 아끼는 과정과, 펌웨어에 숨어 있던 정수 오버플로 버그까지 함께 다뤄봅니다. 하드웨어는 ESP32(T-Display 클론)와 4.2인치 흑/백/적 3색 e-paper(SSD1683)입니다. 3색이라 흑 평면과 적 평면 두 장을 겹쳐서 400×300 픽셀에 그립니다. 서버는 랩 내부 서버의 Docker 컨테이너가 담당하는데, FastAPI와 Pillow가 3색 비트맵(약 30KB)..

🚨 증상: 연산은 0%인데 메모리는 6.7GB로컬 GPU 서버에서 작업을 마치고 nvidia-smi로 그래픽 카드 상태를 한번 열어봤습니다. GPU Utilization은 0%, 전력도 23W라 완전한 대기 상태였습니다. 아이들로 조용히 쉬고 있는 셈이죠. 그런데 메모리 점유율은 6.7GB — GPU가 11GB라니까 전체의 절반을 넘게 물고 있었습니다. 연산은 하나도 안 하는데 메모리를 6.7GB나 쥐고 있는 겁니다. "화면은 안 보면서 키보드만 두드리고 있는 격"이라는 비유가 떠올랐습니다. 연산을 안 하는데 자원을 버티고 있는 건 뭔가 잘못된 것 같아 보이니까요. 점유 프로세스를 내려보니 프로세스는 하나뿐이었고, 오래된 로컬 임베딩 서버였습니다. 게다가 게시된 지 5일이 넘게 상주해 있었습니다. ?..

연구실에서 지금 2x DGX Spark(GB10, 통합메모리 128GB × 2노드)로 로컬 LLM을 서빙하고 있습니다. 최근 딥시크가 DeepSeek V4.1-Flash를 공개하면서, "요새 뭐 써야 하나"를 다시 따져볼 때가 됐습니다. 랩 실측으로 다시 확인한 결론부터 말하자면, 램(파라미터 총량)이 어디까지 들어갈 수 있을지를 정하고, 활성 파라미터가 속도를 정하고, 양자화가 품질을 정합니다. 이 세 가지가 서로 다른 자리에 걸려 있는 게, 이 비교의 전부입니다. V4.1-Flash는 왜 2x Spark에서 "미지의 영역"인가DeepSeek V4.1-Flash는 552B backbone에 196B Engram을 얹은 구조이고, 네이티브(MXFP4/FP8)로 떠 올리면 약 511GB입니다. 2x Spa..

도비비의 '잔혹한 천사의 테제' 한국어 번안을 듣다가, 왜 이렇게 원곡 일본어랑 발음 간격이 좁을까 싶어서 가사 두 개를 나란히 놓고 음절을 하나하나 분해해봤습니다. 결론부터 — 같은 자리에 같은 자음이 올 확률은 낮지만, 발음의 '재질'(분포)은 91% 일치합니다. 그 차이가 '번안'과 '원곡 같은 소리'를 가릅니다. 왜 이 곡인가이 곡은 '잔혹한 천사의 테제', 1995년 고바야시 요코(高橋洋子)가 부른 에반게리온의 오프닝입니다. 일본 애니메이션을 한번 지나친 사람이라면 첫 소절에서 어깨를 들썩였을 법한 멜로디인데, 그 위에 한국어 가사를 얹은 버전이 도비비(CANDID MUSIC)의 번안입니다. 도비비가 Vocal & Lyric Adaptation을 맡았고, 들을수록 "한국어·일본어 발음 간격을 최..

용량은 작은데 27B급 성능을 낸다는 신형 압축 모델, Bonsai 2가 나왔습니다. 겉으로 듣기엔 "메모리 적게 쓰면서 큰 모델 성능은 그대로"라는, 너무 좋아서 의심부터 드는 문장이죠. 그래서 이번엔 제조사 벤치 수치를 그대로 믿기보다, 실제 구조(3진 가중치 + 하이브리드 어텐션)를 뜯어보고 컨텍스트 길이별로 메모리 소요를 직접 계산해서, 어느 하드웨어에서 어디까지 돌릴 수 있는지 따져봤습니다. 이 모델이 뭔가Bonsai 2 27B는 원본 27B 모델을 3진 가중치({-1, 0, +1})로 압축하고, 여기에 FP16 그룹 스케일을 곁들여 만든 PTQ(사전학습 후 양자화) 모델입니다. 가중치가 세 개의 값뿐이라 표현이 극도로 단순해지고, 그 덕분에 배포 크기가 약 5.9GB까지 내려갔더군요. 27B짜..

슬라이서가 낸 gcode를 프린터로 직접 보내는 것까지는 누구나 할 만해 보입니다. 그런데 특정 펌웨어는 미리 알려주지 않는 엄격한 검증 규칙을 들고 있습니다. 저는 3DWOX 1 프린터에 리눅스에서 파일 복사 없이 네트워크로 바로 출력하는 걸 하다가, 「출력 GCODE 파일에 문제가 있습니다(409)」 라는 에러를 만났습니다. 이 펌웨어가 원하는 형식을, 실제 OEM gcode를 ground truth로 역추적해서 하나씩 잡은 과정을 정리했습니다.네트워크 출력 자체는 의외로 간단했습니다파일 복사는 필요 없었습니다. TCP 9100 포트에 raw gcode를 그대로 쏘면 됩니다. PJL 같은 별도 래핑이 필요하지 않았고, 보내는 단계까지는 정상 동작했습니다. 문제는 보낸 뒤에 시작되었습니다. 프린터가 받..