TechToast

연구실에서 지금 2x DGX Spark(GB10, 통합메모리 128GB × 2노드)로 로컬 LLM을 서빙하고 있습니다. 최근 딥시크가 DeepSeek V4.1-Flash를 공개하면서, "요새 뭐 써야 하나"를 다시 따져볼 때가 됐습니다. 랩 실측으로 다시 확인한 결론부터 말하자면, 램(파라미터 총량)이 어디까지 들어갈 수 있을지를 정하고, 활성 파라미터가 속도를 정하고, 양자화가 품질을 정합니다. 이 세 가지가 서로 다른 자리에 걸려 있는 게, 이 비교의 전부입니다. V4.1-Flash는 왜 2x Spark에서 "미지의 영역"인가DeepSeek V4.1-Flash는 552B backbone에 196B Engram을 얹은 구조이고, 네이티브(MXFP4/FP8)로 떠 올리면 약 511GB입니다. 2x Spa..

왜 갈아탔나flash-next를 반년 넘게 메인 모델로 굴려 왔습니다. 큰 불만은 없었는데, 최근 장문 작업에서 답이 어긋나는 기미가 보이고, 같은 질문을 되풀이받으면 살짝 허둥대는 모습이 눈에 띄더라고요. 그런데 8월 말, DS(DeepSeek) 정식 후속인 DeepSeek-V4-Flash-Vision-Exp(305B, MIT, 네이티브 비전)가 등장했습니다. 과거 DS 계열의 약점은 명확했습니다. 1M 컨텍스트는 되는데 비전이 없는 것이요. 텍스트는 강한데 이미지를 못 보니까, 제 작업의 절반쯤은 이 모델로 못 넘기는 셈이었죠. 그런데 Vision-Exp는 네이티브 비전을 내장으로 들고 나와서 그 약점이 그냥 사라졌습니다. 컨테이너도 이미 로컬에 있어서 재구축 부담이 최소였고요. 한쪽은 무료·빠른데..

GB10 듀얼에서 메인 서빙을 flash-next로 바꾼 뒤, 체감이 조금 느려졌습니다. xhigh 때문인 것 같다는 직감이 가시지 않아서, 서버에 올라가 있는 chat template 원문을 직접 열어 봤습니다. 원인은 서빙 설정이 아니라, 모델의 chat template 안에 있었습니다. 결국 17배를 태우면서 같은 오답을 내고 있었던 거죠.의심에서 추적까지 flash-next 2×Spark(GB10 듀얼) 서빙의 체감이 안 좋았던 건 사실입니다. 첫 번째 의심은 서빙 설정이었죠. 그런데 xhigh로 해서 그런 것 같기도 하다는 직감이 남아 있어서, 서버에 올라가 있는 tokenizer_config.json(8.9KB)을 그대로 열어 봤습니다. 발견은 빨랐습니다. reasoning_effort 허용값..