TechToast

DGX Spark 2대, 1M 컨텍스트 도전기. (Qwen3.8-Flash-Next day-0)주력 모델의 기준은 처음부터 고정돼 있었습니다. 1M 토큰, 그리고 어느 정도의 멀티유즈. 하드웨어는 DGX Spark 2대였고, GB10에 128GB 통합 메모리를 품은 기기를 200Gbps RoCE로 엮은 구성입니다. 사양서만 놓고 보면 "이건 되겠지" 싶은 조합이었죠. 결론부터 정리하면, 262K 서빙은 성공했고 300K needle도 통과했습니다. 완전한 1M는 아직 아닙니다. prefill을 약 365K 처리하는 지점에서 멈췄어요. 부분 성공인데, 한계는 명확하게 잡힌 상태입니다. 달리 말하면 "1M라는 문 앞까지는 갔는데, 문고리를 잡는 순간 멈춘" 그런 상황이었습니다.day-0 스택Flash-Nex..

[세컨드브레인 개발기] 15. 주력 모델이 3번 바뀌었다. 사유도 각각 달랐다.14편은 빚을 남기고 끝났습니다. "공식이 없으면 설명할 수 없는 숫자"라고 쓰고, 이 이야기는 다음 편에서 풀어야겠다고 했죠. 이 편은 그 빚을 갚는 편입니다. 그러다 보니 아직 아무 편에도 안 나온 이야기, 이 박스의 주력 자리에 맨 처음 무엇이 있었는지도 같이 쓰게 됐어요. 2개월 동안 주력 자리는 세 번 바뀌었습니다. 27B에서 35B-A3B로는 속도 때문에, A3B에서 27B로는 품질 때문에, 27B에서 122B로는 컨텍스트 때문에. 그리고 그 앞, 27B가 주력이 되기 전의 구간은 기록이 제일 얇은 곳입니다. 어떤 교체는 날짜가 있고 어떤 교체는 날짜가 없어요. 사유도 기록에 있는 게 있고, "기록에 없다"고밖에 쓸..