TechToast

2026-10-25, GB10 듀얼(128GB 통합메모리를 나누는 두 노드에서 vLLM 1M 컨텍스트를 서빙 중)에서 서비스가 낮에 두 번, 저녁에 한 번 죽었습니다. 부팅 후 6일 넘게 아무 탈 없이 돌던 스택인데, 그날 코드도 모델도 설정도 한 줄 건드리지 않았습니다. GPU 연산 오류도 모델 오류도 흔적이 없었어요. 범인은 메모리를 지키려고 켜둔 감시 데몬 earlyoom이었습니다. NVIDIA 공식 셋업이 기본으로 넣어준 녀석이에요. earlyoom의 일은 단순합니다. 가용 메모리가 2% 아래로 떨어지면 "나쁜 점수(badness)"가 가장 높은 프로세스를 먼저 끝내는 것. 메모리를 지키는 파수꾼이고, 보통 기계에서는 아주 합리적인 선입니다. 그런데 통합메모리 머신에서는 그 2%가 평상시 가동 영..

헤르메스가 세컨드브레인을 검색할 때는, 사실 검색 도구를 떠올린 턴에만 검색합니다. 브레인 자체는 살아 있습니다. 52.5만 벡터짜리 색인에 물으면 답도 잘 찾아옵니다. 그런데 에이전트가 도구 호출을 잊는 순간, 있는 건 없는 거나 마찬가지가 됩니다. 사무실 지하에 문서를 잔뜩 쌓아놓고 책상 위에는 아무것도 붙여두지 않은 격입니다. 내려가서 꺼내 오지 않으면 끝내 안 읽히는 메모, 그게 제 세컨드브레인이었습니다. 그래서 시맨틱 회상을 매 턴 자동으로 주입되는 메모리 프로토콜 쪽으로 집어넣어 보려 했습니다. 그리고 시작하자마자 벽에 부딪혔습니다. 외부 메모리 슬롯은 하나뿐이었습니다헤르메스의 메모리 시스템은 MemoryProvider라는 인터페이스 규격으로 만들어져 있습니다. 지금 기억을 SQLite에 쌓는..

🚨 증상: 연산은 0%인데 메모리는 6.7GB로컬 GPU 서버에서 작업을 마치고 nvidia-smi로 그래픽 카드 상태를 한번 열어봤습니다. GPU Utilization은 0%, 전력도 23W라 완전한 대기 상태였습니다. 아이들로 조용히 쉬고 있는 셈이죠. 그런데 메모리 점유율은 6.7GB — GPU가 11GB라니까 전체의 절반을 넘게 물고 있었습니다. 연산은 하나도 안 하는데 메모리를 6.7GB나 쥐고 있는 겁니다. "화면은 안 보면서 키보드만 두드리고 있는 격"이라는 비유가 떠올랐습니다. 연산을 안 하는데 자원을 버티고 있는 건 뭔가 잘못된 것 같아 보이니까요. 점유 프로세스를 내려보니 프로세스는 하나뿐이었고, 오래된 로컬 임베딩 서버였습니다. 게다가 게시된 지 5일이 넘게 상주해 있었습니다. ?..

LLM 에이전트 메모리가 꽉 찼다 — 4계층 구조로 풀기까지에이전트를 매일 쓰다 보면 어느 날 문득 '상주 메모리'라는 게 눈에 들어옵니다. 매 턴마다 모델이 처음부터 읽어야 하는 2,200자짜리 작은 파일인데, 어느 순간 그 파일이 꽉 차 버렸습니다. 그 파일 하나에 취향과 환경 설정, 경고 문구는 물론이고 시한부 정보까지 전부 몰아넣고 있었습니다. 저장 규칙이 없으니 새 정보는 전부 제일 위에 쌓였고, 한도가 2,200자니 금방입니다. 꽉 차면 뭔가가 밀려나고, 밀려난 게 나중에 꼭 필요해집니다. 잊힘이 생기는 구조였습니다.2,200자가 90%까지 찼다실측을 해보니 90%까지 차 있었습니다. 남는 자리가 220자, 그러니까 한두 문장이었고, 그때 새 사실 하나가 들어오면 기존 항목을 밀어내야 했습니다..