TechToast

잡으려고 켜둔 감시자가 서비스를 죽였다 — GB10 통합메모리에서 earlyoom이 vLLM을 킬한 하루

2026-10-25, GB10 듀얼(128GB 통합메모리를 나누는 두 노드에서 vLLM 1M 컨텍스트를 서빙 중)에서 서비스가 낮에 두 번, 저녁에 한 번 죽었습니다. 부팅 후 6일 넘게 아무 탈 없이 돌던 스택인데, 그날 코드도 모델도 설정도 한 줄 건드리지 않았습니다. GPU 연산 오류도 모델 오류도 흔적이 없었어요. 범인은 메모리를 지키려고 켜둔 감시 데몬 earlyoom이었습니다. NVIDIA 공식 셋업이 기본으로 넣어준 녀석이에요. earlyoom의 일은 단순합니다. 가용 메모리가 2% 아래로 떨어지면 "나쁜 점수(badness)"가 가장 높은 프로세스를 먼저 끝내는 것. 메모리를 지키는 파수꾼이고, 보통 기계에서는 아주 합리적인 선입니다. 그런데 통합메모리 머신에서는 그 2%가 평상시 가동 영..

라벨 560mAh 배터리를 테스터로 쟀더니 약 200mAh — 문패 배터리 오독 해부

문패 배터리를 밤새 충전했는데 아침에 잔량이 93%로 떠 있었습니다. 100%가 아닙니다. 충전 회로도 깨지고 보드 ADC도 고장 난 건가 싶어서 멀티미터와 USB 전력 테스터를 끌어다 붙였는데, 결론부터 말씀드리면 하드웨어는 할 일을 하고 있었고 틀린 쪽은 전부 제가 잡은 가정들이었습니다. 이 기기는 1편에서 e-paper로 바꾼 바로 그 문패입니다. 제 워크스테이션이 그린 비트맵을 문패가 받아서 문에 띄우고, 자기 배터리 전압은 보드 ADC로 읽는 구조죠. 1편을 쓰고 나서 잔량 표시가 자꾸 이상해서 파고들었고, 하나씩 실측으로 고쳐간 과정을 아래 순서 그대로 적어봅니다. 먼저 무너진 가정, "완충 = 4.2V"처음엔 보드 ADC를 의심했습니다. 멀티미터로 배터리 전압을 직접 재서 비교해보니 보드가 ..

검사실 쪽 Windows 워크스테이션 하나가 아팠습니다. 원격 데스크탑 접속이 어느 날부터 안 열려서, 결국 SSH로만 상태를 확인해야 했어요. SSH는 열리니 기계가 완전히 죽지는 않았지만, 짐을 옮길 문은 계속 닫혀 있었어요. 그 컴퓨터가 아픈 데에는 뒤에 또 다른 사정이 있었지만, 그날의 진짜 본업은 따로 있었습니다. 영상 데이터 이관이요. 현장 폐쇄망 안의 이미징 스토리지에 폴더 11개, 합계 3.19TB가 담겨 있었고, 연구실 워크스테이션 드라이브로 통째로 옮겨야 했습니다. 예전에는 원격 데스크탑으로 접속해서 탐색기를 끌어다 복사하는 방식으로 이런 일을 처리했습니다. 그런데 대용량 폴더를 옮기면 부하가 심하게 걸려서 컴퓨터가 다운되는 일이 반복됐어요. 그래서 죽어도 이어지는 구조가 필요했습니다...

어젯밤 뉴스 피드에 잭 도시의 블록(Block)이 내놓은 음성 모델 Dessa 데모 클립이 올라왔습니다. 들으면서 말하는 음성 AI인데, 클립은 실제로 엄청 실시간처럼 보였습니다. 한글이 가능할지가 첫 질문이었고, 그 위에 '오픈소스'라는 표현까지 붙어서 돌고 있었습니다. 그래서 공식 페이지 block.xyz/dessa 를 직접 열어서 항목별로 확인했습니다. 결론부터 말씀드리면 실시간(풀듀플렉스)은 맞고, 오픈소스는 아니며, 한글은 현 시점 불가입니다. 오늘(10-29) 공식 페이지와 TechCrunch, Hugging Face, GitHub를 라이브로 다시 확인해서 정리했습니다.Dessa는 음성으로만 말을 배운 모델입니다Dessa는 10월 23~24일에 공개됐고, 블록 안의 초소형 AI 연구랩 작품입니..

실시간 음성대화 모드로 음성비서를 굴리고 있는데(그 음성 지연 병목을 뜯었던 글은 여기 있습니다), 아주 상식적인 질문이 하나 떠올랐습니다. 비전용 mmproj 어댑터는 그렇게 잘 붙는데, 오디오도 붙이면 STT 서버 단계를 통째로 줄일 수 있지 않을까요. 그래서 로컬 27B의 웨이트를 직접 열어봤습니다.config.json이 정직했습니다할 일은 단순했습니다. 허브에서 config.json을 받아 키 목록을 본 것뿐입니다. 오늘 직접 curl로 실측한 결과입니다. curl -s https://huggingface.co/Qwen/Qwen3.8-27B/resolve/main/config.json | jq 'keys'["architectures", "image_token_id", "language_model_..

AI 에이전트가 물리 세계의 장비를 움직인다는 말은 이제 남의 세상 소리가 아닙니다. MCP가 퍼지면서 연구실 기계를 에이전트에게 맡기는 시도가 하나둘 나오고 있고, 저 역시 3D 프린터용 오픈소스 프로젝트를 하나 발견했습니다. 이름은 Kiln. 제 노트북에 내려받아 지난 10월 22일 하루, 저희 연구실에 있는 3DWOX DP200(RODIN 펌웨어)에 붙여볼 수 있는지 직접 재봤습니다. 결과는 한 줄로 요약됩니다. Kiln이 준비한 어댑터 8종 중 우리 프린터에 닿는 것은 0개였습니다.Kiln은 설계부터 출력까지 에이전트에게 맡기는 물건입니다Kiln은 오픈소스 MCP 서버이자 CLI입니다. 저장소는 GitHub의 codeofaxel/Kiln이고 라이선스는 AGPL-3.0입니다. 에이전트가 붙으면 프린..

연구실 논문 관리 웹앱을 하나 만들기로 했습니다. 평소 헤르메스를 붙들고 일하는 사람이다 보니 첫 생각은 당연히 "이걸 헤르메스로 돌리면 안 되나?"였습니다. 결론부터 말씀드리면, 런타임으로는 안 됐습니다. 만드는 일은 헤르메스 서브에이전트로 됐습니다. "앱을 굴리는 놈"과 "코드를 짜는 놈"을 분리하는 데서 이 프로젝트의 설계가 시작됐습니다.헤르메스는 런타임이 아닙니다헤르메스는 단일 사용자 에이전트입니다. 그래서 사람 여럿이 동시에 클릭하는 웹앱의 한복판에 둘 자리가 아니었고요. 에이전트를 통째로 런타임으로 삼으려는 시도는 식당 카운터에 집사 한 분을 세우는 격이었습니다. 집사는 유능한데, 시스템이 안 맞습니다. 그래서 앱 자체는 FastAPI 백엔드와 React 프런트로 따로 지었습니다. 앱 안의 '..

title: 29개 서비스를 대시보드 한 장에 모았더니, 외면하던 503의 정체가 보였다tags: [서버 운영, 모니터링, 파이썬, 비동기]category: 공부/인공지능 (1015747)visibility: public 랩의 웹 서비스들이 여기저기 흩어져 있었습니다. 본 서버에도 여러 개, LLM을 서빙하는 기계에도 하나, 라즈베리파이 두 대에도 화면들이 있습니다. 세어보니 본 서버까지 일곱 대에 걸쳐 있었지요. "이거 살아있나?"를 확인하려면 브라우저로 하나씩 열어볼 수밖에 없어서, 점검 한 번이 온통 클릭이었습니다. 그래서 아예 목록을 세어보기로 하고 포트 스캔부터 돌렸습니다.기억 대신 포트 스캔이 준 목록본 서버의 리스닝 포트와 systemd 유닛, 도커 컨테이너를 싹 훑고, 원격 노드들에 띄워둔..

논문 투고를 하다 보니 그림 작업이 따로 노동이었습니다. 본문은 다 써놓고도 라벨이 어디서 겹치나 며칠이고 씨름하게 되거든요. 그래서 헤르메스 안에 그림만 그리는 전용 에이전트를 만들어보기로 했습니다. 막상 쪼개보니 이야기는 두 갈래로 갈렸습니다. 손에 있는 숫자로 matplotlib 그림을 그리는 데이터 피규어 쪽 하나, 배경 그림이나 이미지 편집 같은 생성형 쪽 하나였습니다. 데이터 피규어는 기존 논문 작성 에이전트에 스킬로 흡수해서 순조롭게 자리 잡았어요. 골칫덩이는 생성형 쪽이었습니다. 오픈웨이트 모델을 로컬에 올려보려다 기술 벽과 법적 벽에 연속으로 막혔습니다. 그림 요정을 따로 앉혔습니다프로파일을 분리한 이유는 지극히 실무적이었습니다. 컨텍스트 오염이에요. 이미지 생성 작업은 대용량 출력(Bl..

저널에서 오는 심사 초대 메일이 매일 쌓입니다. 작년부터 Gmail을 감시하는 크론을 돌려서 초대 편지들을 JSON 파일 하나로 뽑아두기만 했는데, 오늘 실측으로 추적 중인 건이 75건이었습니다. 정작 그 논문들을 Zotero 서지관리 컬렉션으로 옮기는 일은 계속 손으로 하고 있었습니다. 감시는 자동이고 분류는 수동이라, 하루에 10분씩 새는 구멍이 이번 작업의 대상이었습니다. Zotero에는 공식 CLI가 없습니다시작 전에 생태계를 조사해 봤는데, Zotero 공식 CLI는 존재하지 않습니다. 없어서 없는 걸 만든 셈이고, 결국 커뮤니티 도구인 54yyyu/zotero-mcp를 고르게 됐습니다. PyPI 패키지명은 zotero-mcp-server이고, 버전은 0.15.1로 고정했습니다. 고정해두지 않으..