서버운영 2

살아 있다고 말하는 것들 — active·exit 255·CPU 99.9%가 전부 거짓말이었습니다

LISTEN 상태의 accept 큐에, 응답을 못 받은 소켓 406개가 쌓여 있었습니다. systemd에는 active로 뜨고 포트도 열려 있었으니, 겉보기엔 정상이었거든요. 그런데 curl에는 답이 하나도 나오지 않았습니다. 상태는 정상이었는데, 일만 하지 않은 겁니다.active였는데, 아무도 대답하지 않았습니다문제였던 건 늘 쓰던 웹 대시보드 서비스였습니다. systemd에는 active로 뜨고, 연결을 기다리는 포트는 LISTEN 상태, 표로는 완벽했거든요. 그런데 curl로 요청을 보내면, 아무 대답 없이 시간만 흘러 타임아웃이 났습니다. ss로 소켓 상태를 들여다보니, 사건의 크기가 나왔습니다. LISTEN 포트의 수신 대기열인 Recv-Q에 406개가 쌓여 있었고, 이미 끊긴 연결이 CLOS..

공부/인공지능 2026.11.06

API server down 경보를 받고 서버를 의심했습니다 — 로그가 거짓말한 겁니다

새벽에 알림 하나가 떴습니다. "API server down". 에이전트를 백본으로 살아가는 사람한테 이 문장은 심장이 내려앉는 문구입니다. 바로 SSH로 서버에 붙어서 점검을 시작했습니다. 프로세스가 죽었겠거니 하는 마음으로요.서버는 말짱했습니다먼저 포트를 확인했습니다. ss -tlnp | grep 18642 돌아온 포트는 멀쩡히 LISTEN 상태였습니다. hermes status 점검도 플랫폼 정상이었고요. API 서버는 OpenAI 호환 HTTP 엔드포인트 0.0.0.0:18642으로 정상 구동 중이었고 응답도 잘 돌아오고 있었습니다. 그러니까 다운은 사실이 아니었습니다. 서버는 살아있었습니다. 그런데 이대로 "다행입니다"로 넘길 수가 없었습니다. 경보는 꽤 자신 있게 down을 외쳤고, 그 외침의..

공부/인공지능 2026.10.18