TechToast

27B에 귀를 달아봤더니 웨이트에 귀가 없었다 — 오픈웨이트 0.6B에서 찾았습니다

실시간 음성대화 모드로 음성비서를 굴리고 있는데(그 음성 지연 병목을 뜯었던 글은 여기 있습니다), 아주 상식적인 질문이 하나 떠올랐습니다. 비전용 mmproj 어댑터는 그렇게 잘 붙는데, 오디오도 붙이면 STT 서버 단계를 통째로 줄일 수 있지 않을까요. 그래서 로컬 27B의 웨이트를 직접 열어봤습니다.config.json이 정직했습니다할 일은 단순했습니다. 허브에서 config.json을 받아 키 목록을 본 것뿐입니다. 오늘 직접 curl로 실측한 결과입니다. curl -s https://huggingface.co/Qwen/Qwen3.8-27B/resolve/main/config.json | jq 'keys'["architectures", "image_token_id", "language_model_..

프린터도 에이전트가 돌린다 — Kiln이라는 MCP 서버를 우리 프린터 앞에서 재봤습니다

AI 에이전트가 물리 세계의 장비를 움직인다는 말은 이제 남의 세상 소리가 아닙니다. MCP가 퍼지면서 연구실 기계를 에이전트에게 맡기는 시도가 하나둘 나오고 있고, 저 역시 3D 프린터용 오픈소스 프로젝트를 하나 발견했습니다. 이름은 Kiln. 제 노트북에 내려받아 지난 10월 22일 하루, 저희 연구실에 있는 3DWOX DP200(RODIN 펌웨어)에 붙여볼 수 있는지 직접 재봤습니다. 결과는 한 줄로 요약됩니다. Kiln이 준비한 어댑터 8종 중 우리 프린터에 닿는 것은 0개였습니다.Kiln은 설계부터 출력까지 에이전트에게 맡기는 물건입니다Kiln은 오픈소스 MCP 서버이자 CLI입니다. 저장소는 GitHub의 codeofaxel/Kiln이고 라이선스는 AGPL-3.0입니다. 에이전트가 붙으면 프린..

에이전트를 웹앱 런타임으로 쓰려다 접었습니다 — 개발 인부로 쓰니 괜찮았습니다

연구실 논문 관리 웹앱을 하나 만들기로 했습니다. 평소 헤르메스를 붙들고 일하는 사람이다 보니 첫 생각은 당연히 "이걸 헤르메스로 돌리면 안 되나?"였습니다. 결론부터 말씀드리면, 런타임으로는 안 됐습니다. 만드는 일은 헤르메스 서브에이전트로 됐습니다. "앱을 굴리는 놈"과 "코드를 짜는 놈"을 분리하는 데서 이 프로젝트의 설계가 시작됐습니다.헤르메스는 런타임이 아닙니다헤르메스는 단일 사용자 에이전트입니다. 그래서 사람 여럿이 동시에 클릭하는 웹앱의 한복판에 둘 자리가 아니었고요. 에이전트를 통째로 런타임으로 삼으려는 시도는 식당 카운터에 집사 한 분을 세우는 격이었습니다. 집사는 유능한데, 시스템이 안 맞습니다. 그래서 앱 자체는 FastAPI 백엔드와 React 프런트로 따로 지었습니다. 앱 안의 '..

title: 29개 서비스를 대시보드 한 장에 모았더니, 외면하던 503의 정체가 보였다tags: [서버 운영, 모니터링, 파이썬, 비동기]category: 공부/인공지능 (1015747)visibility: public 랩의 웹 서비스들이 여기저기 흩어져 있었습니다. 본 서버에도 여러 개, LLM을 서빙하는 기계에도 하나, 라즈베리파이 두 대에도 화면들이 있습니다. 세어보니 본 서버까지 일곱 대에 걸쳐 있었지요. "이거 살아있나?"를 확인하려면 브라우저로 하나씩 열어볼 수밖에 없어서, 점검 한 번이 온통 클릭이었습니다. 그래서 아예 목록을 세어보기로 하고 포트 스캔부터 돌렸습니다.기억 대신 포트 스캔이 준 목록본 서버의 리스닝 포트와 systemd 유닛, 도커 컨테이너를 싹 훑고, 원격 노드들에 띄워둔..

논문 투고를 하다 보니 그림 작업이 따로 노동이었습니다. 본문은 다 써놓고도 라벨이 어디서 겹치나 며칠이고 씨름하게 되거든요. 그래서 헤르메스 안에 그림만 그리는 전용 에이전트를 만들어보기로 했습니다. 막상 쪼개보니 이야기는 두 갈래로 갈렸습니다. 손에 있는 숫자로 matplotlib 그림을 그리는 데이터 피규어 쪽 하나, 배경 그림이나 이미지 편집 같은 생성형 쪽 하나였습니다. 데이터 피규어는 기존 논문 작성 에이전트에 스킬로 흡수해서 순조롭게 자리 잡았어요. 골칫덩이는 생성형 쪽이었습니다. 오픈웨이트 모델을 로컬에 올려보려다 기술 벽과 법적 벽에 연속으로 막혔습니다. 그림 요정을 따로 앉혔습니다프로파일을 분리한 이유는 지극히 실무적이었습니다. 컨텍스트 오염이에요. 이미지 생성 작업은 대용량 출력(Bl..

저널에서 오는 심사 초대 메일이 매일 쌓입니다. 작년부터 Gmail을 감시하는 크론을 돌려서 초대 편지들을 JSON 파일 하나로 뽑아두기만 했는데, 오늘 실측으로 추적 중인 건이 75건이었습니다. 정작 그 논문들을 Zotero 서지관리 컬렉션으로 옮기는 일은 계속 손으로 하고 있었습니다. 감시는 자동이고 분류는 수동이라, 하루에 10분씩 새는 구멍이 이번 작업의 대상이었습니다. Zotero에는 공식 CLI가 없습니다시작 전에 생태계를 조사해 봤는데, Zotero 공식 CLI는 존재하지 않습니다. 없어서 없는 걸 만든 셈이고, 결국 커뮤니티 도구인 54yyyu/zotero-mcp를 고르게 됐습니다. PyPI 패키지명은 zotero-mcp-server이고, 버전은 0.15.1로 고정했습니다. 고정해두지 않으..

헤르메스가 세컨드브레인을 검색할 때는, 사실 검색 도구를 떠올린 턴에만 검색합니다. 브레인 자체는 살아 있습니다. 52.5만 벡터짜리 색인에 물으면 답도 잘 찾아옵니다. 그런데 에이전트가 도구 호출을 잊는 순간, 있는 건 없는 거나 마찬가지가 됩니다. 사무실 지하에 문서를 잔뜩 쌓아놓고 책상 위에는 아무것도 붙여두지 않은 격입니다. 내려가서 꺼내 오지 않으면 끝내 안 읽히는 메모, 그게 제 세컨드브레인이었습니다. 그래서 시맨틱 회상을 매 턴 자동으로 주입되는 메모리 프로토콜 쪽으로 집어넣어 보려 했습니다. 그리고 시작하자마자 벽에 부딪혔습니다. 외부 메모리 슬롯은 하나뿐이었습니다헤르메스의 메모리 시스템은 MemoryProvider라는 인터페이스 규격으로 만들어져 있습니다. 지금 기억을 SQLite에 쌓는..

한 줄 요약부터. DeepSeek의 새 모델 '1017'(V4.1-Flash-1017)을 우리 GB10 두 대에 EXL3 2.9bpw 포맷으로 올려서 서빙 엔진을 바꿔가며 실측했습니다. TensorFold가 디코드는 vLLM보다 1.6배 빨랐는데, 커뮤니티에서 돌던 2.1~2.3배 주장 그대로는 재현되지 않았습니다. 우리가 느려서가 아니라 기준선이 빨랐습니다. 그리고 이번 실험에서 제일 중요한 걸 하나 확정했는데, 모델 카드에 적힌 1M과 두 대가 실제로 주는 1M은 다른 문장이라는 점입니다. 1017이 어떤 모델이고, 어떻게 올렸나1017은 10월 17일에 나온 DeepSeek V4.1-Flash-1017입니다. 모델 카드가 발표한 주요 수치로는 Terminal-Bench가 직전 버전의 31.2에서 4..

새벽에 알림 하나가 떴습니다. "API server down". 에이전트를 백본으로 살아가는 사람한테 이 문장은 심장이 내려앉는 문구입니다. 바로 SSH로 서버에 붙어서 점검을 시작했습니다. 프로세스가 죽었겠거니 하는 마음으로요.서버는 말짱했습니다먼저 포트를 확인했습니다. ss -tlnp | grep 18642 돌아온 포트는 멀쩡히 LISTEN 상태였습니다. hermes status 점검도 플랫폼 정상이었고요. API 서버는 OpenAI 호환 HTTP 엔드포인트 0.0.0.0:18642으로 정상 구동 중이었고 응답도 잘 돌아오고 있었습니다. 그러니까 다운은 사실이 아니었습니다. 서버는 살아있었습니다. 그런데 이대로 "다행입니다"로 넘길 수가 없었습니다. 경보는 꽤 자신 있게 down을 외쳤고, 그 외침의..

헤르메스 데스크톱에 음성 대화를 붙였습니다. 제 목소리를 받아 적고, LLM이 생각하고, 다시 목소리로 답해 주는 구성입니다. ChatGPT 음성 모드처럼 바로 대답이 나올 줄 알았는데, 실제로는 답이 한 박자 늦었습니다. 말을 끝내면 음... 소리가 나오기까지 1, 2, 3초가 뜸하거든요. 반응은 있으니 고장이라 하기엔 애매했고, 그냥 느린 것이었습니다. 여기서 다들 하는 짐작이 있습니다. 입력도 음성이고 출력도 음성이니 STT(음성을 텍스트로 바꾸는 단계)나 TTS(텍스트를 음성으로 바꾸는 단계)부터 의심하게 되죠. 그런데 로컬 음성 스택(whisper + Kokoro)을 하나씩 붙여 보며 잡아 본 병목은 그 둘이 아니었습니다. STT는 거의 즉답이었고 TTS는 스트리밍으로 말하기 시작하는데도, 첫 ..