TechToast

수업 챗봇 QA를 자동으로 증식시켰는데 아무것도 안 늘었습니다

오전 7시의 약속 — 위키가 스스로 자라기로 했습니다우리 연구실에는 학생의 질문을 수업 위키에서 검색해서 답해주는 챗봇이 있습니다. 흠은 처음부터 뻔했습니다. 위키에 없는 것을 물리면 조용해진다는 점이지요. 답을 모르니 모른다고 할 수밖에 없는데, 그걸 그냥 둘 수가 없어서 위키가 스스로 먹이를 먹이는 파이프라인을 만들었습니다. 매일 아침 7시, 제가 출근하기 전에 어제의 채팅 로그를 소화시키는 크론 잡입니다. 약속은 한 줄입니다. 한 번 나온 질문은 위키에 남아서, 다음에 같은 걸 물은 학생은 바로 답을 받는다는 것이지요. 흐름은 이렇습니다. 학생 질문을 모아서 수업 자료 관련인 것만 고른 뒤, 위키에서 검색을 걸어 봅니다. 점수가 충분히 높게 나오면 그 페이지의 '자주 묻는 질문' 절로 승격시키고, ..

5일 연속 크론 4개가 죽었는데 알림은 0건이었습니다

매일 돌던 크론 4개가 5일 연속으로 실패했고, 실행 로그에는 17건이 남아 있었습니다. 그런데 그 사이에 제가 받은 알림은 0건이었습니다. 추정치가 아니라 로그 데이터를 직접 훑어서 나온 숫자이고, 크론 설정을 점검하다가 우연히 열어본 날에야 비로소 알게 됐습니다. 그날 열어보지 않았더라면, 이 침묵은 열흘은 더 이어졌을 가능성이 큽니다. 알림이 사라진 게 아니라, 실패를 세는 장치가 없었습니다대상은 세컨드브레인 유지를 맡은 크론 4개였습니다. 하루의 세션을 증류하는 것, 인덱스 파이프라인을 지키는 워치독, 아침에 온몸을 정비하는 것, 밤에 지식을 승격시키는 것 — 매일 빠짐없이 도는 것들이었습니다. 10월 26일부터 네 개가 한꺼번에 쓰러졌고, 로그에 남은 오류는 전부 한 줄로 똑같았습니다. 모델 서..

정부 R&D 과제의 1단계 단계보고서를 제출하기 직전에, 마지막 점검을 기계에게 시켰습니다. 과제는 영상 품질을 평가하는 AI를 개발하는 것이고, 수정본을 PDF로 렌더하면 87쪽, 파일로 14.6MB쯤 되는 문서입니다. 이미 다른 심사자의 1차 검토를 받아서 그 지적은 전부 반영한 상태였기에 마음은 반쯤 편했습니다. 반쯤이라고 쓴 데는 이유가 있습니다. 여기서 사람의 고질적인 문제가 나옵니다. 자기가 쓴 글을 눈으로 읽으면 뇌가 자동으로 고쳐서 봅니다. 방금 고쳐놓은 자리는 고쳤다는 기억이 먼저 와서 틀린 게 안 보입니다. 워드프로세서로 쓴 자기 원고를 교정하면 오타가 안 보이는 것과 같은 이치라, 마지막 점검은 원고에 기억이 없는 존재에게 넘기는 편이 정직합니다.검토에게 넘긴 다섯 가지기계에게 문서를..