27B 모델을 분류에 쓰던 걸 9B 스코어링 모델로 갈아끼우기메일을 실시간으로 분류하는 작업에, 27B급 일반 생성 모델을 프롬프트와 JSON 출력 규칙으로 이끌어 흉내 내던 구조를 쓰고 있었습니다. 그런데 이걸 토큰을 한 글자도 뱉지 않고 확률 하나만 내놓는 9B 스코어링 분류 모델로 갈아끼웠더니, 더 빨라지고 더 정확해졌습니다. 분류처럼 고정된 라벨 집합에 하나만 매기면 되는 정해진 일에는, 큰 모델보다 작업에 특화된 작은 모델이 오히려 유리하다는 결론이 나왔습니다. 라이선스와 하드웨어 함정까지 실제로 부딪혀 가며 비교한 이야기를 풀어보겠습니다. 왜 거대한 생성 모델로 분류를 흉내 냈을까"일반 LLM에 프롬프트와 JSON 출력을 시키면 뭐든 된다"는 패턴은, 로컬 LLM을 만지는 사람이라면 한 번쯤 ..