TechToast

  • 홈
  • 태그
  • 미디어로그
  • 위치로그
  • 방명록

2026/10/07 1

27B 모델을 분류에 쓰던 걸 9B 스코어링 모델로 갈아끼우기

27B 모델을 분류에 쓰던 걸 9B 스코어링 모델로 갈아끼우기메일을 실시간으로 분류하는 작업에, 27B급 일반 생성 모델을 프롬프트와 JSON 출력 규칙으로 이끌어 흉내 내던 구조를 쓰고 있었습니다. 그런데 이걸 토큰을 한 글자도 뱉지 않고 확률 하나만 내놓는 9B 스코어링 분류 모델로 갈아끼웠더니, 더 빨라지고 더 정확해졌습니다. 분류처럼 고정된 라벨 집합에 하나만 매기면 되는 정해진 일에는, 큰 모델보다 작업에 특화된 작은 모델이 오히려 유리하다는 결론이 나왔습니다. 라이선스와 하드웨어 함정까지 실제로 부딪혀 가며 비교한 이야기를 풀어보겠습니다. 왜 거대한 생성 모델로 분류를 흉내 냈을까"일반 LLM에 프롬프트와 JSON 출력을 시키면 뭐든 된다"는 패턴은, 로컬 LLM을 만지는 사람이라면 한 번쯤 ..

공부/인공지능 2026.10.07
이전
1
다음
더보기
프로필사진

TechToast

가랑비에 옷 젖듯 글쓰기.

  • 분류 전체보기 (100)
    • 공부 (65)
      • 의료영상처리 (0)
      • 인공지능 (59)
      • 텍스트 (1)
      • 잡소리 (5)
    • 리뷰 (25)
      • 제품 (11)
      • 여행 (0)
      • 기타 (14)
    • 모디아 프로젝트 (6)

Tag

llama.cpp, deepseek, ai 에이전트, HERMES, LLM, LLM서빙, 벤치마크, 모니터링, 로컬 LLM, 헤르메스, 크론, 오픈웨이트, 트러블슈팅, LiteLLM, vllm, 음성AI, 메모리, DGXSpark, 세컨드브레인, Rag,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/10   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Daum Corp. All rights reserved.

티스토리툴바