TechToast

  • 홈
  • 태그
  • 미디어로그
  • 위치로그
  • 방명록

vllm 1

[세컨드브레인 개발기] 16. 122B와 27B — 커도, 빠른 것도 다 이긴 건 아니었다

15편 마지막에 122B 모델로 갈아탔다. 큰 모델로 바꾸면 다 나아질 거라 믿었다. 직접 비교해 보니, 더 큰 모델이 이긴 건 속도뿐이었다. 지능은 아니었다. 이 머신에는 사실 두 개의 후보가 있었는데, 크기로 보면 122B, 품질로 보면 27B였다. 그 둘을 이 머신에서 실제로 재보고 정리한 기록이다.올리고 나서 좋은 말만 적어뒀다122B를 올리던 시절의 기록에는 좋은 말만 가득하다. 모델 항목에는 "122B는 훨씬 똑똑함", 품질에는 "프런티어급"이라고 적혀 있고, 속도는 85~90 tok/s로 목표였던 81을 넉넉히 넘겼다. 컨텍스트도 256K로 늘었다. 기록을 읽으면 이 머신이 최고의 선택을 한 것처럼 보인다. 어느 것 하나 틀린 말은 아니었다. 숫자도 사실이었다. 문제는 그 숫자들이 항상 나오..

공부/인공지능 16:41:14
이전
1
다음
더보기
프로필사진

TechToast

가랑비에 옷 젖듯 글쓰기.

  • 분류 전체보기 (56) N
    • 공부 (22) N
      • 의료영상처리 (0)
      • 인공지능 (16) N
      • 텍스트 (1)
      • 잡소리 (5)
    • 리뷰 (25)
      • 제품 (11)
      • 여행 (0)
      • 기타 (14)
    • 모디아 프로젝트 (6)

Tag

Rag, 예비부부교실, 건강가정지원센터, IRB, 중랑자원봉사센터, 임상종사, vllm, Duet Display, 듀엣 디스플레이, 신부의정원, 무선이어폰, 서울가족학교, 아벤티움, ChatDev, ai 에이전트, 세컨드브레인, Pamu Scroll, 세컨드브레인 개발기, 122B, BM25,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/08   »
일 월 화 수 목 금 토
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Daum Corp. All rights reserved.

티스토리툴바