TechToast

  • 홈
  • 태그
  • 미디어로그
  • 위치로그
  • 방명록

2026/11/14 1

유휴 2080 두 장에 뭘 넣을까 — 64K로 줄이니 1.5배 빨라졌습니다

선풍기만 돌던 구형 데스크톱 하나를 가지고 있었는데, 그 안에 VRAM 8GB짜리 카드가 두 장 꽂혀 있었습니다. 하는 일 없이 놀고 있었으니 버리자니 아깝고 굴려보자니 걱정되는 상태였죠. 먼저 숫자부터 말씀드립니다. Qwen 35B-A3B를 262K 풀컨텍스트로 올려보니 생성 속도가 13.5~14 tok/s였습니다. 손댄 것은 컨텍스트를 64K로 줄이고 배치를 정하는 플래그 두 개뿐이었어요. 모델을 바꾼 적도, 하드웨어를 산 적도 없는데 속도는 1.5배가 났습니다.놀고 있던 카드 두 장대상 머신은 윈도우 워크스테이션 한 대입니다. 튜링(Turing) 세대의 RTX 2080 Super를 두 장 꽂아두고 RAM은 32GB인 기계로, 몇 년째 별다른 작업 없이 부팅만 되던 상태였어요. 계획은 이 두 장에 Q..

공부/인공지능 19:24:22
이전
1
다음
더보기
프로필사진

TechToast

가랑비에 옷 젖듯 글쓰기.

  • 분류 전체보기 (100) N
    • 공부 (65) N
      • 의료영상처리 (0)
      • 인공지능 (59) N
      • 텍스트 (1)
      • 잡소리 (5)
    • 리뷰 (25)
      • 제품 (11)
      • 여행 (0)
      • 기타 (14)
    • 모디아 프로젝트 (6)

Tag

벤치마크, Rag, LLM, HERMES, vllm, 모니터링, 오픈웨이트, 로컬 LLM, 트러블슈팅, 크론, ai 에이전트, llama.cpp, 헤르메스, LLM서빙, deepseek, LiteLLM, 세컨드브레인, DGXSpark, 메모리, 음성AI,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/11   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Daum Corp. All rights reserved.

티스토리툴바