TechToast

H3를 직접 돌려봤다. Wan 2.2와 스프라이트 7모션 비교 (레고 로봇)

핑크팬더 글에 이런 말을 남겼다. H3는 33B+32B 규모라 로컬 구동이 어려우니 Wan으로 대신한다고. 그런데 8월 초, 미니맥스 H3가 오픈웨이트로 풀렸다. 게이트가 열려 있었다. 리모트 서버에 ComfyUI와 H3를 얹는 작업도 다른 세션에서 끝나 있었다. "H3를 직접 쓰면 결과가 어떻게 다를까"가 궁금해졌다. 예전에 만든 레고 스타일 주황 로봇을 꺼내 7모션을 뽑았다. 앞으로 걷기, 뒤돌기, 점프, 주저앉기, 총쏘기, 망치 휘두르기, 죽어서 부서지기다. Wan 2.2와 같은 조건으로 돌려 비교했다. 지난번에 Wan으로 같은 파이프라인을 돌렸으니, 비교 기준이 이미 잡혀 있었다. 한 가지 짚고 간다. H3 라이선스는 미국·EU·영국·한국 사용자에게 별도 신청서를 요구한다. 모델 규모도 33B(O..

게임 스프라이트를 로컬 Wan 2.2로 뽑아봤다. (핑크팬더 5모션)

게임 스프라이트를 로컬 Wan 2.2로 뽑아봤다. (핑크팬더 5모션)게임 스프라이트를 AI 영상으로 만든다는 얘기를 들었다. 모탈컴뱃 제작진이 실제로 쓴 방식이라고 한다. 영상 생성 모델을 배우로 쓰는 것이다. 배우에게 동작을 찍게 하고, 크로마키로 배경을 지우고, 키프레임을 뽑아 아틀라스로 묶는다. 옛날 제작진이 실제 배우를 찍어 스프라이트를 그렸다는 이야기가 화제가 됐었다. 그 자리를 영상 모델이 대체하는 셈이다. 트렌드시프트에서 그 워크플로우를 에이전트 스킬로 만든 걸 봤다.gary149/h3-game-sprites다. H3(Hailuo/MiniMax)로 모션 클립을만들고 크로마키, 키프레임 추출, 아틀라스까지 전부 대신 해준다. Hermes 스킬로 설치하니 금방 돌았다.흐름 자체는 깔끔해서, H3..

DGX Spark 2대, 1M 컨텍스트 도전기. (Qwen3.8-Flash-Next day-0)

주력 모델 기준은 처음부터 고정이었다. 1M 토큰, 그리고 어느 정도의 멀티유즈. 하드웨어는 DGX Spark 2대. GB10 에 128GB 통합 메모리를 품은 기기를 200Gbps RoCE 로 엮은 것. 결론부터 말한다. 262K 서빙은 성공했고, 300K needle 도 통과했다. 완전 1M 은 아직 아니다. prefill 을 약 365K 처리하는 지점에서 멈췄다. 부분 성공, 한계는 명확하게 잡힌 상태다. 이 글은 그 지점까지의 막힌 기록이다.day-0 스택Flash-Next 는 125B MoE, 토큰당 실제로 움직이는 것은 6B. 옆에 51B 크기의 n-gram 임베딩 테이블이 붙어 있다. 어텐션은 4 레이어. 히스토리를 고정 크기 상태로 압축하는 GDN 이 3개, Qwen Sparse Atten..

[세컨드브레인 개발기] 16. 122B와 27B — 커도, 빠른 것도 다 이긴 건 아니었다

15편 마지막에 122B 모델로 갈아탔다. 큰 모델로 바꾸면 다 나아질 거라 믿었다. 직접 비교해 보니, 더 큰 모델이 이긴 건 속도뿐이었다. 지능은 아니었다. 이 머신에는 사실 두 개의 후보가 있었는데, 크기로 보면 122B, 품질로 보면 27B였다. 그 둘을 이 머신에서 실제로 재보고 정리한 기록이다.올리고 나서 좋은 말만 적어뒀다122B를 올리던 시절의 기록에는 좋은 말만 가득하다. 모델 항목에는 "122B는 훨씬 똑똑함", 품질에는 "프런티어급"이라고 적혀 있고, 속도는 85~90 tok/s로 목표였던 81을 넉넉히 넘겼다. 컨텍스트도 256K로 늘었다. 기록을 읽으면 이 머신이 최고의 선택을 한 것처럼 보인다. 어느 것 하나 틀린 말은 아니었다. 숫자도 사실이었다. 문제는 그 숫자들이 항상 나오..

14편은 빚을 남기고 끝났다. "공식이 없으면 설명할 수 없는 숫자"라고 쓰고, 이 이야기는 다음 편에서 풀어야겠다고 했다. 이 편은 그 빚을 갚는 편이고, 그러다 보니 아직 아무 편에도 안 나온 이야기, 이 박스의 주력 자리에 맨 처음 뭐가 있었는지도 같이 쓰게 됐다. 2개월, 주력 자리는 세 번 바뀌었다. 27B 에서 35B-A3B 로는 속도로, A3B 에서 27B 로는 품질로, 27B 에서 122B 로는 컨텍스트로. 그리고 그 앞, 27B 가 주력이 되기 전의 구간은 기록이 제일 얇은 곳이다. 어떤 교체는 날짜가 있고 어떤 교체는 날짜가 없고, 사유도 기록에 있는 게 있고, 기록에 없다고밖에 쓸 것이 없는 게 있다. 제일 얇은 데부터, 순서대로 따라가 보자. 시점모델양자화실측 속도바꾼 이유06-21..

이 시리즈의 3부는 에이전트가 창고를 쓰는 이야기였다. 그리고 그 마지막 편에서, 나는 하나의 빚을 남기고 3부를 닫았다. 그 무렵 Hermes 의 브레인은 27B 였고, 그 27B 가 왜 그렇게 느렸는지는 다음 부에서 풀겠다고 했다. 그보다 더 일찍, 12편에서도 같은 질문을 접어둔 적이 있다. 모델이 느리다는 것 자체는 확인했는데, 왜 하필 그 모델이 그렇게 느린지는, 모델의 문제라기보다 그것을 올린 기계가 초당 얼마를 읽어낼 수 있느냐의 문제라며, 그 자리에서는 접어두었다. 이제 4부가 시작됐으니 그 빚을 갚는다. 이 편의 주제는 하드웨어다. 창고도, 에이전트도, 도구도 아닌, 그 모든 것이 올라가 있는 박스 하나의 물리적 특성이, 왜 모델 선택을 지배했는지에 대한 이야기다. 결론을 먼저 말하면, ..

2023년 7월, 중국 칭화대학 NLP 연구소가 챗GPT만으로 게임회사를 하나 세웠다. 쑨마오쑹 교수 지도 아래 만든 시연인데, 회사 이름은 ChatDev, 게임타이쿤에나 나올 법한 구성을 그대로 갖췄다. CEO부터 CTO, CPO, CRO, 프로그래머, 디자이너까지, 회사의 모든 직원이 전부 ChatGPT 봇이다. 회사에 아이디어 하나만 던져주면 설계부터 프로그래밍, 테스트, 문서화까지 전 과정을 AI가 알아서 완성하고, 사람이 개입하는 유일한 지점은 초기 아이디어 제공뿐이라는 게 이 시연의 핵심이었다. 게임 하나를 만드는 데 평균 409.84초, 약 7분이 걸렸고, 가장 빠를 때는 3분도 안 걸렸다. 게임당 평균 48.5K 토큰, 비용은 평균 0.2967달러. 30센트도 안 되는 돈으로 게임 한 편이..

지난 편에서 남은 질문이 하나 있었다. 브리지가 살아나고, 대답이 3분에서 15초로 내려오고 나니, 이제는 그 에이전트에게 일을 얼마나 맡길 수 있을까였다. 여태까지는 에이전트가 질문을 받고 답하는 쪽만 보고 있었는데, 슬랙 저편에서 스스로 판단해서 뭔가를 만들어 내는 모습은 한 번도 본 적이 없었다. 감으로 답하지 않으려고, 일을 실제로 던져봤다. kanban 보드에 다섯 개의 태스크를 올리고, 세 명의 워커에게 나눠 주고, 밤 열 시 반부터 새벽 한 시까지 지켜봤다. 그 실측이 이 편의 전부다. 결론부터 말하면, 일을 끝까지 해내는 경우와 중간에 죽는 경우가 갈리는 지점이 꽤 선명하게 보였고, 그 경계는 내가 처음에 그었던 것과는 조금 다른 곳에 있었다.무슨 일을 던졌나그 무렵 Hermes 의 브레인..

지난 편에서, 플랫폼을 Hermes 로 갈아타고 브리지가 다시 살아났다고 했다. 살아나기는 했는데, 그다음 문제가 바로 그 자리에서 기다리고 있었다. 대답이 오는 데 걸리는 시간이었다. 슬랙에 질문을 던지면, 입력 표시는 뜨는데 대답이 오기까지 꼬박 3분이 걸렸다. 죽어 있는 것도 아니고, 살아 있는 것도 아니고, 그 중간 어딘가에서 하염없이 기다리는 상태였다. 지난 편에서도 썼지만, 플랫폼을 바꾸는 일은 그 자체로 끝이 아니라 그 위에서 문제가 어디서 나는지가 달라지는 일이다. 이번에는 그 문제가 통로가 아니라 시간이었다. 이 편은 그 3분을 세 번에 걸쳐 고친 이야기다. 같은 증상을, 세 번, 서로 다른 이유로. 하나씩 겹을 벗겨보자.첫 번째 겹 — 모델이 느리다그 무렵 Hermes 의 브레인은 ed..

지난 편에서, 브레인에 MCP 를 달고, 에이전트가 창고에 쓰는 손을 얻었다고 했다. 그런데 그 이야기에는 전제가 하나 숨어 있다. 창고를 쓰는 쪽, 즉 에이전트가 제대로 서 있어야 한다는 전제다. 3부가 묻는 것은 창고를 쓰는 쪽이 누구인가인데, 그 쪽을 통째로 갈아탄 일이 이 편의 중심이다. MCP 가 붙은 뒤로 얼마 지나지 않아, 에이전트 플랫폼을 OpenClaw 에서 Hermes 로 바꿨다. 이유는 하나, 남의 버그였다. 지난 편 끝에서 예고한, 겉으로는 읽는 일을 하는 것처럼 보이면서 뒤에서 사람의 몫을 하던 도구들의 이야기는 그다음 편에서 풀기로 하고, 이 편은 그 도구들이 달려 있던 플랫폼의 이야기다. 하나씩 보자.게이트웨이와 페어링그때까지 에이전트 플랫폼으로 쓰던 것은 OpenClaw 였다..