잭 도시의 그 음성 모델, 뉴스에선 오픈소스라던데 공식 페이지에 웨이트가 없었습니다
어젯밤 뉴스 피드에 잭 도시의 블록(Block)이 내놓은 음성 모델 Dessa 데모 클립이 올라왔습니다. 들으면서 말하는 음성 AI인데, 클립은 실제로 엄청 실시간처럼 보였습니다. 한글이 가능할지가 첫 질문이었고, 그 위에 '오픈소스'라는 표현까지 붙어서 돌고 있었습니다. 그래서 공식 페이지 block.xyz/dessa 를 직접 열어서 항목별로 확인했습니다. 결론부터 말씀드리면 실시간(풀듀플렉스)은 맞고, 오픈소스는 아니며, 한글은 현 시점 불가입니다. 오늘(10-29) 공식 페이지와 TechCrunch, Hugging Face, GitHub를 라이브로 다시 확인해서 정리했습니다.
Dessa는 음성으로만 말을 배운 모델입니다
Dessa는 10월 23~24일에 공개됐고, 블록 안의 초소형 AI 연구랩 작품입니다. 토론토의 딥러닝 스타트업 Dessa 출신들이 세운 랩이고, 잭 도시에게 직보고하며 리드는 Ragavan Thurairatnam입니다.
핵심 키워드는 speech-native입니다. 텍스트 프리트레인 없이, 사람 음성 대화 소리로만 처음부터 학습했습니다. 흔히 보는 음성 AI는 STT로 음성을 텍스트로 바꾸고, LLM이 생각하고, TTS가 다시 소리로 만드는 캐스케이드 구조인데, Dessa는 그 한가운데 텍스트 자체가 없는 audio-in/audio-out 구조입니다. 비유하자면 전자가 한국말로 듣다가 영어로 생각해서 한국어로 되돌려 말하는 동시통역 순서이고, Dessa는 그 언어를 태어나면서부터 듣기 시작해서 말하는 사람에 가깝습니다.
들으면서 말하는 구조도 그대로입니다. 상대가 문장을 깰 때 끼어드는 barge-in, 대화 중에 "yeah!", "got it!" 하고 넘어가는 맞장구(backchannel), 문장 중간 웃음까지 데모에 자연스럽습니다. 공식 페이지의 데모 6개는 사후 자막만 붙인 라이브 녹음 클립이고, 길이는 1:52~4:57입니다. 추론이 실시간보다 빠르고 MacBook Pro M4 Max 이상이면 로컬에서 돈다는 것도 페이지 쪽 주장으로 적혀 있습니다. 학습 컴퓨트는 NVIDIA GB200 NVL72 랙 1대라고 명시했는데, 이건 그래픽카드 한 장이 아니라 GPU 72장을 랙 단위로 묶은 시스템입니다. "랙 하나"라는 숫자만 공개됐고 세부 구성은 없습니다.
가장 도발적인 문장은 LLM 대비 수백 배 적은 단어로 언어를 습득했다는 주장입니다. 다만 절대 수치(단어 수나 코퍼스 규모)는 미공개이고, "새 언어를 얼마나 효율적으로 배우는가"는 공식 페이지가 스스로 오픈 리서치 퀘스천으로 올려놓은 부분입니다.
팩트체크 결과, 페이지에 웨이트가 없습니다
오늘 직접 확인한 결과는 이렇습니다. 웨이트 비공개, 파라미터 수 비공개, 라이선스 비공개, API 비공개, 벤치마크 수치 비공개. 공식 페이지에 있는 건 데모 클립과 "Join the waitlist" 폼뿐입니다. 얼리 액세스는 안전 연구자 소그룹에만 준다고 적혀 있고, 페이지 하단은 "Launch links are coming soon"으로 마무리됩니다.
커뮤니티가 기사보다 빨랐습니다. r/AIDiscussion과 r/speechtech에서 GitHub와 Hugging Face를 직접 검색해서 Block/Dessa의 음성 저장소가 애초에 없다는 걸 확인했고, r/speechtech에는 "Dessa download"를 파는 사이트는 전부 가짜라는 경고 공지까지 걸려 있습니다. 피드에 돈 "오픈소스"라는 표현은 커뮤니티 오해에서 퍼진 것으로, 저장소 검색 두 번이면 걸러지는 정보였습니다.
벤치마크가 0개인 기술 프리뷰 상태이니 검증 수단은 큐레이션된 클립이 전부입니다. 데모에 "Explicit language" 표기가 붙을 만큼 선별 공개 성격이 짙고, The Verge 쪽에서 "uncanny"라는 반응도 있었지만 제가 직접 청취할 수 없어서 인용은 보류하겠습니다.
위 그림: 오늘 직접 재확인한 8개 항목의 공개 상태입니다. 점이 채워지면 공개, 반은 부분, 비어 있으면 비공개입니다. Dessa는 8개 항목 중 학습 데이터의 성격 하나가 부분일 뿐 나머지가 전부 비어 있고, PersonaPlex 쪽은 만져볼 수 있는 항목들이 채워져 있습니다.
지금 진짜로 만져볼 수 있는 쪽은 NVIDIA PersonaPlex-7B입니다
같은 시기 피드에서 두 모델이 한 묶음처럼 도돌이표로 돌아서 혼동이 쉬운데, "오픈소스"라는 말이 오히려 들어맞는 쪽은 NVIDIA의 PersonaPlex-7B입니다. Hugging Face의 nvidia/personaplex-7b-v1에 이미 웨이트가 있어서 라이선스 동의 게이트를 넘으면 다운로드할 수 있습니다. 다만 여기서 경계는 분명히 해야 합니다. GitHub 코드가 MIT 라이선스이고 웨이트는 NVIDIA Open Model License이므로, "MIT 웨이트"로 뭉뚱그리면 부정확해집니다. 베이스 모델은 kyutai의 Moshi이고 그 라이선스는 CC-BY-4.0입니다.
스펙은 7B 파라미터에 Mimi 코덱, 24kHz 출력, dual-stream full-duplex로 들으면서 말하고 끼어들기와 오버랩을 처리합니다. 페르소나 보이스와 롤 프롬프트로 조건화할 수 있고, 학습 데이터는 합성과 실측 혼합인데 규모는 페이퍼 수준의 정보만 있습니다. 모델카드에 "English speech input → English speech response"라고 명시돼 있는 만큼, 한글은 두 모델 답이 같습니다. 현 시점 불가입니다.
Dessa 쪽은 더 구조적입니다. 학습 코퍼스가 영어 인간 대화이고 데모도 전부 영어이며, 스페인어는 의미 없는 흥얼거림(nonsense Spanish) 클립이 하나 있을 뿐입니다. 텍스트를 매개하지 않는 모델이라 LLM처럼 번역 브릿지로 우회하는 길도 없고, 한국어는 한국어 음성 데이터로 처음부터 다시 학습해야 하는 구조라 새 언어 학습 문제가 곧 바로 직결됩니다. 웨이트가 나와야 한국어 음성 코퍼스 기반 재학습 실험을 잡아볼 수 있습니다.
우리 음성 스택과는 이런 관계입니다
이 두 모델을 유난히 눈여겨본 이유는 노리는 병이 우리 스택의 병이랑 정확히 같기 때문입니다. 저희 랩은 오픈웨이트 0.6B STT → 27B LLM → TTS의 캐스케이드 음성 스택을 굴리고 있고, 프론트(ASR)를 오픈웨이트로 교체하는 작업은 지난 글에서 마쳤습니다. 그 앞에서 음성 지연의 병목을 뜯었을 때는 병이 LLM의 첫 토큰(TTFT)이라는 걸로 확인됐고요.
Dessa와 PersonaPlex가 노리는 건 이 지연 몇 단계가 아니라 캐스케이드 구조 자체입니다. 단일 모델이 3단계를 먹으면 TTFT 문제가 구조적으로 사라지고, 운율이 텍스트에 태워지는 과정의 손실도 사라집니다. speech-native, full-duplex, 로컬 실행의 조합은 첫 사례급이고, 캐스케이드의 정보 손실을 정면으로 짚은 문제의식이 여기까지가 제가 인정한 의의입니다.
대신 한글 미지원이라 우리 스택을 당장 대체할 수는 없습니다. 그래서 순서를 두 갈래로 잡았습니다. Dessa 쪽은 웨이트가 나오는 시점에 한국어 음성 코퍼스로 재학습이 실제로 가능한지를 보는 게 다음 실험이고, 그 전까지는 영문이라도 되는 PersonaPlex를 우리 GPU에 올려서 full-duplex 감(끼어들기와 오버랩이 얼마나 실시간인지)을 맛보기로 벤치하려고 합니다. 워크스테이션에서 도는지, 지연이 얼마인지 숫자로 확인되면 그 결과를 들고 다시 오겠습니다.