Fish Audio 입문 — 로컬 TTS와 보이스 클로닝 설치 및 모델 다운로드
Fish Audio를 처음 접하는 분을 위해 로컬 TTS와 보이스 클로닝을 설명합니다. S2-Pro·Drama 3·S2.1 Pro의 차이, GitHub·Hugging Face Models·Spaces의 역할, 최소 사양과 설치부터 첫 한국어 음성 생성까지 정리합니다.
내 목소리로 녹음한 짧은 파일을 참고해, 새로운 문장을 읽는 음성을 만들 수 있을까요? Fish Audio의 음성 모델은 글을 소리로 바꾸는 TTS와 참고 녹음의 목소리 특성을 반영하는 보이스 클로닝을 지원합니다. 내 컴퓨터에 실행 프로그램과 모델 파일을 준비해 음성을 생성하는 방식이 로컬 TTS입니다. Fish Speech 공식 소개
처음 시작한다면 웹에서 결과를 들어 보고, 컴퓨터 사양을 확인한 뒤, S2-Pro로 짧은 한국어 음성을 만드는 순서가 좋습니다. 최신 Drama 3는 더 큰 GPU 메모리가 필요합니다. 아래 설치 예시는 공식 문서와 공개 코드를 기준으로 정리했으며, GPU에서 직접 설치·생성해 측정한 사용 후기는 아닙니다.
이 글은 AI 실습실의 설치·음성 과제와 연결됩니다. GPU·메모리와 모델 다운로드 조건을 먼저 확인하고 자신의 PC에서 진행하세요.
로컬 LLM TTS는 어떤 뜻인가요
TTS는 Text-to-Speech의 줄임말로, 입력한 글을 음성으로 읽어 주는 기술입니다. ‘로컬’은 모델의 계산을 내 컴퓨터나 직접 운영하는 서버에서 수행한다는 뜻입니다. 모델 다운로드와 프로그램 설치에는 인터넷이 필요하지만, 준비된 로컬 모델의 음성 생성은 외부 TTS API를 호출하는 방식과 구분됩니다.
Fish Audio S2-Pro는 언어 모델과 유사한 생성 구조로 소리를 표현하는 토큰을 예측하고, 오디오 코덱이 이를 실제 음성으로 복원합니다. 그래서 ‘LLM 기반 TTS’라고 부릅니다. 코덱은 모델이 만든 숫자 표현을 우리가 들을 수 있는 소리로 바꾸는 구성요소라고 이해하면 됩니다. S2-Pro 구조 설명
예를 들어 입력 문장이 ‘오늘 회의는 오후 세 시입니다’라면, 일반 TTS는 이를 음성으로 읽습니다. 여기에 내 참고 녹음을 넣는 보이스 클로닝은 그 녹음의 음색을 반영해 새 문장을 읽도록 합니다. 원래 녹음의 단어를 잘라 붙이는 작업과는 생성 방식이 다릅니다.
| 용어 | 하는 일 | 처음 사용할 때 필요한 것 |
|---|---|---|
| TTS | 글을 음성으로 생성 | 읽을 문장과 음성 모델 |
| 보이스 클로닝 | 참고 목소리의 특성을 새 음성에 반영 | 참고 녹음과 해당 녹음의 대본 |
| 추론 | 이미 학습된 모델로 결과 생성 | 실행 환경과 모델 가중치 |
| 추가 학습 | 데이터를 이용해 모델 가중치를 변경 | 별도의 학습 환경과 데이터 |
이 글의 실습은 추론 과정에서 참고 음성을 사용하는 방식입니다. 자신의 목소리를 시험하기 위해 처음부터 모델을 다시 학습할 필요는 없습니다. 공식 프로젝트는 S2-Pro의 빠른 음성 복제에 10초부터 30초의 참고 녹음을 안내합니다. 이는 매번 동일한 유사도와 발음을 보장하는 수치는 아닙니다. 공식 보이스 클로닝 설명
Fish Audio와 GitHub 및 Hugging Face를 구분하세요
Fish Audio는 음성 생성·음성 복제·전사 서비스를 제공하는 브랜드입니다. Fish Speech는 공개 모델을 실행하는 코드 프로젝트입니다. 웹사이트 이용과 로컬 실행은 준비물과 비용 계산이 다릅니다. Fish Audio 서비스, 공식 코드 저장소
| 방문할 곳 | 역할 | 여기서 할 일 |
|---|---|---|
| Fish Audio 웹·API | 회사가 운영하는 음성 서비스 | 브라우저 체험 또는 API 호출 |
| GitHub의 Fish Speech | 실행 프로그램과 설치 설명 | 소스 코드 받기 |
| Hugging Face Models | 모델 가중치·설정·코덱 배포 | 로컬에 사용할 모델 받기 |
| Hugging Face Spaces | 서버에서 실행되는 체험 앱 | 설치 전에 결과 체험 |
| 로컬 WebUI | 내 컴퓨터의 실행 프로그램을 조작하는 화면 | 로컬 모델로 생성 요청 |
Models는 모델 파일을 받는 곳이고, Spaces는 체험 앱을 사용하는 곳입니다. 공개 Space의 코드를 복사해도 모델 가중치와 GPU가 자동으로 내 컴퓨터에 마련되지는 않습니다. 같은 브라우저 화면이라도 원격 Space와 127.0.0.1의 로컬 WebUI는 계산하는 장소가 다릅니다. Hugging Face Spaces 설명
공식 체험 경로로는 Fish Audio 웹과 fishaudio/Drama-3 Space가 있습니다. 웹·Space에서 들어 본 모델과 내려받은 모델의 이름도 함께 확인하세요. 다른 모델의 체험 결과를 로컬 S2-Pro의 결과로 간주하면 비교가 어긋납니다.
S2-Pro와 Drama 3 및 S2.1 Pro의 차이
현재 공개 프로젝트는 S2-Pro와 Drama 3를 안내합니다. API 문서에서는 S2.1 Pro를 운영용 권장 모델로 소개합니다. 웹·API의 모델 이름과 로컬 모델 다운로드 주소를 연결해 확인하는 것이 버전 선택의 출발점입니다.
| 이름 | 주된 특징 | 이 글에서 다루는 경로 |
|---|---|---|
| S2-Pro | 자연어 음성 제어, 다중 화자, 참고 음성 기반 생성 | 기본 로컬 설치 실습 |
| Drama 3 | 긴 대화·다중 인물 장면, 생성 음성의 부분 편집과 연속 수정 | 고사양 환경용 비교 |
| S2.1 Pro | API 문서가 권장하는 S2-Pro 개선 모델 | 공식 웹·API 이용 안내 |
Drama 3는 35B 전체 파라미터 중 토큰당 3B를 활성화하는 구조로 설명됩니다. 활성 파라미터 수를 보고 3B 모델만큼의 메모리로 실행된다고 계산해서는 안 됩니다. Drama 3 공식 모델 카드
S2.1 Pro의 API 이름을 로컬 설치 명령의 다운로드 대상으로 바꾸어 넣는 것도 피해야 합니다. 아래 실습이 받는 파일은 공개 저장소 fishaudio/s2-pro의 S2-Pro입니다. API 모델 구분
한국어는 S2-Pro 지원 언어에 포함됩니다. 한국어 지원과 내 대본의 자연스러운 발음은 별도로 확인해야 합니다. 그림의 RTF는 음성 길이에 대한 생성 시간의 비율로, 값이 작을수록 같은 길이의 소리를 빨리 만든다는 뜻입니다. 실제 속도는 하드웨어와 실행 설정에 따라 달라집니다. 지원 언어와 성능 측정 조건
최소 사양과 준비 권장치를 나누어 보세요
GPU의 VRAM은 그래픽카드에 있는 메모리이고, 시스템 RAM은 컴퓨터의 일반 메모리입니다. RAM 32GB를 갖춘 컴퓨터가 VRAM 24GB 조건을 충족하는 것은 아닙니다. 설치 전에 GPU 모델과 두 메모리 용량을 따로 확인하세요.
| 실행 방식 | 공식 설치 안내의 기준 | 선택할 때 볼 점 |
|---|---|---|
| 웹·Spaces 체험 | 원격 서버에서 실행 | 로컬 GPU 사양에 앞서 체험 가능 |
| S2-Pro GPU | 요구사항 표에 VRAM 24GB 이상, Linux·WSL 안내 | 이 글의 NVIDIA GPU 설치 기준 |
| S2-Pro CPU | CPU 설치·실행 경로 제공 | 구체적인 최소 CPU·RAM과 실시간 속도는 보장치 미확인 |
| Drama 3 | FP8 기준 VRAM 48GB 이상, NVIDIA GPU | CPU·Apple MPS·AMD ROCm 미지원 |
S2-Pro의 Docker 설명에는 24GB를 권장한다고 표현하지만, 같은 문서 상단 요구사항 표는 24GB 이상을 명시합니다. 처음 설치할 때는 이 표의 기준을 사용하세요. AMD·Intel GPU에는 S2-Pro용 별도 안내가 있습니다. Mac의 통합 메모리도 NVIDIA VRAM 용량과 같은 실행 조건으로 읽으면 안 됩니다. 공식 요구사항과 환경별 안내
S2-Pro 실습용 시스템 RAM 32GB 이상과 SSD 여유 공간 50GB 이상은 준비 권장 추정치입니다. 모델·Python 의존성·다운로드 캐시·결과 파일을 함께 고려한 여유분이며, 공식 최소 사양이나 실측 결과가 아닙니다. CPU 실행의 최소 사양으로 해석하지 마세요.
공식 S2-Pro 저장소는 확인 시점 약 11GB입니다. 디스크에 저장되는 파일 크기와 실행 중 필요한 VRAM은 다릅니다. 커뮤니티의 양자화 모델은 숫자 표현을 줄여 메모리를 절약하는 별도 변형이므로, 지원 실행기·음질·라이선스를 확인하고 공식 원본의 사양과 구분하세요. 공식 모델 파일 목록
S2-Pro 설치와 모델 다운로드
아래는 Linux 또는 Windows WSL의 Ubuntu와 NVIDIA GPU를 기준으로 한 예시입니다. Git·Conda·Node.js와 npm, 호환 NVIDIA 드라이버가 필요합니다. Windows에서는 WSL 안의 터미널에서 진행합니다. CUDA 버전은 드라이버에 맞춰 선택하세요. 공식 설치 순서
도구가 없다면 Microsoft WSL 설치 안내, Conda 설치 안내, Node.js 다운로드를 먼저 따르세요. WSL에서는 Conda와 Node.js도 Ubuntu 환경에 준비하고, 설치 후 같은 터미널에서 conda --version, node --version, npm --version이 동작하는지 확인합니다.
실행 코드와 Python 환경 준비
첫 명령은 음성 처리 도구를, git clone은 실행 코드를 받습니다. 확인한 커밋으로 고정해 아래 예시와 소스를 맞춥니다.
sudo apt install git portaudio19-dev libsox-dev ffmpeg
git clone https://github.com/fishaudio/fish-speech.git
cd fish-speech
git checkout 541566932abbaebcb0a40e562a1f846738383f38
conda create -n fish-speech python=3.12
conda activate fish-speech가상 환경은 이 프로그램의 Python 패키지를 다른 작업과 분리하는 공간입니다. 다음은 공식 문서의 CUDA 12.9 패키지 예시입니다. nvidia-smi로 GPU·드라이버 상태를 확인한 뒤 호환되는 cu126, cu128, cu129를 선택하고, 변경할 때는 아래 두 곳을 함께 바꿉니다.
nvidia-smi
pip install --extra-index-url https://download.pytorch.org/whl/cu129 -e ".[cu129]"
pip install -U "huggingface_hub[cli]"가중치와 코덱 다운로드
실행 코드만 받아서는 생성할 수 없습니다. 아래 명령은 S2-Pro의 확인한 리비전을 checkpoints/s2-pro에 받습니다. codec.pth, 설정과 토크나이저도 함께 필요하므로 일부 가중치 파일만 골라 받지 않습니다. 모델 구성 파일
hf download fishaudio/s2-pro \
--revision 1de9996b6be38b745688de084d87a5633f714e4e \
--local-dir checkpoints/s2-pro--local-dir은 다운로드 폴더입니다. 모델을 받은 것과 모델 서버를 실행한 것은 각각 다른 단계입니다.
WebUI 빌드와 서버 실행
Node.js와 npm이 준비됐다면 화면을 빌드합니다. 이어서 프로젝트 루트에서 서버를 실행합니다. 예시의 127.0.0.1은 같은 컴퓨터에서 접속하는 주소입니다. 공식 WebUI·서버 실행 안내
cd awesome_webui
npm install
npm run build
cd ..
python tools/api_server.py \
--listen 127.0.0.1:8080 \
--llama-checkpoint-path checkpoints/s2-pro \
--decoder-checkpoint-path checkpoints/s2-pro/codec.pth \
--decoder-config-name modded_dac_vq \
--device cuda서버를 실행한 터미널은 유지하고 브라우저에서 http://127.0.0.1:8080/ui를 엽니다. 다른 터미널에서 아래 요청을 보내 {"status":"ok"} 응답도 확인합니다. 화면 접속 후에는 짧은 음성을 실제로 생성해 모델 동작까지 확인하세요.
curl http://127.0.0.1:8080/v1/healthDocker를 선호한다면 공식 이미지는 WebUI를 포함합니다. 모델 폴더 마운트와 GPU 런타임은 별도로 준비해야 합니다. CPU 경로와 Drama 3의 실행 옵션도 다르므로 해당 문서의 모델별 항목을 따르세요. 공식 Docker 안내
첫 보이스 클로닝은 짧은 한국어 문장으로 시작하세요
참고 음성에는 본인이 녹음했거나 사용 허락을 받은 한 사람의 목소리를 사용하세요. 배경 음악·여러 사람의 말·큰 잡음이 적은 짧은 파일을 준비하고, 실제 들리는 내용을 정확히 적습니다. 예를 들어 파일 이름을 reference.wav, 녹음 문장을 ‘안녕하세요. 제 목소리로 음성 생성 기능을 시험합니다’로 맞춥니다.
WebUI에서 참고 음성과 그 대본을 넣고, 새로 읽힐 문장에는 ‘오늘 회의는 오후 세 시입니다’를 입력합니다. 참고 대본은 원래 녹음의 내용이고 생성 문장은 새로 읽힐 내용입니다. 두 입력을 바꿔 넣지 마세요.
명령행으로도 같은 구조를 시험할 수 있습니다. 새 터미널에서 프로젝트 폴더로 이동하고 conda activate fish-speech 후 실행합니다. 아래 한국어 문구는 실습을 위한 입력 예시이며, 실제 녹음 대본으로 바꾸어야 합니다. 공식 클라이언트 인자
python tools/api_client.py \
--url http://127.0.0.1:8080/v1/tts \
--reference_audio reference.wav \
--reference_text "안녕하세요. 제 목소리로 음성 생성 기능을 시험합니다." \
--text "오늘 회의는 오후 세 시입니다." \
--format wav \
--output first-clone \
--no-play성공하면 first-clone.wav를 열어 들어 봅니다. --no-play는 자동 재생을 끄는 옵션입니다. 문장을 정확히 읽는지, 음색이 일관적인지, 단어가 누락되거나 반복되는지부터 확인하세요. 짧은 문장이 통과하면 숫자·영문 약어·고유명사와 긴 문장으로 넓힙니다.
[whisper] 같은 자연어 태그로 말하는 방식을 조절할 수도 있습니다. 처음에는 태그 없이 생성하고, 다음에 한 가지 지시만 추가해 비교하면 원인을 파악하기 쉽습니다. 같은 목소리라도 감정·속도·참고 녹음이 달라지면 결과가 바뀔 수 있습니다. 공식 음성 제어 예시
설치 오류와 한국어 품질을 확인하는 방법
| 증상 | 먼저 확인할 것 |
|---|---|
| GPU 메모리 부족 또는 CUDA out of memory | 사용 가능한 VRAM, 다른 GPU 작업, 선택한 모델 |
| CUDA 장치를 찾지 못함 | 드라이버·WSL GPU 인식과 PyTorch 패키지 조합 |
| 모델·코덱 파일을 찾지 못함 | 현재 폴더, 다운로드 완료 여부, 서버 경로 |
| WebUI가 열리지 않음 | 화면 빌드 완료 여부, 서버 로그와 접속 포트 |
| 목소리가 다르거나 문장이 누락됨 | 참고 음성과 대본의 일치, 잡음, 문장 길이 |
pyaudio 설치가 실패하면 공식 문서는 Conda를 통한 패키지 설치를 대안으로 안내합니다. 오류 메시지 전체를 확인하고 해당 의존성부터 해결하세요. 설치 문제 안내
한국어 평가는 같은 대본으로 반복해 비교하는 편이 좋습니다. ‘15:30’을 어떻게 읽는지, 약어를 한글로 적으면 개선되는지, 긴 문장을 문장 단위로 나누면 누락이 줄어드는지를 기록해 보세요. 비교 항목은 AI 평가 기준표처럼 발음·누락·음색·생성 시간을 따로 두면 유용합니다.
로컬 비용과 모델별 이용 조건
로컬 실행에서는 외부 TTS API 호출료 대신 GPU 확보·전기·저장 공간·설치와 관리 시간이 비용이 됩니다. 이미 가진 장비로 짧게 시험하는 경우와 음성을 계속 제공하는 서버를 운영하는 경우는 계산이 다릅니다. 단순 생성 시간 외에 다시 만든 횟수와 사람이 수정한 시간까지 포함하세요.
공식 API에는 s2.1-pro와 공정 사용 한도 아래 개발·시험에 제공되는 s2.1-pro-free가 구분돼 있습니다. 무료 API 이용과 공개 모델의 로컬 실행은 서로 다른 경로이며, API의 현재 요금·한도와 웹 구독 조건도 각각 확인해야 합니다. API 모델 조건, 웹 요금제
공개 파일을 다운로드할 수 있다는 사실만으로 모든 상업 이용이 허용되는 것은 아닙니다. S2-Pro 가중치에는 Fish Audio Research License가 적용되며, 모델 카드는 연구·비상업 이용과 별도 상업 라이선스를 구분합니다. S2-Pro 모델 라이선스
현재 Fish Speech 코드와 Drama 3는 Fish Audio Community License를 안내합니다. 이 라이선스에는 연매출 기준 아래의 조건부 상업 이용과 별도 계약이 필요한 Hosted Service 규정이 있습니다. 로컬 S2-Pro 구성은 코드와 가중치에 각각 적용되는 조건을 함께 확인해야 합니다. 코드 라이선스, Drama 3 모델 안내
자주 묻는 질문
Q1. Ollama나 별도의 대화용 LLM을 먼저 설치해야 하나요?
이 글은 공식 Fish Speech의 Python·PyTorch 실행 경로를 사용합니다. 별도의 대화 모델을 호출하는 단계는 없습니다. Hugging Face에서 모델 파일을 받는 것과 Ollama에 모델을 추가하는 방식도 구분하세요.
Q2. GPU가 8GB나 12GB인데 공식 S2-Pro를 실행할 수 있나요?
공식 원본의 요구사항 표는 VRAM 24GB 이상입니다. 더 적은 메모리의 실행 사례는 양자화·다른 실행기·메모리 분산 등 구성을 따로 확인해야 하며, 이 글의 공식 설치 사양을 대체하지 않습니다.
Q3. Spaces에서 체험하면 내 컴퓨터에서 계산하나요?
체험 Space의 서버에서 계산합니다. 로컬 실행은 내 컴퓨터에 코드와 가중치를 준비하고 서버를 직접 시작하는 경로입니다. 외부 체험에 올리는 참고 녹음의 처리 조건도 해당 서비스에서 확인하세요.
Q4. 짧은 녹음으로 완전히 같은 목소리가 만들어지나요?
음색을 반영하는 생성이며 결과의 동일성을 보장하지 않습니다. 녹음 상태와 대본, 언어, 문장 길이에 따라 결과를 들어 보고 확인해야 합니다.
Q5. 최신 Drama 3로 명령의 폴더만 바꾸면 되나요?
모델별 GPU 조건과 코덱 경로, 실행 옵션을 함께 확인해야 합니다. 공식 문서는 Drama 3에 NVIDIA GPU와 FP8 기준 48GB 이상을 안내하고 --compile을 지원하지 않는다고 명시합니다. 모델별 설치 조건
공식 자료와 확인 기준일
확인 기준일: 2026-10-19
- Fish Speech 공식 GitHub — 공개 모델과 실행 코드
- 공식 설치 문서 — 사양·환경·다운로드·Docker
- 공식 추론 문서 — 서버·WebUI·참고 음성 입력
- S2-Pro 모델 저장소 — 구조·언어·가중치·원문 이미지
- Drama 3 모델 저장소 — 최신 공개 모델과 실행 조건
- API 모델 안내 — S2.1 Pro와 무료 개발 모델 구분
- Hugging Face Spaces 문서 — 원격 체험 앱의 역할
설치 예시는 Fish Speech의 541566932abb 커밋과 S2-Pro의 1de9996b6be3 리비전을 기준으로 합니다. 이후 버전으로 바꾸면 의존성과 명령 옵션, 라이선스도 다시 확인하세요. 하드웨어를 새로 구매하기 전에는 사용할 모델·실행기와 실제 생성 품질을 함께 검토하는 것이 좋습니다.