Skip to content

README_ko.md

Latest commit

 

History

History
132 lines (95 loc) · 6.4 KB

README_ko.md

File metadata and controls

132 lines (95 loc) · 6.4 KB
Raw

Fun-ASR

「简体中文」|「English」|「日本語」|「한국어」

Fun-ASR는 통의(Tongyi) 실험실에서 개발한 엔드투엔드 음성 인식 모델 제품군입니다. 체크포인트별 지원 범위가 다릅니다. Fun-ASR-Nano-2512는 중국어·영어·일본어와 중국어 방언·지역 억양을 지원하고, Fun-ASR-MLT-Nano-2512는 31개 언어를 지원합니다. 두 체크포인트 모두 FunASR에서 추론과 서빙에 사용할 수 있습니다.

홈페이지 ｜ 주요 기능 ｜ 성능 평가 ｜ 환경 설정 ｜ 사용법

모델 저장소: Fun-ASR-Nano(ModelScope, Hugging Face) · Fun-ASR-MLT-Nano(ModelScope, Hugging Face)

온라인 체험: ModelScope Space, HuggingFace Space

Open In Colab

실행 가능한 예제는 quickstart 추론, 직접 추론, 화자 분리, vLLM 배치 추론, Streaming SDK를 다룹니다.

모델 지원 작업 학습 데이터 파라미터
Fun-ASR-Nano
(⭐ 🤗)		 중국어·영어·일본어 음성 인식. 중국어 7개 방언 + 26개 지역 억양 지원. 영어·일본어도 다양한 억양 대응. 가사 인식·랩 음성 인식 탑재. 수천만 시간 8억
Fun-ASR-MLT-Nano
(⭐ 🤗)		 중국어, 영어, 광둥어, 일본어, 한국어, 베트남어, 인도네시아어, 태국어, 말레이어, 필리핀어, 아랍어, 힌디어 등을 포함한 31개 언어 음성 인식. 수십만 시간 8억

주요 기능 🎯

  • 원거리·고소음 환경 대응: 회의실, 차량, 공장 등 고소음 환경에 최적화, 인식 정확도 93% 달성
  • 31개 언어 다국어 지원(MLT-Nano): 동아시아·동남아시아 언어를 중심으로 31개 언어 인식
  • 한국어 지원: Fun-ASR-MLT-Nano를 통한 한국어 음성 인식
  • 핫워드 기능: 도메인 특정 용어의 인식 정확도 향상
  • FunASR 파이프라인 화자 분리: 별도의 FSMN-VAD와 CAM++를 조합해 화자 레이블 생성
  • vLLM 추론 엔진: 배치 추론으로 최대 340배 실시간 속도

환경 설정 🐍

git clone https://github.com/FunAudioLLM/Fun-ASR.git
cd Fun-ASR
pip install -r requirements.txt

기능 범위

  • 타임스탬프: 공개된 Nano 체크포인트에는 학습된 CTC 가중치가 없어 체크포인트 기반 문자 단위 타임스탬프를 신뢰할 수 없습니다. 정확한 문자 단위 타임스탬프에는 Paraformer를 사용하세요(issue #106).
  • 화자 분리: Nano/MLT 체크포인트 자체는 화자 레이블을 출력하지 않습니다. FunASR에서 fsmn-vad와 cam++를 조합합니다.

사용법 🛠️

기본 추론

from funasr import AutoModel

model = AutoModel(
    model="FunAudioLLM/Fun-ASR-MLT-Nano-2512",  # 한국어는 MLT 모델 사용
    trust_remote_code=True,
    device="cuda:0",
    hub="hf"
)

result = model.generate(
    input=["audio.wav"],
    batch_size=1,
    language="韩文",
)
print(result[0]["text"])

FunASR 파이프라인을 사용한 화자 분리

이 예제에서는 FSMN-VAD가 오디오를 분할하고, Fun-ASR가 전사하며, CAM++가 화자 레이블을 지정합니다. sentence_info 구간은 VAD 세그먼트 경계이며 체크포인트 기반 문자 단위 타임스탬프가 아닙니다.

model = AutoModel(
    model="FunAudioLLM/Fun-ASR-MLT-Nano-2512",
    trust_remote_code=True,
    device="cuda:0",
    hub="hf",
    vad_model="fsmn-vad",
    spk_model="cam++",
    punc_model="ct-punc"
)

result = model.generate(input=["meeting.wav"], batch_size=1)
for item in result:
    if 'sentence_info' in item:
        for sent in item['sentence_info']:
            print(f"[화자{sent['spk']}] {sent['sentence']}")

성능 평가 📊

모델 GPU 속도 CPU 속도 vs Whisper-large-v3
Fun-ASR-Nano (vLLM) 340x 실시간 — 🚀 26배 빠름
SenseVoice-Small 170x 실시간 17x 실시간 🚀 13배 빠름
Whisper-large-v3 13x 실시간 ❌ 기준

에코시스템

Fun-ASR-Nano는 FunAudioLLM 패밀리의 일원입니다:

프로젝트 설명 Stars
FunASR 산업용 음성 인식 툴킷 — VAD, ASR, 구두점, 화자 분리
SenseVoice 초고속 ASR + 감정 인식 + 오디오 이벤트 감지
CosyVoice 자연 음성 생성 — 다국어, 제로샷 클로닝
FunClip AI 음성 인식 기반 비디오 클리핑

라이선스

Apache 2.0