Whisperを使ったOpenSourceプロジェクト

概要

本記事では2022/12/27現在公開されているOpenSourceのWhisperプロジェクトについて紹介します。

WhisperX

GitHub: https://github.com/m-bain/whisperX

WhisperXはWhisperモデルと音素ベースのモデルを用いることでWhisperの精度向上を図っているプロジェクトです。WhisperXはWhisπerモデルに音素ベースのASR（wav2vec2.0など）を加えることでforced alignmentにより精度を向上させています。

Whispering

GitHub: https://github.com/shirayu/whispering

Whisperのストリーミング推論を実装したプロジェクトです。

OpenAI Whisper Realtime

GitHub: https://github.com/tobiashuttinger/openai-whisper-realtime

Whisperを使ってリアルタイム推論実装したプロジェクトです。

Whisper ASR Webservice

GitHub: https://github.com/ahmetoner/whisper-asr-webservice

WhisperベースのASRシステムをFastAPIを用いてAPI化したプロジェクトです。