OpenAI Whisper APIの利用方法

概要

本記事ではOpenAIにて公開されている Whisper の利用方法について解説します。

OpenAI とは

OpenAI は、人工知能（AI）研究の一環として設立された研究所および企業です。OpenAI の目標は、高度な人工知能の開発と普及に取り組むことで、人類全体の利益を追求することです。OpenAI は、AI に関する基礎研究を行うだけでなく、AI 技術の実用化にも取り組んでいます。本記事では、2023/8 現在公開されている Whisper API の利用方法についてまとめます。

利用法法

Whisper のインストール

github から Whisper のライブラリーをインストールします

!pip install git+https://github.com/openai/whisper.git

コードの実装

import whisper  # whisperライブラリをインポート

# 音源ファイルへのパス
path = "sample/audio.mp3"

# "base"モデルをロードしてmodel変数に格納
model = whisper.load_model("base")

# モデルを使用して音源ファイルの文字起こしを行い、結果をresultに格納
# verboseは進捗の表示が出来る。
result = model.transcribe(path, verbose=True, language="ja")

# 文字起こし結果を表示
print(result)

文字起こしが成功すると以下のようなレスポンスが返ってきます。

実行結果

{
  "text": "んwe'll always stay this waywrap up in the summer daystry to find a piece of timedelets me freeze you in my mindIdon't want us to changedon't want us to chip awayohI'm trying to saveI'm just going to get some resthey what's up guyseh今やっとやこうバスから降りて荷物を預けたためにホテルに来てまぁホテルに向かってます",
  "segments": [
    {
      "id": 0,
      "seek": 0,
      "start": 0.0,
      "end": 2.0,
      "text": "ん",
      "tokens": [50364, 3225, 50464],
      "temperature": 0.0,
      "avg_logprob": -0.7756714291042752,
      "compression_ratio": 1.3759398496240602,
      "no_speech_prob": 0.35714611411094666
    },
    {
      "id": 1,
      "seek": 0,
      "start": 4.32,
      "end": 6.640000000000001,
      "text": "we'll always stay this way",
      "tokens": [50580, 826, 603, 1009, 1754, 341, 636, 50696],
      "temperature": 0.0,
      "avg_logprob": -0.7756714291042752,
      "compression_ratio": 1.3759398496240602,
      "no_speech_prob": 0.35714611411094666
    },
    ... 省略
    {
      "id": 13,
      "seek": 2848,
      "start": 38.08,
      "end": 40.4,
      "text": "今やっとやこうバスから降りて",
      "tokens": [
        50844, 6480, 7355, 13137, 7355, 22159, 18593, 9550, 11046, 47421, 5095,
        2996, 50960
      ],
      "temperature": 0.2,
      "avg_logprob": -0.6662001754298355,
      "compression_ratio": 1.3862815884476534,
      "no_speech_prob": 0.002573483157902956
    },
    {
      "id": 14,
      "seek": 2848,
      "start": 40.4,
      "end": 42.0,
      "text": "荷物を預けたためにホテルに来て",
      "tokens": [
        50960, 31409, 115, 23516, 5998, 30156, 7625, 3368, 49983, 4108, 28292,
        22985, 9405, 4108, 6912, 2996, 51040
      ],
      "temperature": 0.2,
      "avg_logprob": -0.6662001754298355,
      "compression_ratio": 1.3862815884476534,
      "no_speech_prob": 0.002573483157902956
    }
    ... 省略
  ],
  "language": "ja"
}

進捗の表示

verbose=Trueにすることで下記のようなログを出力を確認することができます。

[00:00.000 --> 00:02.000] ん
[00:04.320 --> 00:06.640] we'll always stay this way
[00:07.920 --> 00:10.160] wrap up in the summer days
[00:11.520 --> 00:13.920] try to find a piece of time
[00:13.920 --> 00:17.200] delets me freeze you in my mind
[00:17.200 --> 00:19.200] I
[00:19.200 --> 00:21.200] don't want us to change
[00:21.200 --> 00:23.200] don't want us to chip away
[00:24.160 --> 00:26.160] oh
[00:26.480 --> 00:28.480] I'm trying to save
[00:28.560 --> 00:30.560] I'm just going to get some rest
[00:32.160 --> 00:34.160] hey what's up guys
[00:35.760 --> 00:37.760] eh
[00:38.080 --> 00:40.400] 今やっとやこうバスから降りて
[00:40.400 --> 00:42.000] 荷物を預けたためにホテルに来て
[00:42.000 --> 00:43.040] まぁホテルに向かってます
[00:43.040 --> 00:45.040] 超久しぶりの今日と
[00:46.240 --> 00:48.000] ちょっと緊張義務ですか
[00:48.000 --> 00:49.440] まずは
...省略

備考

Transcribe に設定できるプロパティ

下記のリポジトリのファイルにも書いてありますがこのような値を設定できます。 gihthub の transcribe.py

Transcribe an audio file using Whisper

    Parameters
    -------