OpenAI APIのモデルのFine-Tuning

はじめに

OpenAI は、gpt-4 や text-davinci-003、curie など様々なモデルを提供します。したがって、ニーズに合わせて、モデルを選ぶことができます。しかし、よりいい結果を得たい場合、タスクに合わせたモデルが必要となります。その場合、モデルを Fine-Tuning します。

具体的に以下の場合、Fine-Tuning が有効だと考えられています。

関西弁など話し方を変えたい
宇宙科学など専門的な知識を追加したい
改行やタグなど応答形式を指定したい
プロンプトを短くしたい

Fine-Tuning のやり方

Fine-Tuning について

OpenAI の API で davinci と curie、babbage、ada というモデルを Fine-Tuning できます。

指示に従うことを学習していないモデルです。gpt3-5 など指示に従うモデルを Fine-Tuning できません。すなわち、Fine-Tuning を用いて、モデルがタスクに合わせた指示に従うようにできます。

ライブラリをインストール

ひとまず、OpenAI のライブラリを以下のコマンドでインストールする必要があります。

pip install --upgrade openai

データセット作成

Fine-Tuning を行えるため、以下のようなデータセットが必要です。

{"prompt": "<プロンプト>", "completion": "<回答>"}
{"prompt": "<プロンプト>", "completion": "<回答>"}
{"prompt": "<プロンプト>", "completion": "<回答>"}

データセットは JSONL 形式でプロンプトと回答をまとめます。

以下の条件を満たすとよりいい結果になります。

数百件のデータ以上
「---」など固定のタグで終わるプロンプト
「END」など固定のタグで終わる回答

また、以下のコマンドでデータセットのチェックを行えます。

openai tools fine_tunes.prepare_data -f <LOCAL_FILE>

以下のような出力になります。

Analyzing...

- Your file contains 8 prompt-completion pairs. In general, we recommend having at least a few hundred examples. We've found that performance tends to linearly increase for every doubling of the number of examples
- More than a third of your `completion` column/key is uppercase. Uppercase completions tends to perform worse than a mixture of case encountered in normal language. We recommend to lower case the data if that makes sense in your domain. See https://platform.openai.com/docs/guides/fine-tuning/preparing-your-dataset for more details
- All prompts end with suffix `\n---`
- All prompts start with prefix `description: `. Fine-tuning doesn't require the instruction specifying the task, or a few-shot example scenario. Most of the time you should only add the input data into the prompt, and the desired output into the completion
- Your data does not contain a common ending at the end of your completions. Having a common ending string appended to the end of the completion makes it clearer to the fine-tuned model where the completion should end. See https://platform.openai.com/docs/guides/fine-tuning/preparing-your-dataset for more detail and examples.
- The completion should start with a whitespace character (` `). This tends to produce better results due to the tokenization we use. See https://platform.openai.com/docs/guides/fine-tuning/preparing-your-dataset for more details

Based on the analysis we will perform the following actions:
- [Recommended] Lowercase all your data in column/key `completion` [Y/n]: n
- [Recommended] Remove prefix `description: ` from all prompts [Y/n]: n
- [Recommended] Add a suffix ending ` END` to all completions [Y/n]: n
- [Recommended] Add a whitespace character to the beginning of the completion [Y/n]: n

You can use your file for fine-tuning:
> openai api fine_tunes.create -t "handbook.jsonl"

After you’ve fine-tuned a model, remember that your prompt has to end with the indicator string `\n---` for the model to start generating completions, rather than continuing with the prompt.
Once your model starts training, it'll approximately take 2.55 minutes to train a `curie` model, and less for `ada` and `babbage`. Queue will approximately take half an hour per job ahead of you.

一方、以下の制限があります。

回答は 2048 トークン以下

学習

以下のコマンドでモデルの学習を行えます。データ量に因りますが、基本的には数時間で終わります。

openai api fine_tunes.create -t <TRAIN_FILE_ID_OR_PATH> -m <BASE_MODEL>

また、以下のコマンドで学習状況を確認できます。開始時かかる料金が表示されます。学習をすぐキャンセルするとお金かからないことになります。

openai api fine_tunes.follow -i <YOUR_FINE_TUNE_JOB_ID>

キャンセルのコマンドは以下の通りです。

openai api fine_tunes.cancel -i <YOUR_FINE_TUNE_JOB_ID>

モデルを使用

以下のコマンドで使えるモデルを確認できます。

openai api fine_tunes.list

Fine-Tuning したモデルを使用する際、モデル名をfine_tuned_modelにします。

料金

OpenAI API の料金

学習と使用するとき、一般なモデルより料金が高くなります。

しかし、より短いプロンプトなどで処理すると、使用トークン数が減る場合もあると思われています。

モデル	学習（1 千トークン）	使用（1 千トークン）
Ada	$0.0004	$0.0016
Babbage	$0.0006	$0.0024
Curie	$0.0030	$0.0120
Davinci	$0.0300	$0.1200

まとめ

OpenAI API 用いて、簡単にタスクに合わせたモデルを作成することができます。学習データがあれば、簡単に LLM の精度を上げる方法です。

参考文献

備考

Hakky ではこういった人事・採用に最適なソリューションをご用意しています。「今考えているサービスが実現可能なのか」といったことから、「どんなことをお願いできるのか知りたい」や「こんなことをやりたい」など、ご検討段階でも構いませんので、ぜひお気軽にフォームよりお問い合わせくださいませ。