Langfuseとは何か？機能とセットアップ方法を徹底解説

初めに

Langfuseは、LLMアプリケーションのパフォーマンス向上に役立つオープンソースのLLMエンジニアリングプラットフォームです。このツールは、デバッグ、分析、評価をサポートし、プロンプト管理やデータセットの作成を可能にします。開発者はメトリクスやトレースを取得し、可視化することでアプリケーションの効率化と機能改善を図ることができます。

Langfuseの特徴

LangfuseはLangSmithとは異なり、SaaSとして利用する方法とDockerを使ってSelf-hostingを行って利用する方法があります。

Langfuseのユースケース

• コストとレイテンシーの分析
  • Langfuseは、LLMアプリケーションのコストとレイテンシーに関する情報をキャプチャし、開発者がリソースを効率的に最適化し、最適なパフォーマンスレベルを維持するための支援を行います。
• カスタムメトリクスとアラート
  • Langfuseでは、開発者はカスタムメトリクスを定義し、特定の閾値に基づいてアラートを設定することができます。
• モデルバージョンの比較
  • Langfuseでは、言語モデルの異なるバージョンを簡単に比較できるため、最もパフォーマンスの高いモデルを選出できます。
• リアルタイムモニタリング
  • Langfuseのリアルタイムモニタリング機能を活用することで、開発者はLLMの挙動を即座に把握することができ、異常が発生した際の対応速度を向上させます。

Langfuse のセットアップ

ここでは、ローカル環境でSelf-hostingを行う際のLangfuseのはじめ方を簡単に説明します。

1. Langfuseをローカルマシン上で実行する

以下のコマンドを実行します。

# Langfuseリポジトリのクローン
git clone https://github.com/langfuse/langfuse.git
cd langfuse

# サーバーとデータベースをスタート
docker compose up

http://localhost:3000 からサーバーにアクセスします。

2. 初期設定を行う

サーバーにアクセスすると次のページが表示されるので、sign inをします。アカウントがない場合はsign upをします。

sign inをすると次のページが表示されます。Create new projectの`New Project'を押してプロジェクトを作成します。

プロジェクトを作成したらsettingsから設定を開きます。Create new API keysを押してSecret Key とPublic Key を発行し、コピーします。

Langfuse の実行

次のコマンドを実行します

pip install langfuse openai

ディレクトリ内に次の２つのファイルを準備します。

• .env 先ほどコピーしたSecret KeyとPublic Keyを入力します。

  LANGFUSE_SECRET_KEY="sk-lf-..."
  LANGFUSE_PUBLIC_KEY="pk-lf-..."
  LANGFUSE_HOST="http://localhost:3000"
  

• main.py observeデコレータをインポートし、トレースする関数に適用します。

  from langfuse.decorators import observe
  from langfuse.openai import openai # OpenAI integration
  
  @observe()
  def story():
      return openai.chat.completions.create(
          model="gpt-3.5-turbo",
          max_tokens=100,
          messages=[
              {"role": "system", "content": "You are a great storyteller."},
              {"role": "user", "content": "Once upon a time in a galaxy far, far away..."}
              ],
      ).choices[0].message.content
  
  @observe()
  def main():
      return story()
  
  main()
  

@observe() デコレータはデフォルトでは以下をキャプチャします。

• コンテキスト変数によるネスト
• タイミング/デュレーション
• 関数名
• 入力dictの引数とキーワード
• 出力として返される値

main.pyを実行すると次の画像のようにダッシュボードでログを確認できます。

Langfuseに接続できない場合のエラー処理

以下に示すコード例では、LangChainにコールバックハンドラーを渡してメトリクスを記録する方法を示しています。このプロセス中にコールバックが失敗する可能性があるため、その場合の対処法を説明します。

# Initialize Langfuse handler
from langfuse.callback import CallbackHandler
langfuse_handler = CallbackHandler(
    secret_key="sk-lf-...",
    public_key="pk-lf-...",
    host="https://cloud.langfuse.com"
)

# Your Langchain code
from langchain_community.chat_models import ChatOpenAI
from langchain_core.documents import Document
from langchain_core.prompts import ChatPromptTemplate
from langchain.chains.combine_documents import create_stuff_documents_chain
from dotenv import load_dotenv
load_dotenv()

prompt = ChatPromptTemplate.from_messages(
    [("system", "What are everyone's favorite colors:\n\n{context}")]
)
llm = ChatOpenAI(model="gpt-3.5-turbo")
chain = create_stuff_documents_chain(llm, prompt)

docs = [
    Document(page_content="Jesse loves red but not yellow"),
    Document(page_content = "Jamal loves green but not as much as he loves orange")
]

chain.invoke({"context": docs})

# Add Langfuse handler as callback (classic and LCEL)
chain.invoke({"input": "<user_input>"}, config={"callbacks": [langfuse_handler]})

1. Langfuseのサーバーが落ちていないか確認する Self-hostingでサーバーを立ち上げている場合、サーバーが落ちていないか確認してください。

2. バックエンドのDBが落ちていないか確認する Self-hostingでサーバーを立ち上げている場合、データベースが落ちていないか確認してください。

3. ネットワークの確認 Self-hostingでサーバーを立ち上げている場合、http://localhost:3000に正しく接続できているか確認してください。

4.環境変数を設定する

下記のように環境変数を設定できます。

import os
os.environ["LANGFUSE_MAX_RETRIES"] = ""
os.environ["LANGFUSE_TIMEOUT"] = ""

LANGFUSE_MAX_RETRIES SDK がトレースのためにネットワーク要求を再試行する回数を指定します。

LANGFUSE_TIMEOUT ネットワークリクエストのタイムアウト秒数を指定します。

その他の環境変数はこちらをご参照ください。

終わりに

このページではLLMアプリケーションのパフォーマンス向上に役立つLangfuseを紹介しました。 LangfuseはSaaSとしての利用、またはSelf-hostingを行うことで利用できます。LLMアプリケーションのメトリクスやトレースを取得できます。

参考資料

• Langfuse Docs
• LangChain Docs
• LLMアプリ開発の必須ツール？！Langfuseがすごい！

備考

LLM を業務で活用したり、自社のサービスに組み込みたくありませんか？Hakky では、AI を用いた企業独自のシステムを構築するご支援を行っています。 ソリューションサイト：https://www.about.st-hakky.com/chatgpt-solution

「どんなことが出来るのか」「いま考えているこのようなことは本当に実現可能か」など、ご検討段階でも構いませんので、ぜひお気軽にフォームよりお問い合わせくださいませ。