【LCEL(LangChain Expression Language)とは？】使い方について解説

LCELとは

LangChain Expression Language(LCEL)は、LangChain固有のチェーンを簡単に構築するための宣言型のコードの記述方法です。LCELでは、プロンプトやLLMなどのコンポーネントを|で繋げて書き、処理の連鎖(Chain)を実装します。さまざまなコンポーネントをチェーンして、あるコンポーネントからの出力を次のコンポーネントの入力としてフィードします。この実装方法によって、基本コンポーネントから複雑なチェーンを簡単に構築できます。

このページでは LCELの使用例を紹介することで、LCELの基本的な使い方を説明します。LCELの使用例として以下の2つを紹介します。

プロンプトテンプレート + 大規模言語モデル
RAG(Retrieval-Augmented Generation)

プロンプトテンプレート + 大規模言語モデル

プロンプトテンプレートとOpenAIの大規模言語モデルを使って、入力とした受け取ったトピックに関する応答を生成するシステムを構築する時に、LCELを用いる場合のプログラムは、以下に示すようなコードになります。プロンプトテンプレートとは、プロンプトを作成する再現可能な方法を指します。

# langchain_core.output_parsersモジュールからStrOutputParserクラスをインポート
from langchain_core.output_parsers import StrOutputParser

# langchain_core.promptsモジュールからChatPromptTemplateクラスをインポート
from langchain_core.prompts import ChatPromptTemplate

# langchain_openaiモジュールからChatOpenAIクラスをインポート
from langchain_openai import ChatOpenAI

prompt = ChatPromptTemplate.from_template("tell me a short joke about {topic}")
model = ChatOpenAI(model="gpt-4")
output_parser = StrOutputParser()

chain = prompt | model | output_parser

chain.invoke({"topic": "ice cream"})

このコードの実行結果は以下のようになります。

"Why don't ice creams ever get invited to parties?\n\nBecause they always drip when things heat up!"

上記のプログラムについて

まず、モジュールから必要なクラスをインポートしています。langchain_coreは、プロンプトの作成や出力の処理を行うモジュール、langchain_openaiは、OpenAIの言語モデルを利用するモジュールです。

ChatPromptTemplate：AIモデルに送るプロンプトを生成するためのクラス
ChatOpenAI：OpenAIの大規模言語モデルを使ってテキストを生成するためのクラス
StrOutputParser：AIモデルからの出力をPythonの文字列に変換する出力パーサーのクラス

コード上では、LCELを使用して、prompt、model、output_parserの3つのコンポーネントをチェーンとして連結しています。このチェーンは、入力を受け取って、出力を返すことができる実行可能なオブジェクトです。このチェーンでは、ユーザー入力がプロンプトテンプレートに渡され、次にプロンプトテンプレートの出力がモデルに渡され、次にモデルの出力が出力パーサーに渡されます。

最後に、chainのinvokeメソッドを使って、チェーンを実行しています。このとき、トピックにアイスクリームを指定する辞書を引数として渡します。すると、チェーンは、アイスクリームに関するジョークを返すようにできます。

RAG(Retrieval-Augmented Generation)

RAGは、大規模言語モデルを用いたテキスト生成に文書検索を組み合わせる技術です。

主な特徴は以下の通りです。

大規模データから関連する文書を検索し、それを生成のコンテキストとして利用します
検索された文書と入力テキストのエンベディングを組み合わせて言語モデルに入力します。これにより、文脈に即したより関連性の高いテキストを生成できます。

RAGは問題解決AIやチャットボットなどで広く応用されています。以下のプログラムのように、LCELによって、RAGを簡単に構築できます。

from langchain_community.vectorstores import DocArrayInMemorySearch
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnableParallel, RunnablePassthrough
from langchain_openai.chat_models import ChatOpenAI
from langchain_openai.embeddings import OpenAIEmbeddings

vectorstore = DocArrayInMemorySearch.from_texts(
    ["harrison worked at kensho", "bears like to eat honey"],
    embedding=OpenAIEmbeddings(),
)
retriever = vectorstore.as_retriever()

template = """Answer the question based only on the following context:
{context}

Question: {question}
"""
prompt = ChatPromptTemplate.from_template(template)
model = ChatOpenAI()
output_parser = StrOutputParser()

setup_and_retrieval = RunnableParallel(
  {"context": retriever, "question": RunnablePassthrough()}
)
chain = setup_and_retrieval | prompt | model | output_parser

chain.invoke("where did harrison work?")

上記のプログラムについて

まず、モジュールから必要なクラスをインポートしています。langchain_communityは、文書のベクトル化や検索を行うモジュールです。各クラスの役割は、次のようになります。

DocArrayInMemorySearch: 文書検索のためのクラスで、メモリ内に文書のベクトルを保存し、クエリに最も近い文書を返すことができます。
StrOutputParser: 出力パーサーのためのクラスで、入力された文字列やメッセージをPythonの文字列に変換することができます。
ChatPromptTemplate: プロンプトテンプレートのためのクラスで、テンプレート変数の辞書を入力として受け取り、プロンプト値というラッパーを出力します。プロンプト値は、文字列を入力として受け取るLLMやメッセージのシーケンスを入力として受け取るChatModelに渡すことができます。
RunnableParallel: 複数のコンポーネントを並列に実行するためのクラスで、入力の辞書を各コンポーネントに分配し、出力の辞書を返します。
RunnablePassthrough: 入力をそのまま出力として返すためのクラスで、質問の内容を加工や変換をせずに次の段階に渡したい場合に利用します。
ChatOpenAI: OpenAIの言語モデルを使ってチャットを行うためのクラスで、プロンプト値を入力として受け取り、AIMessageというラッパーを出力します。
OpenAIEmbeddings: OpenAIの言語モデルを使って文書のベクトルを生成するためのクラスで、文書のリストを入力として受け取り、ベクトルのリストを出力します。

作成した各クラスをパイプでつなげて、チェーンを作成しています。**|**は、前のクラスの出力を次のクラスの入力にする演算子です。このチェーンは、入力された質問に対して、文書を検索し、プロンプトを生成し、言語モデルに入力し、出力を文字列に変換するという処理を行います。

最後に、チェーンに質問を入力して、答えを得ています。invokeは、チェーンに入力を与えて出力を得るメソッドです。

このプログラムにより、ユーザの入力に関係する文書をを検索し、関連する文書の内容を参考にして質問に回答するChatbotを作成できます。

まとめ

この記事では、LCELの使い方について解説しました。LangChain Expression Language (LCEL) は、LangChain固有のチェーンを簡単に構築するための宣言型のコードの記述方法です。プロンプトやLLMなどのコンポーネントを|で繋げて書き、処理の連鎖(Chain)を実装します。LCELの使い方を知り、大規模言語モデルを用いたアプリケーション開発に役立てましょう。

参考文献

備考

LLM を業務で活用したり、自社のサービスに組み込みたくありませんか？Hakky では、AI を用いた企業独自のシステムを構築するご支援を行っています。ソリューションサイト：https://www.about.st-hakky.com/chatgpt-solution

「どんなことが出来るのか」「いま考えているこのようなことは本当に実現可能か」など、ご検討段階でも構いませんので、ぜひお気軽にフォームよりお問い合わせくださいませ。