2024/12/27 LangSmithの機能解説

[fe1n]

LangSmithとは？

LangSmithは、LLMアプリケーションの開発サイクルを管理するためのプラットフォームです。LLMアプリケーションのデバッグ、モニター、テストなどの便利機能を提供しています。

準備

LangSmithのAPIキーを取得し、環境変数に追加してください。

LANGCHAIN_TRACING_V2=true
LANGCHAIN_API_KEY=<your-api-key>

詳しくはこちらを参照してください。

機能

トレース

LLMの実行結果を記録することができます。

Playground

トレースされた実行結果に対してプロンプトに修正を加えて再実行することができます。

評価

アップロードしたデータセットを用いたLLMの評価が可能です。実験ごとに分けて結果を見ることも可能です。
また、評価結果を手動で修正することも可能です。