-
Notifications
You must be signed in to change notification settings - Fork 48
Expand file tree
/
Copy path.env_sample
More file actions
135 lines (108 loc) · 4.85 KB
/
Copy path.env_sample
File metadata and controls
135 lines (108 loc) · 4.85 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
################################################################################
# AGENTICS LLM CONFIGURATION
################################################################################
# This file contains all the environment variables needed to configure LLM
# providers for use with Agentics. All LLM providers are optional - configure
# only the ones you need. The system will auto-discover which LLMs are available
# based on the environment variables present.
################################################################################
################################################################################
# GEMINI (Optional)
################################################################################
GEMINI_API_KEY=
GEMINI_MODEL_ID="gemini/gemini-2.0-flash"
################################################################################
# OPENAI (Optional)
################################################################################
OPENAI_API_KEY=
OPENAI_MODEL_ID="openai/gpt-4"
################################################################################
# OPENAI-COMPATIBLE LLMs (Optional)
#
# Configure OpenAI-compatible API providers with custom prefixes.
#
# Supported patterns:
# - Default variant: OPENAI_COMPATIBLE_*
# - Custom variants: OPENAI_COMPATIBLE_<VARIANT>_*
#
# Each variant requires three variables:
# - <PREFIX>_API_KEY: Your API key
# - <PREFIX>_MODEL_ID: The model identifier
# - <PREFIX>_BASE_URL: The base URL of the API
#
# Examples:
################################################################################
# Default OpenAI-compatible variant
OPENAI_COMPATIBLE_API_KEY=
OPENAI_COMPATIBLE_MODEL_ID=
OPENAI_COMPATIBLE_BASE_URL=
################################################################################
# WATSONX (Optional)
################################################################################
MODEL_ID=watsonx/meta-llama/llama-3-3-70b-instruct
WATSONX_URL=https://us-south.ml.cloud.ibm.com
WATSONX_APIKEY=
WATSONX_PROJECTID=
################################################################################
# VLLM - vLLM Server (Optional)
#
# vLLM is an open-source LLM serving framework.
# Configure if you have a vLLM server running locally or remotely.
################################################################################
# Required: vLLM server URL
VLLM_URL=http://localhost:8000/v1
# Optional: Specific model ID for vLLM
VLLM_MODEL_ID="meta-llama/Llama-3.3-70B-Instruct"
################################################################################
# OLLAMA (Optional)
#
# Ollama is an open-source LLM runner that can run models locally.
# Configure if you have Ollama installed and running.
################################################################################
# The model to use with Ollama
# OLLAMA_MODEL_ID="deepseek-r1:latest"
# OLLAMA_MODEL_ID="llama2:latest"
# OLLAMA_MODEL_ID="mistral:latest"
################################################################################
# LITELLM (Optional)
#
# LiteLLM provides access to 100+ LLM providers through a unified interface.
# Use model format: "litellm/provider/model-name"
# See: https://docs.litellm.ai/docs/providers
################################################################################
# Model in format: litellm/provider/model-name
# LITELLM_MODEL="litellm/openai/gpt-4"
# LITELLM_MODEL="litellm/anthropic/claude-3-sonnet"
# LITELLM_MODEL="litellm/cohere/command-r"
# Optional temperature and top_p settings
# LITELLM_TEMPERATURE=0.8
# LITELLM_TOP_P=0.9
################################################################################
# LITELLM PROXY (Optional)
#
# LiteLLM Proxy allows you to run a local proxy server that manages API keys
# and provides a unified interface for multiple LLM providers. In some
# organizations this also provides a way to centralize frontier LLM
# access to employees.
#
################################################################################
# Required: Proxy server URL (typically http://localhost:4000 if running locally, or
https://litellm.your.organization/, no v1)
# LITELLM_PROXY_URL=http://localhost:4000
# Required: API key for proxy authentication
# LITELLM_PROXY_API_KEY=
################################################################################
# Models
# Once you've defined the above environment variables, you can run this command
# to check the available models.
# uvx --from litellm[proxy] litellm-proxy models list
#
# This command will display all available models configured on your proxy.
################################################################################
# Required: Model name in format: litellm_proxy/<model_name>
# Must start with "litellm_proxy/"
# LITELLM_PROXY_MODEL="litellm_proxy/gpt-4"
# LITELLM_PROXY_MODEL="litellm_proxy/claude-3-sonnet"
# Optional temperature and top_p settings
# LITELLM_PROXY_TEMPERATURE=0.8
# LITELLM_PROXY_TOP_P=0.9