add azure o3 mini (#1711)
This commit is contained in:
@@ -103,6 +103,7 @@ class Settings(BaseSettings):
|
|||||||
ENABLE_ANTHROPIC: bool = False
|
ENABLE_ANTHROPIC: bool = False
|
||||||
ENABLE_AZURE: bool = False
|
ENABLE_AZURE: bool = False
|
||||||
ENABLE_AZURE_GPT4O_MINI: bool = False
|
ENABLE_AZURE_GPT4O_MINI: bool = False
|
||||||
|
ENABLE_AZURE_O3_MINI: bool = False
|
||||||
ENABLE_BEDROCK: bool = False
|
ENABLE_BEDROCK: bool = False
|
||||||
ENABLE_GEMINI: bool = False
|
ENABLE_GEMINI: bool = False
|
||||||
# OPENAI
|
# OPENAI
|
||||||
@@ -121,6 +122,12 @@ class Settings(BaseSettings):
|
|||||||
AZURE_GPT4O_MINI_API_BASE: str | None = None
|
AZURE_GPT4O_MINI_API_BASE: str | None = None
|
||||||
AZURE_GPT4O_MINI_API_VERSION: str | None = None
|
AZURE_GPT4O_MINI_API_VERSION: str | None = None
|
||||||
|
|
||||||
|
# AZURE o3 mini
|
||||||
|
AZURE_O3_MINI_DEPLOYMENT: str | None = None
|
||||||
|
AZURE_O3_MINI_API_KEY: str | None = None
|
||||||
|
AZURE_O3_MINI_API_BASE: str | None = None
|
||||||
|
AZURE_O3_MINI_API_VERSION: str | None = None
|
||||||
|
|
||||||
# GEMINI
|
# GEMINI
|
||||||
GEMINI_API_KEY: str | None = None
|
GEMINI_API_KEY: str | None = None
|
||||||
|
|
||||||
|
|||||||
@@ -279,6 +279,31 @@ if settings.ENABLE_AZURE_GPT4O_MINI:
|
|||||||
),
|
),
|
||||||
)
|
)
|
||||||
|
|
||||||
|
if settings.ENABLE_AZURE_O3_MINI:
|
||||||
|
LLMConfigRegistry.register_config(
|
||||||
|
"AZURE_OPENAI_O3_MINI",
|
||||||
|
LLMConfig(
|
||||||
|
f"azure/{settings.AZURE_O3_MINI_DEPLOYMENT}",
|
||||||
|
[
|
||||||
|
"AZURE_O3_MINI_DEPLOYMENT",
|
||||||
|
"AZURE_O3_MINI_API_KEY",
|
||||||
|
"AZURE_O3_MINI_API_BASE",
|
||||||
|
"AZURE_O3_MINI_API_VERSION",
|
||||||
|
],
|
||||||
|
litellm_params=LiteLLMParams(
|
||||||
|
api_base=settings.AZURE_O3_MINI_API_BASE,
|
||||||
|
api_key=settings.AZURE_O3_MINI_API_KEY,
|
||||||
|
api_version=settings.AZURE_O3_MINI_API_VERSION,
|
||||||
|
model_info={"model_name": "azure/o3-mini"},
|
||||||
|
),
|
||||||
|
supports_vision=False,
|
||||||
|
add_assistant_prefix=False,
|
||||||
|
max_completion_tokens=16384,
|
||||||
|
temperature=None, # Temperature isn't supported in the O-model series
|
||||||
|
reasoning_effort="low",
|
||||||
|
),
|
||||||
|
)
|
||||||
|
|
||||||
if settings.ENABLE_GEMINI:
|
if settings.ENABLE_GEMINI:
|
||||||
LLMConfigRegistry.register_config(
|
LLMConfigRegistry.register_config(
|
||||||
"GEMINI_PRO",
|
"GEMINI_PRO",
|
||||||
|
|||||||
Reference in New Issue
Block a user