Day 0 支援：GPT-6 Sol 與 GPT-6 Luna

LiteLLM 現在支援 GPT-6 Sol 與 GPT-6 Luna。您可以透過 LiteLLM AI Gateway，使用與其他所有 OpenAI 模型相同的設定，將流量路由到它們。

Sol 和 Luna 加入了 GPT-6 Astra，採用相同方法訓練，並以適合大規模工作負載的價格提供。gpt-6-sol 適合複雜的程式碼撰寫與 agentic 工作流程，價格為每 1M tokens 輸入 $2、輸出 $10，gpt-6-luna 則是高流量級距，價格為 $0.10 和 $0.50。OpenAI 將兩者定價為其 GPT-5.6 對應模型目前費率的一半。依 OpenAI 所述，xhigh 的 Sol 在 AutomationBench 上以每個任務 $0.27 的成本取得 33.2%，在 DeepSWE v1.1 上以 max 取得 68.8%；而 Luna 在 DeepSWE 上可達 66.6%。兩者皆保有 1,050,000 個 token 的上下文視窗，其中 922K 為輸入、128K 為輸出，支援文字與圖片輸入，並可將 reasoning effort 從 none 執行至 max，預設為 medium。沒有 GPT-6 Terra；Astra 仍是最高階型號。

使用方式​

model_list:
  - model_name: gpt-6-sol
    litellm_params:
      model: openai/gpt-6-sol
      api_key: os.environ/OPENAI_API_KEY
  - model_name: gpt-6-luna
    litellm_params:
      model: openai/gpt-6-luna
      api_key: os.environ/OPENAI_API_KEY

docker run -d \
  -p 4000:4000 \
  -e OPENAI_API_KEY=$OPENAI_API_KEY \
  -v $(pwd)/config.yaml:/app/config.yaml \
  ghcr.io/berriai/litellm:main-latest \
  --config /app/config.yaml

curl -X POST "http://0.0.0.0:4000/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $LITELLM_KEY" \
  -d '{
    "model": "gpt-6-sol",
    "messages": [
      {"role": "user", "content": "Write a Python function to check if a number is prime."}
    ],
    "reasoning_effort": "high"
  }'

from litellm import completion

response = completion(
    model="openai/gpt-6-sol",
    messages=[
        {"role": "user", "content": "Write a Python function to check if a number is prime."}
    ],
    reasoning_effort="high",
)

print(response.choices[0].message.content)

# gpt-6-luna for focused, high-volume work
response = completion(
    model="openai/gpt-6-luna",
    messages=[
        {"role": "user", "content": "Classify this ticket as bug, feature, or question."}
    ],
    reasoning_effort="none",
    temperature=0,
)

print(response.choices[0].message.content)

Responses API​

對於 agentic 與多輪工作流程，請使用 /v1/responses 以在各輪之間保留 reasoning 狀態。

curl -X POST "http://0.0.0.0:4000/v1/responses" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $LITELLM_KEY" \
  -d '{
    "model": "gpt-6-sol",
    "input": "Plan and write a Python script that scrapes a webpage and summarizes it."
  }'

定價​

價格以每 1M tokens（USD）計算，並以短上下文（≤272K tokens）/ 長上下文（>272K tokens）顯示。

Flex 與 Batch 的費率為上述一半，Priority 則為兩倍；LiteLLM 會從同一個成本對照表列追蹤所有費率。

備註​

temperature 僅在 reasoning 關閉時適用，因此請連同 reasoning_effort="none" 一併送出，如上方 Luna 範例所示。若未提供，LiteLLM 會丟棄或拒絕該參數，因為預設 effort 為 medium。

這兩個模型都支援 OpenAI 明確的 prompt cache breakpoint，LiteLLM 會在 /chat/completions、/responses 與 /v1/messages 上直接轉送；請參閱 prompt caching。OpenAI 也表示，在對話中途變更 reasoning effort 或 tools 不再會破壞 cache，若您將不同 effort 等級路由到同一個 deployment，這點就很重要。

回饋​

透過 LiteLLM 執行 GPT-6 Sol 或 Luna 時遇到意料之外的問題？請在 GitHub discussion #42523 分享。