忽略上下文視窗限制
上下文窗口同時計算輸入與輸出 token,而不僅是提示詞。當您發送 90,000 token 的提示詞並要求 16,000 token 的回應時,您將超過 100,000 token 的限制並收到硬性錯誤。這在會累積對話歷史的代理工作流中尤其棘手。許多開發者誤以為限制僅適用於輸入,但模型需要在同一個窗口內保留空間以生成完整的回應。如果您的應用程式累積歷史記錄而不進行截斷,您將很快達到上限。請仔細規劃您的 token 預算。僅在上下文中保留最近的對話輪次。使用摘要或檢索來管理長對話。這可防止意外的帳單激增,並確保您的請求成功。
缺少串流標頭
串流回應需要讀取最後一個區塊以取得準確的權杖使用情況。如果您過早停止讀取串流,就會錯過包含總權杖數的最後一段資料。這會導致計費報告不正確,並使應用程式中的資源使用情況難以預測。請始終消耗整個串流直到結束事件。檢查最後一個區塊中的 usage 欄位。這能確保您清楚知道確切的支出。串流也能改善使用者的感知延遲,但您必須處理完整回應才能取得完整指標。除非有特定理由,否則不要過早中止連線。始終讀取到最後,以確保資料完整性和準確的帳目記錄。
不正確的 token 計數
當開發人員假設簡單的字符到 Token 比率時,Token 計數經常失敗。不同模型使用不同的分詞器,因此一個字符可能不等於一個 Token。如果您根據字符數估算成本,這種差異可能會導致顯著的超額費用。始終使用您所使用模型的官方分詞器。不要猜測。如果您使用 OpenAI 相容的 API,請使用 OpenAI 分詞器,但請驗證編碼器是否與模型匹配。這可確保成本估算準確。記錄實際 Token 使用量與估算使用量,以完善估算。這有助於您更好地預算並避免意外。準確計數對於財務規劃至關重要。
函式呼叫格式錯誤
當工具定義與預期結構描述不符時,會發生函式呼叫格式錯誤。如果您定義的工具具有錯誤的參數類型,模型可能會傳回您的程式碼無法解析的無效 JSON。在將工具傳送至 API 之前,請務必驗證您的工具定義。使用結構描述驗證器來檢查您的工具結構。這可防止執行階段錯誤,並確保模型理解您的意圖。如果模型傳回無效的工具呼叫,請以更清晰的描述進行重試。不要假設模型總是能完美遵循您的格式。在工具定義中提供清晰的範例。這可提高可靠性並減少應用程式中複雜錯誤處理的需求。
JSON 模式嚴格度
JSON 模式強制執行嚴格的 schema 驗證,如果輸出偏離則會導致靜默失敗。當您將 response_format 設為 json_object 時,模型必須回傳有效的 JSON。如果它包含 markdown 程式碼區塊或額外文字,您的解析器將會失敗。解析前請務必移除 markdown 包裝。檢查尾隨逗號或無效字元。這能確保您的程式碼保持健壯。如果您需要更多彈性,請停用 JSON 模式並手動解析輸出。然而,對於結構化資料,JSON 模式更快且更可靠。請務必使用邊緣案例測試您的解析器。這能防止生產環境崩潰並確保資料一致性。嚴格模式是一把雙面刃;請明智使用。
速率限制混淆
速率限制常被誤解為每秒簡單的請求計數。事實上,限制可能適用於金鑰或帳戶,且並行請求受到限制。若超過每分鐘 300 次請求或 8 個並行請求,您的 API 將返回 429 錯誤。這可能會干擾批次處理或即時應用程式。在您的重試邏輯中實作指數退避。不要立即重試。將請求分佈在時間上。監控您的使用儀表板以維持在限制範圍內。若需要更高的吞吐量,請考慮使用多個 API 金鑰。這可分攤負載並防止瓶頸。了解這些限制有助於您設計能優雅處理流量突發的韌性應用程式。
加密貨幣充值時機
加密貨幣充值需要先付款,之後任何請求才會成功。如果您餘額不足,您的第一個請求將會失敗。這對期望立即開始使用 API 的新用戶來說至關重要。使用 TRC20 網路的 USDT 或 Base 網路的 USDC 進行充值。接受 $20 至 $500 之間的任何整數金額。適用額外信用額度:充值 $50 獲得 +5%,充值 $100 獲得 +10%,充值 $200 獲得 +15%。這 incentivizes 較大金額的充值。確保您的餘額為正數後再進行請求。經常檢查餘額以避免服務中斷。加密貨幣付款快速,但確認可能需要幾分鐘。規劃您的充值時間,以確保在高用量期間服務不中斷。
NSFW 拒絕誤解
無審查模型不會拒絕合法的成人內容,但它們仍會執行硬性限制。涉及未成年人的性內容一律會被拒絕,無論模型的基礎訓練為何。這是一項不可妥協的政策,適用於所有請求。如果您發送包含邊緣內容的提示詞,模型可能仍會返回結果,但您應預期對特定類別進行嚴格過濾。不要假設「無審查」等於「沒有規則」。這意味著對合法成人內容的拒絕較少。對於希望獲得自由又不失去基本安全過濾器的內容創作者來說,這一點很重要。請始終測試您的提示詞以了解模型的行為。這能確保您獲得所需的內容,而不會出現意外的拒絕。