Mengabaikan batas jendela konteks
Jendela konteks menghitung token input dan output bersama-sama, bukan hanya prompt. Ketika Anda mengirim prompt 90.000 token dan meminta respons 16.000 token, Anda melampaui batas 100.000 token dan mendapatkan error keras. Ini sangat rumit dengan alur kerja agentic yang menumpuk riwayat percakapan. Banyak pengembang mengasumsikan batas hanya berlaku untuk input, tetapi model membutuhkan ruang untuk menghasilkan respons penuh dalam jendela yang sama. Jika aplikasi Anda menumpuk riwayat tanpa pemotongan, Anda akan mencapai batas dengan cepat. Rencanakan anggaran token Anda dengan hati-hati. Simpan hanya putaran terbaru dalam konteks. Gunakan peringkasan atau retrieval untuk mengelola percakapan panjang. Ini mencegah lonjakan tagihan tak terduga dan memastikan permintaan Anda berhasil.
Header streaming yang hilang
Respons streaming memerlukan pembacaan bagian terakhir untuk mendapatkan penggunaan token yang akurat. Jika Anda berhenti membaca stream lebih awal, Anda melewatkan bagian data terakhir yang berisi jumlah token total. Hal ini menyebabkan laporan penagihan yang salah dan penggunaan sumber daya yang tidak terprediksi di aplikasi Anda. Selalu konsumsi seluruh stream hingga peristiwa akhir. Periksa bagian terakhir untuk bidang penggunaan. Ini memastikan Anda mengetahui persis berapa banyak yang Anda habiskan. Streaming juga meningkatkan latensi yang dirasakan bagi pengguna, tetapi Anda harus menangani respons lengkap untuk mendapatkan metrik lengkap. Jangan putuskan koneksi lebih awal kecuali Anda memiliki alasan khusus. Selalu baca hingga akhir untuk memastikan integritas data dan akuntansi yang akurat.
Penghitungan token yang salah
Penghitungan token sering gagal ketika pengembang mengasumsikan rasio karakter-ke-token yang sederhana. Model yang berbeda menggunakan tokenizer yang berbeda, sehingga satu karakter mungkin tidak sama dengan satu token. Ketidaksesuaian ini dapat menyebabkan biaya berlebih yang signifikan jika Anda memperkirakan biaya berdasarkan jumlah karakter. Selalu gunakan tokenizer resmi untuk model yang Anda gunakan. Jangan menebak. Jika Anda menggunakan API yang kompatibel dengan OpenAI, gunakan tokenizer OpenAI, tetapi verifikasi encoder sesuai dengan model. Ini memastikan estimasi biaya yang akurat. Simpan log penggunaan token aktual versus penggunaan yang diperkirakan untuk menyempurnakan estimasi Anda. Ini membantu Anda mengelola anggaran dengan lebih baik dan menghindari kejutan. Penghitungan yang akurat sangat penting untuk perencanaan keuangan.
Kesalahan format function calling
Kesalahan format function calling terjadi ketika definisi alat tidak sesuai dengan skema yang diharapkan. Jika Anda mendefinisikan alat dengan tipe parameter yang salah, model mungkin mengembalikan JSON tidak valid yang tidak dapat diparsing oleh kode Anda. Selalu validasi definisi alat Anda sebelum mengirimkannya ke API. Gunakan validator skema untuk memeriksa struktur alat Anda. Ini mencegah kesalahan runtime dan memastikan model memahami maksud Anda. Jika model mengembalikan panggilan alat yang tidak valid, coba ulang dengan deskripsi yang lebih jelas. Jangan berasumsi bahwa model akan selalu mengikuti format Anda dengan sempurna. Berikan contoh yang jelas dalam definisi alat. Ini meningkatkan keandalan dan mengurangi kebutuhan penanganan kesalahan kompleks dalam aplikasi Anda.
Ketepatan mode JSON
Mode JSON menegakkan validasi skema ketat, menyebabkan kegagalan diam-diam jika output Anda menyimpang. Ketika Anda mengatur response_format menjadi json_object, model harus mengembalikan JSON yang valid. Jika menyertakan blok kode markdown atau teks tambahan, parser Anda akan gagal. Selalu hapus pembungkus markdown sebelum parsing. Periksa koma trailing atau karakter tidak valid. Ini memastikan kode Anda tetap tangguh. Jika Anda membutuhkan fleksibilitas lebih, nonaktifkan mode JSON dan parse output secara manual. Namun, mode JSON lebih cepat dan lebih andal untuk data terstruktur. Selalu uji parser Anda dengan kasus tepi. Ini mencegah crash produksi dan memastikan konsistensi data. Mode ketat adalah pedang bermata dua; gunakan dengan bijak.
Kebingungan batas laju
Batas laju sering disalahartikan sebagai jumlah permintaan sederhana per detik. Pada kenyataannya, batas mungkin berlaku per kunci atau per akun, dan permintaan konkurensi dibatasi. Jika Anda melebihi 300 permintaan per menit atau 8 permintaan konkurensi, API Anda akan mengembalikan error 429. Ini dapat mengganggu pemrosesan batch atau aplikasi waktu nyata. Terapkan backoff eksponensial dalam logika percobaan ulang Anda. Jangan mencoba kembali segera. Sebarkan permintaan Anda seiring waktu. Pantau dasbor penggunaan Anda agar tetap dalam batas. Jika Anda membutuhkan throughput yang lebih tinggi, pertimbangkan untuk menggunakan beberapa kunci API. Ini mendistribusikan beban dan mencegah kemacetan. Memahami batas-batas ini membantu Anda merancang aplikasi yang tangguh yang menangani lonjakan lalu lintas dengan lancar.
Waktu isi ulang kripto
Isi ulang crypto memerlukan pembayaran di muka sebelum permintaan apa pun berhasil. Jika Anda tidak memiliki saldo yang cukup, permintaan pertama Anda akan gagal. Ini sangat penting bagi pengguna baru yang mengharapkan untuk mulai menggunakan API segera. Isi ulang dengan USDT di jaringan TRC20 atau USDC di jaringan Base. Setiap jumlah bulat dari $20 hingga $500 diterima. Kredit bonus berlaku: +5% dari $50, +10% dari $100, dan +15% dari $200. Ini mendorong pengisian ulang yang lebih besar. Pastikan saldo Anda positif sebelum membuat permintaan. Periksa saldo Anda secara sering untuk menghindari gangguan layanan. Pembayaran crypto cepat, tetapi konfirmasi mungkin memerlukan beberapa menit. Rencanakan waktu pengisian ulang Anda untuk memastikan layanan tanpa gangguan selama periode penggunaan tinggi.
Kesalahpahaman penolakan NSFW
Model uncensored tidak menolak konten dewasa yang sah, tetapi tetap menerapkan batas tegas. Konten seksual yang melibatkan anak di bawah umur selalu ditolak, terlepas dari pelatihan dasar model. Ini adalah kebijakan yang tidak dapat dinegosiasikan dan berlaku untuk semua permintaan. Jika Anda mengirimkan prompt dengan konten ambang batas, model mungkin masih mengembalikannya, tetapi Anda harus mengharapkan penyaringan ketat untuk kategori tertentu. Jangan mengasumsikan "uncensored" berarti "tanpa aturan." Ini berarti lebih sedikit penolakan untuk konten dewasa yang sah. Perbedaan ini penting bagi pembuat konten yang menginginkan kebebasan tanpa kehilangan filter keamanan esensial. Selalu uji prompt Anda untuk memahami perilaku model. Ini memastikan Anda mendapatkan konten yang Anda butuhkan tanpa penolakan yang tidak terduga.
