Jumlah maksimum token yang dapat dihasilkan. Pastikan jumlah token yang dimasukkan ditambah dengan max_tokens tidak melebihi ukuran jendela konteks model.

Jumlah maksimum token yang dapat dihasilkan. Pastikan jumlah token yang dimasukkan ditambah dengan max_tokens tidak melebihi ukuran jendela konteks model. Karena beberapa layanan masih dalam proses pembaruan, disarankan untuk tidak menetapkan max_tokens sebagai batas maksimum jendela; sisakan ruang buffer sekitar 10k token untuk input dan beban sistem. Untuk detail lebih lanjut, silakan lihat Models。