Số lượng token lớn nhất có thể được tạo ra. Hãy đảm bảo rằng tổng số token nhập vào không vượt quá giá trị của max_tokens trong cửa sổ ngữ cảnh của mô hình. Vì một số dịch vụ vẫn đang được cập nhật, không nên đặt max_tokens bằng giá trị tối đa của cửa sổ; hãy dự phòng cho chi phí đầu vào và hoạt động của hệ thống.

Số lượng token lớn nhất có thể được tạo ra. Hãy đảm bảo rằng tổng số token đầu vào cộng với max_tokens không vượt quá kích thước cửa sổ ngữ cảnh của mô hình. Vì một số dịch vụ vẫn đang được cập nhật, không nên đặt giá trị của max_tokens bằng với giới hạn của cửa sổ; hãy dành khoảng 10k token làm dung lượng dự trữ cho đầu vào và chi phí xử lý hệ thống. Để biết thêm thông tin, vui lòng xem Models。