66b là một phân khúc mô hình ngôn ngữ có khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên, tổng hợp kiến thức và thực hiện tác vụ đa dạng.
66b sử dụng kiến trúc transformer, với nhiều lớp attention và feed-forward, tối ưu cho hiệu suất và khả năng khái quát. Dữ liệu huấn luyện gồm văn bản đa ngôn ngữ và nội dung từ nhiều nguồn công khai, có chú trọng tới cân bằng ngôn ngữ và chất lượng dữ liệu.
66b có thể tham gia vào viết văn bản, trả lời câu hỏi, tóm tắt, dịch ngôn ngữ và hỗ trợ sáng tạo. Tuy nhiên, các thách thức về an toàn, trung lập và nguồn gốc dữ liệu vẫn cần quản lý chặt chẽ, cùng với chi phí vận hành và khả năng kiểm soát đầu ra.