66B là một mô hình ngôn ngữ lớn được thiết kế để xử lý các tác vụ ngôn ngữ tự nhiên ở nhiều ngữ cảnh khác nhau. Với tổng số tham số lên tới 66 tỷ, 66B kết nối khả năng ghi nhớ và suy luận để tạo ra văn bản tự nhiên, trả lời câu hỏi, tóm tắt văn bản và hỗ trợ dịch thuật.
Kiến trúc căn bản dựa trên transformer với cơ chế attention đa đầu, cho phép mô hình học được mối liên kết dài hạn giữa các từ và cụm từ. Quá trình huấn luyện thường sử dụng tập dữ liệu khổng lồ từ web, sách, mã nguồn và tài liệu chuyên ngành, kết hợp nhiều ngôn ngữ để cải thiện khả năng nhận diện ngôn ngữ và chuyển ngữ.
66B, giống như mọi mô hình ngôn ngữ lớn khác, có thể mắc thiên lệch trong dữ liệu, tạo thông tin sai lệch hoặc phản ứng không mong đợi với các yêu cầu phức tạp. Người dùng nên kết hợp kiểm tra nguồn và đánh giá ngữ cảnh khi triển khai trong ứng dụng thực tế, như phần mềm hỗ trợ viết, tổng hợp dữ liệu, trợ lý ảo, và trợ giúp lập trình.