Meta phát hành Llama 3.1 405B: Canh bạc mã nguồn mở lịch sử của Mark Zuckerberg
Với hơn 400 tỷ tham số được huấn luyện trên cụm 16.000 GPU H100, Llama 3.1 405B là mô hình AI nguồn mở đầu tiên đạt hiệu năng tương đương các hệ thống độc quyền của OpenAI và Anthropic.
Điểm nhấn then chốt (Key Takeaways)
- Mô hình AI mã nguồn mở đầu tiên vượt mốc 400 tỷ tham số, sánh ngang GPT-4o về lập trình và giải toán.
- Cửa sổ ngữ cảnh mở rộng lên 128.000 token và hỗ trợ 8 ngôn ngữ chính thức.
- Cho phép các tổ chức dùng đầu ra của mô hình 405B để huấn luyện chắt lọc (distill) các mô hình con nhỏ hơn.
- Mark Zuckerberg đăng tâm thư khẳng định nguồn mở là con đường duy nhất bảo đảm an toàn và tự do công nghệ toàn cầu.
1. Cột mốc lịch sử của phong trào mã nguồn mở
Trong suốt 2 năm kể từ khi ChatGPT ra mắt, ngành công nghiệp AI bị chi phối bởi quan niệm rằng chỉ có các mô hình độc quyền đóng kín của OpenAI hay Google mới có thể đạt tới đỉnh cao trí tuệ. Các mô hình nguồn mở tuy miễn phí nhưng luôn bị bỏ lại phía sau một khoảng cách thế hệ khá xa.
Llama 3.1 405B ra mắt đã phá vỡ hoàn toàn định kiến đó. Với quy mô 405 tỷ tham số được huấn luyện trên hơn 15 nghìn tỷ token văn bản chất lượng cao, mô hình của Meta đã chính thức san bằng khoảng cách về điểm số benchmark với GPT-4o và Claude 3.5 Sonnet trên hầu hết các bài kiểm tra toán học, lập trình và suy luận đa ngôn ngữ.
"Mã nguồn mở đã xây dựng nên toàn bộ thế giới số hiện đại – từ Linux, Apache cho đến Android. Trí tuệ nhân tạo cũng sẽ đi theo con đường tất yếu đó. Nguồn mở sẽ giúp công nghệ an toàn hơn, công bằng hơn và đem lại lợi ích cho toàn nhân loại."
2. Quyền lực chắt lọc mô hình cho các công ty công nghệ
Một trong những thay đổi mang tính đột phá nhất trong giấy phép sử dụng của Llama 3.1 là Meta cho phép các nhà phát triển sử dụng kết quả đầu ra của mô hình 405B để huấn luyện và cải thiện các mô hình ngôn ngữ khác. Đây là điều mà điều khoản dịch vụ của OpenAI tuyệt đối cấm đoán.
Nhờ quy định cởi mở này, các công ty khởi nghiệp và nhóm nghiên cứu có thể dùng Llama 3.1 405B như một "người thầy thông thái" để chắt lọc kiến thức (Model Distillation) sang các phiên bản nhỏ gọn 8B hoặc 70B, giúp chúng đạt hiệu năng xuất sắc nhưng vẫn chạy được trên các phần cứng máy tính giá rẻ.
3. Thách thức phần cứng khi tự vận hành mô hình 405 tỷ tham số
Mặc dù trọng số mô hình được tải về miễn phí, việc triển khai Llama 3.1 405B vào thực tế đòi hỏi hạ tầng máy chủ vô cùng đắt đỏ. Để nạp được toàn bộ mô hình ở chuẩn độ chính xác FP16, hệ thống cần tối thiểu 810GB dung lượng VRAM – tương đương một cụm máy chủ chuyên dụng gồm 8 đến 16 GPU cao cấp.
Chính vì vậy, hầu hết các doanh nghiệp hiện nay lựa chọn sử dụng phiên bản 405B thông qua các nhà cung cấp dịch vụ đám mây như AWS Bedrock, Cloudflare Workers AI hay Azure, hoặc chỉ tải phiên bản Llama 3.1 8B và 70B về chạy trên hạ tầng nội bộ của mình.
Nguồn tin & Tài liệu tham khảo chính thống
Bài viết được tổng hợp, đối chiếu và biên dịch từ các ấn phẩm và báo cáo kỹ thuật:
- [1]The Llama 3 Herd of Models: Technical Report— (Meta AI Research)
- [2]Open Source AI Is the Path Forward: Mark Zuckerberg’s Manifesto— (Meta Newsroom)
- [3]Meta drops Llama 3.1 with massive 405B flagship model— (Ars Technica Hardware & AI)
Ban biên tập Công nghệ Oloka.net
Bài viết được biên soạn và kiểm chứng độc lập bởi đội ngũ phóng viên công nghệ Oloka.net. Chúng tôi tuân thủ các nguyên tắc minh bạch dữ liệu và trích dẫn nguồn tin gốc. Mọi phản hồi xin vui lòng liên hệ tòa soạn.
