Meta công bố mô hình AI tiên tiến Llama 4

Đăng bởi

lightmark
08/04/2025

Theo đó, Llama 4 bao gồm ba mô hình chính là Llama 4 Scout, Llama 4 Maverick và Llama 4 Behemoth, được thiết kế với các thông số kỹ thuật và ứng dụng riêng biệt.

Llama 4 Scout là mô hình nhỏ nhất với 17 tỉ tham số hoạt động trong mỗi lượt xử lý yêu cầu và tổng cộng có 109 tỉ tham số. Đáng chú ý, Scout có thể vận hành trên GPU NVIDIA H100 duy nhất và hỗ trợ cửa sổ ngữ cảnh lên đến 10 triệu token, gấp 80 lần so với phiên bản trước đó.

Llama 4 Maverick là mô hình tầm trung, cũng sẽ gọi 17 tỉ tham số tham gia xử lý cho mỗi yêu cầu nhưng tổng có đến 400 tỉ tham số, phân bổ qua 128 chuyên gia. Maverick được thiết kế để xử lý các nhiệm vụ phức tạp hơn, cung cấp hiệu suất cao trong các bài kiểm tra mã hóa và lý luận.

Llama 4 Behemoth là mô hình lớn nhất và hiện vẫn đang trong quá trình huấn luyện, với 288 tỉ tham số hoạt động và có tổng cộng 2.000 tỉ tham số. Meta kỳ vọng Behemoth sẽ vượt trội so với các mô hình hàng đầu hiện nay như GPT-4.5 và Claude Sonnet 3.7 trong các bài kiểm tra về khoa học, công nghệ, kỹ thuật và toán học (STEM).

Meta công bố mô hình AI tiên tiến nhất với tên Llama 4 - Ảnh 1. — Llama 4 được Meta kỳ vọng cạnh tranh với các mô hình LLM từ OpenAI và Google

Cả Scout và Maverick đều được xây dựng trên kiến trúc "Mixture of Experts" (MoE), cho phép mô hình kích hoạt chỉ một phần nhỏ các tham số khi xử lý, giúp tối ưu hóa tài nguyên và tăng hiệu suất. Đặc biệt, các mô hình này hỗ trợ đa phương thức (multimodal), có khả năng xử lý đồng thời văn bản và hình ảnh, mở rộng khả năng ứng dụng trong nhiều lĩnh vực khác nhau.

Meta đã tích hợp các mô hình Llama 4 vào các sản phẩm AI của mình trên WhatsApp, Messenger, Instagram Direct và trang web Meta AI. Ngoài ra, các mô hình này cũng được cung cấp trên các nền tảng đám mây như Azure AI Foundry và Azure Databricks, cho phép các nhà phát triển dễ dàng truy cập và triển khai.

Llama 4 cho thấy nỗ lực của Meta trong việc cạnh tranh với các đối thủ như OpenAI và Google DeepMind trong lĩnh vực AI. Tập đoàn dự kiến sẽ tiếp tục đầu tư với kế hoạch chi tiêu lên đến 65 tỉ USD trong năm 2025 để mở rộng hạ tầng AI và phát triển các mô hình tiên tiến hơn.

Quá trình phát triển Llama 4 không hoàn toàn suôn sẻ, một số báo cáo cho biết Meta đã gặp phải những thách thức về hiệu suất trong các bài kiểm tra nội bộ liên quan đến khả năng xử lý toán học và lý luận. Để khắc phục, tập đoàn đã áp dụng các phương pháp huấn luyện mới như dùng kiến trúc MoE.