Trong video chia sẻ trên X ngày 19/1, công ty siêu máy tính Cerebras cho biết đã sử dụng hệ thống chạy chip WSE-3 kết hợp mô hình ngôn ngữ lớn (LLM) Llama 3.1 405B (405 tỷ tham số) của Meta và dịch vụ đám mây AI Cerebras Inference để lập trình trò chơi cờ vua bằng Python, sau đó so sánh với hệ thống khác cũng chạy LLM của Meta nhưng dùng dịch vụ đám mây Amazon Web Services (AWS) và🌊 GPU Nvidia.
Thời gian tạo game chơi cờ vua của Cerebras Inference (bên trái) so với AI chạy trên đám mây của AWS. Video: X/Cerebras
Kết quả, với khả năng tạo 972 token (mã riêng lẻ từ phản hồi của LLM) mỗi 🔜giây và thời gian bắt đầu token đầu ꦆtiên là 0,24 giây, hệ thống của Cerebras mất hơn hai giây để viết một game cờ vua - kỷ lục thế giới hiện tại. Trong khi đó, hệ thống AWS mất gần 20 giây.
Cerebras cũng so sánh hàng loạt AI hàng đầu khác từ Goo🌜gle, Microsoft Azure hay Fireworks và đều cho kết quả vượt trội. SambaNova, đối thủ cạnh tranh trực tiếp của WSE-3, cũng bị Cerebras Inference đánh bại với thời gian nhanh gấp 6 lần.
Thời gian để xử lý token đầu tiên trên hệ thống của Cerebras với mô hình Llama 3.1 405B so với các đối thủ. Ảnh: X/Cerebras
"Llama 3.1 405B trên Cerebras là mô hình nhanh nhất thế giới cho đến nay, gấp 12 lần so với GPT-4o, 18 lần so với Claude 3.5 Sonnet", Cerebras nói với Tom's Hardware. "Nhờ sự kết hợp giữa phương pháp tiếp cận mở của Meta và cônꦍg nghệ suy luận đột phá của Cerebras, Llama 3.1 405B hiện chạy nhanh hơn 10 lần so với các LLM đóng đ🦋ang có trên thị trường".
Cũng theo đại diện Cerebras, ngay cả khi tăng kích thước truy vấn từ 1.000 token lên 100.000 token (một lời nhắc được tạo thành từ ít nhất vài nghìn từ), Cerebras Inference cũng sẽ hoạt động ở mức 539 token mỗi🦄 giây. Các đối thủ hiện có đạt 49 token mỗi giây.
Kích thước của chip WSE-3. Ảnh: Cerebras
Được giới thiệu hồi tháng 3, WSE-3 là nền tảng thế hệ thứ ba của Cerebras, được thiết kế để vận hành hệ thống AI n๊hư GPT-4 của OpenAI và Claude 3 Opus của Anthropic. Chip chứa 4.000 tỷ bóng bán dẫn, 900.000 lõi AI, cấu tạo từ tấm bán dẫn silicon 21,5 x 21,5 cm. Chip giống phiên bản tiền nhiệm năm 2021 là WSE-2, tiêu thụ cùng lượng điện nhưng mạnh gấp đôi. Để so sánh, một trong những chip mạnh nhất hiện nay dùng để huấn luyện mô hình AI là Nvidia H200 hiện có 80 tỷ bóng bán dẫn, ít hơn 57 lần so với chip của Cerebras.
Bảo Lâm
- Rác từ chip AI tương đương 'thải 13 tỷ iPhone mỗi năm'
- AMD ra chip AI cạnh tranh với Nvidia
- Chip AI Trung Quốc đạt 45 tỷ phép tính mỗi giây
- Startup Mỹ ra chip AI 'mạnh hơn Nvidia H100 20 lần'