Theo Reuters, trong một báo cáo khoa học được Google công bố ngày 4/4, ꧙hãng đã mô tả về về siêu máy tính được dùng để huấn luyện mạng thần k🍬inh nhân tạo, được cho là hoạt động nhanh và hiệu quả hơn so với hệ thống tương tự sử dụng chip A100 của Nvidia.
Siêu máy tính của Google được trang bị chip Tensor Processing Unit (TPU) thế hệ thứ tư do Google thiết kế. Tenಞsor v4, ra mắt từ 2021, hiện góp mặt trong hơn 90% công việc đào tạo AI của Google.
Hãng đã kết nối 4.096 chip thông qua công tắc quang♋ học tự phát triển. Công tắc quang học là chìa khóa giúp các công ty chế tạo bộ xử lý cho siêu máy tính AI. Các mô hình ngôn ngữ lớn như Bard hay ChatGPT đều có dung lượng quá lớn để lưu trữ trên một chip, thay vào đó được chia vào hàng nghìn chip hoạt động cù𒁏ng nhau trong hàng tuần để huấn luyện mô hình.
Sundar Pichai, CEO Google, giới thiệu Tensor v4 năm 2021. Ảnh: Google
Google đã dùng siêu máy tính của mình huấn luyện PaLM, mô hình ngôn ngꦦữ lớn được đánh giá tốt nhất hiện nay. Google cho biết hệ thống có thể dễ dàng cấu hình lại kết nối giữa các chip một cách nhanh chóng, giúp giảm sự cố và điều chỉnh t𓆏ăng hiệu suất của mô hình máy học.
Dù mới công bố thông tin, thực tế Google đã sử dụng siêu máy tính từ năm 2020 tại trung tâm dữ liệu ở Hạt Mayes, Oklahoma. Startup Midjourney cũng đang dùng hệ thống này để huấn luyện AI tạo hình ảnh từ văn😼 bản.
Theo Google, so với hệ thống tương đương sử dụng chip xử lý A100 của Nvidia, siêu máy tính của hãng nhanh hơn 1,7 lần và tiết kiệm năng lượng hơn 1,9 lần. A100 và Tensor v4. Google không so sánh với chip H100 cao cấp của Nvidia do mới ra mắt năm ngoái và sản xuất trên công ngᩚᩚᩚᩚᩚᩚᩚᩚᩚ𒀱ᩚᩚᩚhệ m🌃ới hơn. Hãng cũng đang phát triển chip Tensor thế hệ mới cạnh tranh với H100.
Nvidia từ chối bình luận về thông tin của Google. A100, ra mắt năm 2020, có giá 10.000 USD và được coi là một trong những thành phần thiết yếu nhất của ngành công nghiệp AI. A100 đang được sử dụng trong mô hình học máy đứng sau ChatGPT, Bing AI và Stable Diffusion, nhờ khả năng tiến ♒hành đồng thời hàng loạt tính toán đơn giản, đóng vai trò 𒐪quan trọng với việc huấn luyện và sử dụng mạng thần kinh nhân tạo.
Huy Đức (theo Reuters)