-
"20.000 đồng đổi 4 tỉ": Người đàn ông bất ngờ trúng độc đắc xổ số miền Nam -
Vì sao TP Huế, Đà Nẵng và nhiều tỉnh miền Trung xảy ra đợt mưa đặc biệt lớn và kéo dài tới khi nào? -
Sáng dậy phát hiện nhiều hộp lạ trong thùng rác, chủ quán xem camera thì thấy cảnh tượng bất ngờ lúc 19h -
Bất ngờ về lượng tiền mặt khổng lồ của doanh nghiệp -
Lời khai ban đầu của 4 đối tượng người Trung Quốc sát hại lái xe taxi ở Lạng Sơn -
Diễn biến bất ngờ vụ cháu bé 4 tháng tuổi rơi xuống kênh: Công an làm việc với chị Lê Thị Kiều -
Sạt lở, hàng tấn đất đá đổ ập vùi nửa xe tải, tài xế thoát chết trong gang tấc -
Nước biển Vũng Tàu "xanh như matcha" gây bất ngờ -
Bé gái mồ côi đi bán vé số, bị mất liên lạc 4 ngày chưa tìm thấy -
Sao Khánh Vy giàu thế?
Công nghệ
11/04/2024 16:55Vì sao Elon Musk nhất quyết 'đòi' mua 100.000 GPU Nvidia H100 để huấn luyện mô hình AI Grok thế hệ mới?
Elon Musk, CEO của Tesla và người sáng lập xAI, đã đưa ra những dự đoán táo bạo về sự phát triển của trí tuệ nhân tạo tổng quát (AGI) và đã thảo luận về những thách thức mà ngành công nghiệp AI đang đối mặt. Ông dự đoán rằng AGI có thể vượt qua trí tuệ con người vào năm sau hoặc vào năm 2026, nhưng sẽ cần một số lượng lớn các bộ xử lý để huấn luyện, điều này đòi hỏi một lượng lớn điện năng, theo báo cáo của Reuters.
Dự án của Musk, xAI, hiện đang huấn luyện phiên bản thứ hai của mô hình ngôn ngữ lớn Grok và dự kiến sẽ hoàn thành giai đoạn huấn luyện tiếp theo vào tháng Năm. Việc huấn luyện mô hình phiên bản 2 của Grok đã yêu cầu tới 20,000 GPU Nvidia H100, và Musk dự kiến rằng các phiên bản tương lai sẽ yêu cầu nhiều tài nguyên hơn nữa, với mô hình Grok 3 cần khoảng 100,000 chip Nvidia H100 để huấn luyện.

Theo Musk, sự tiến bộ của công nghệ AI hiện nay đang bị cản trở bởi hai yếu tố chính: thiếu hụt nguồn cung cấp các bộ xử lý tiên tiến - như Nvidia H100, vì không dễ để nhanh chóng có được 100,000 chiếc - và nguồn cung điện.
GPU Nvidia H100 tiêu thụ khoảng 700W khi hoạt động hết công suất, do đó 100,000 GPU cho công việc AI và HPC có thể tiêu thụ tới 70 megawatt điện. Vì những GPU này cần máy chủ và hệ thống làm mát để hoạt động, có thể nói rằng một trung tâm dữ liệu với 100,000 bộ xử lý Nvidia H100 sẽ tiêu thụ khoảng 100 megawatt điện. Đó là mức tiêu thụ điện tương đương với một thành phố nhỏ.
Musk nhấn mạnh rằng, mặc dù nguồn cung GPU tính toán đã là một rào cản đáng kể cho đến nay, nguồn cung điện sẽ trở nên ngày càng quan trọng trong một hoặc hai năm tới. Hai hạn chế này nhấn mạnh những thách thức trong việc mở rộng công nghệ AI để đáp ứng nhu cầu tính toán ngày càng tăng.
Mặc dù có những thách thức, sự tiến bộ trong kiến trúc tính toán và bộ nhớ sẽ cho phép huấn luyện các mô hình ngôn ngữ lớn (LLMs) ngày càng khổng lồ trong những năm tới. Nvidia đã giới thiệu Blackwell B200 tại GTC 2024, một kiến trúc GPU và nền tảng được thiết kế để mở rộng đến LLMs với hàng nghìn tỷ tham số. Điều này sẽ đóng vai trò quan trọng trong việc phát triển AGI.
Thực tế, Musk tin rằng một trí tuệ nhân tạo thông minh hơn con người thông minh nhất sẽ xuất hiện trong một hoặc hai năm tới. "Nếu bạn định nghĩa AGI là thông minh hơn con người thông minh nhất, tôi nghĩ đó là năm sau, trong vòng hai năm," Musk đã nói trong một cuộc phỏng vấn trên X Spaces.
Theo Anh Việt (Nguoiduatin)
- "20.000 đồng đổi 4 tỉ": Người đàn ông bất ngờ trúng độc đắc xổ số miền Nam (07:33)
- Vì sao TP Huế, Đà Nẵng và nhiều tỉnh miền Trung xảy ra đợt mưa đặc biệt lớn và kéo dài tới khi nào? (07:29)
- Bất ngờ về lượng tiền mặt khổng lồ của doanh nghiệp (07:12)
- Lời khai ban đầu của 4 đối tượng người Trung Quốc sát hại lái xe taxi ở Lạng Sơn (07:08)
- Hiện trạng "thung lũng ám ảnh" tại Ninh Bình sau khi Phó Chủ tịch tỉnh đi kiểm tra (47 phút trước)
- Nước lũ dâng cao, người dân Đà Nẵng liên tục cầu cứu trong đêm (1 giờ trước)
- Nam thanh niên bị bỏng cháy đen khi trộm cắp cáp điện (1 giờ trước)
- Tổng thống 92 tuổi của Cameroon tái đắc cử, tiếp nối 43 năm cầm quyền (1 giờ trước)
- Sau cơn sốt, giá vàng giảm tới 12 triệu đồng/lượng: Có còn xuống thêm? (1 giờ trước)
- 19 toa tàu chở đá giữ cầu Bạch Hổ giữa dòng lũ sông Hương (1 giờ trước)