-
Chỉ cần giải quyết vấn đề này, người Hà Nội không còn phải bì bõm lội nước
-
Hỗ trợ khẩn cấp 140 tỷ cho 4 tỉnh khắc phục hậu quả mưa lũ, Thái Nguyên mức cao nhất 50 tỷ
-
Cụ bà 91 tuổi ở Thái Nguyên ngồi canh bát hương chồng trong căn nhà ngập nặng
-
100 thuyền, xuồng từ Chùa Hương tiến về vùng lũ trợ giúp người dân Thái Nguyên, Bắc Ninh
-
Cô gái 20 tuổi trở về từ Malaysia nhập viện cấp cứu vì ngực rỉ dịch xanh bất thường sau một mũi tiêm
-
Ban chấp hành Đảng bộ TP Hà Nội nhiệm kỳ 2025-2030 dự kiến có 75 người
-
Cư dân biệt thự Hà Nội sắm máy bơm "khủng", canh nước ngập như canh "chứng khoán"
-
Vì sao mưa bão cực lớn, dị thường liên tiếp trút xuống gây ngập lụt lịch sử?
-
Chóng mặt khi đang làm việc, người đàn ông đột ngột rơi vào nguy kịch
-
Thủ tướng Phạm Minh Chính tới Thái Nguyên thăm hỏi người dân, chỉ đạo khắc phục hậu quả mưa lũ
Công nghệ
09/12/2024 14:45Công nghệ 'nén AI' sẽ cho phép ChatGPT chạy trực tiếp trên điện thoại, laptop: Không còn cần tới hàng trăm nghìn máy chủ khổng lồ?
Các mô hình trí tuệ nhân tạo (AI) mạnh mẽ như ChatGPT vốn đòi hỏi lượng lớn năng lượng và thường được lưu trữ tại các trung tâm dữ liệu khổng lồ. Tuy nhiên, một bước đột phá mới có thể nén các mô hình AI này để chúng hoạt động ngay trên smartphone hoặc laptop.
Thuật toán nén đột phá: CALDERA
Một thuật toán mới, mang tên Calibration Aware Low Precision Decomposition with Low Rank Adaptation (CALDERA), cho phép nén lượng dữ liệu khổng lồ cần thiết để vận hành các mô hình ngôn ngữ lớn (LLM) bằng cách loại bỏ sự dư thừa trong mã và giảm độ chính xác của các lớp thông tin.
Theo nghiên cứu được công bố vào ngày 24/5 trên cơ sở dữ liệu tiền in arXiv, CALDERA giúp các mô hình ngôn ngữ trở nên gọn nhẹ hơn, nhưng vẫn giữ được độ chính xác và tính tinh tế gần tương đương với phiên bản gốc. Thuật toán này sẽ được trình bày tại Hội nghị về Hệ thống Xử lý Thông tin Thần kinh (NeurIPS) vào tháng 12 tới.
Thuật toán này kết hợp hai kỹ thuật chính: Đầu tiên, kĩ thuật "Low-precision" sẽ giảm số lượng bit được sử dụng để lưu trữ thông tin, giúp tăng tốc độ xử lý và cải thiện hiệu quả năng lượng. Trong khi đó, kĩ thuật "Low-rank" sẽ cắt giảm các tham số dư thừa trong quá trình đào tạo mô hình, giúp giảm dung lượng lưu trữ.
Sự kết hợp này cho phép CALDERA đạt mức độ nén vượt trội hơn hẳn so với khi chỉ sử dụng từng kỹ thuật riêng lẻ.
"Chúng tôi phát hiện rằng không chỉ các tập dữ liệu mà cả các mô hình ngày nay cũng đang trở nên khổng lồ. Thuật toán của chúng tôi có thể áp dụng để nén cả hai," Rajarshi Saha, đồng tác giả nghiên cứu và nghiên cứu sinh tại Đại học Stanford, chia sẻ.
Kết quả thử nghiệm đầy triển vọng
Nhóm nghiên cứu đã thử nghiệm CALDERA trên các mô hình mã nguồn mở của Meta như Llama 2 và Llama 3. Kết quả cho thấy thuật toán này cải thiện hiệu suất nén lên đến 5% so với các phương pháp chỉ sử dụng một trong hai kỹ thuật trên.
Việc này mở ra triển vọng cho các mô hình AI lớn có thể được lưu trữ và vận hành trực tiếp trên smartphone hoặc laptop trong tương lai — đặc biệt ở những trường hợp đòi hỏi sự bảo mật cao hoặc khi không cần độ chính xác tối đa.
Dù CALDERA mang lại tiềm năng lớn, các nhà khoa học cũng cảnh báo rằng các mô hình AI hiện tại chưa được tối ưu hóa để hoạt động hiệu quả trên các thiết bị nhỏ như smartphone.
"Nếu bạn chạy một mô hình AI lớn và điện thoại hết pin chỉ trong một giờ, điều đó sẽ không hề lý tưởng," Saha giải thích. "Thuật toán này là một phần trong giải pháp tổng thể, kết hợp với các kỹ thuật khác để làm cho việc sử dụng AI trên thiết bị di động trở nên khả thi và hiệu quả hơn."
Theo Việt Anh (Thanh Niên Việt)








- Hoài Lâm quyết định sốc chưa từng có (16:24)
- Báo Anh: "Tuyển Malaysia gian lận trắng trợn" (16:21)
- Chỉ cần giải quyết vấn đề này, người Hà Nội không còn phải bì bõm lội nước (16:12)
- Kỹ sư Lê Văn Tạch: Lái xe thoát qua đường ngập nước thành công, đừng vội mừng (16:09)
- MU họp với dàn sao trụ cột xem giữ hay sa thải Ruben Amorim (16:00)
- Truy tìm để đánh đối thủ, nhóm 12 đối tượng khiến 2 thiếu niên thương vong (16:00)
- Sinh viên Việt Nam được dùng miễn phí Google AI Pro (32 phút trước)
- Myra Trần thi The Voice Mỹ, không HLV nào bấm chọn (39 phút trước)
- Ukraine hé lộ số vụ tấn công bằng tên lửa ‘thủy thần’ nhằm vào Nga (43 phút trước)
- Xác định hai đội tuyển đầu tiên vào tứ kết U20 World Cup 2025 (46 phút trước)




