-
Vụ phụ huynh lao vào trường hành hung thầy giáo: Lộ tin nhắn "thân mật" gửi nữ sinh lớp 10 -
Tháng 11 đón "cơn mưa tài lộc": 3 con giáp này đổi đời, tiền về ồ ạt, giàu sang khó tưởng! -
Làm rõ vụ người đàn ông trốn trong nhà văn hóa, lên mạng cầu cứu lúc tối muộn -
Thực hư clip ghi lại hình ảnh cô gái trẻ bỏ cả 2 tay để bấm điện thoại trong lúc lái xe gây xôn xao -
Thực hư tin đồn Huấn Hoa Hồng bị bắt, "giang hồ mạng" có động thái lạ khi trở thành tâm điểm -
Tiên Nguyễn - ái nữ tỷ phú Johnathan Hạnh Nguyễn sắp lên xe hoa, tò mò danh tính chú rể -
Hà Nội bất ngờ rào đóng cầu Long Biên, người dân ngơ ngác, giao thông hỗn loạn -
Bạch Mã (Huế) hứng chịu trận mưa "kỷ lục" Việt Nam, đứng thứ hai thế giới! -
Nghĩa vụ quân sự có giới hạn với người chuyển giới? Quy định pháp luật và quyền lợi ít ai biết -
Một người phụ nữ tử vong do điện giật ở Đà Nẵng: Nhà còn ngập nước phải tổ chức đám tang nhờ
Công nghệ
09/12/2024 14:45Công nghệ 'nén AI' sẽ cho phép ChatGPT chạy trực tiếp trên điện thoại, laptop: Không còn cần tới hàng trăm nghìn máy chủ khổng lồ?
Các mô hình trí tuệ nhân tạo (AI) mạnh mẽ như ChatGPT vốn đòi hỏi lượng lớn năng lượng và thường được lưu trữ tại các trung tâm dữ liệu khổng lồ. Tuy nhiên, một bước đột phá mới có thể nén các mô hình AI này để chúng hoạt động ngay trên smartphone hoặc laptop.
Thuật toán nén đột phá: CALDERA
Một thuật toán mới, mang tên Calibration Aware Low Precision Decomposition with Low Rank Adaptation (CALDERA), cho phép nén lượng dữ liệu khổng lồ cần thiết để vận hành các mô hình ngôn ngữ lớn (LLM) bằng cách loại bỏ sự dư thừa trong mã và giảm độ chính xác của các lớp thông tin.

Theo nghiên cứu được công bố vào ngày 24/5 trên cơ sở dữ liệu tiền in arXiv, CALDERA giúp các mô hình ngôn ngữ trở nên gọn nhẹ hơn, nhưng vẫn giữ được độ chính xác và tính tinh tế gần tương đương với phiên bản gốc. Thuật toán này sẽ được trình bày tại Hội nghị về Hệ thống Xử lý Thông tin Thần kinh (NeurIPS) vào tháng 12 tới.
Thuật toán này kết hợp hai kỹ thuật chính: Đầu tiên, kĩ thuật "Low-precision" sẽ giảm số lượng bit được sử dụng để lưu trữ thông tin, giúp tăng tốc độ xử lý và cải thiện hiệu quả năng lượng. Trong khi đó, kĩ thuật "Low-rank" sẽ cắt giảm các tham số dư thừa trong quá trình đào tạo mô hình, giúp giảm dung lượng lưu trữ.
Sự kết hợp này cho phép CALDERA đạt mức độ nén vượt trội hơn hẳn so với khi chỉ sử dụng từng kỹ thuật riêng lẻ.
"Chúng tôi phát hiện rằng không chỉ các tập dữ liệu mà cả các mô hình ngày nay cũng đang trở nên khổng lồ. Thuật toán của chúng tôi có thể áp dụng để nén cả hai," Rajarshi Saha, đồng tác giả nghiên cứu và nghiên cứu sinh tại Đại học Stanford, chia sẻ.
Kết quả thử nghiệm đầy triển vọng
Nhóm nghiên cứu đã thử nghiệm CALDERA trên các mô hình mã nguồn mở của Meta như Llama 2 và Llama 3. Kết quả cho thấy thuật toán này cải thiện hiệu suất nén lên đến 5% so với các phương pháp chỉ sử dụng một trong hai kỹ thuật trên.
Việc này mở ra triển vọng cho các mô hình AI lớn có thể được lưu trữ và vận hành trực tiếp trên smartphone hoặc laptop trong tương lai — đặc biệt ở những trường hợp đòi hỏi sự bảo mật cao hoặc khi không cần độ chính xác tối đa.
Dù CALDERA mang lại tiềm năng lớn, các nhà khoa học cũng cảnh báo rằng các mô hình AI hiện tại chưa được tối ưu hóa để hoạt động hiệu quả trên các thiết bị nhỏ như smartphone.
"Nếu bạn chạy một mô hình AI lớn và điện thoại hết pin chỉ trong một giờ, điều đó sẽ không hề lý tưởng," Saha giải thích. "Thuật toán này là một phần trong giải pháp tổng thể, kết hợp với các kỹ thuật khác để làm cho việc sử dụng AI trên thiết bị di động trở nên khả thi và hiệu quả hơn."
Theo Việt Anh (Thanh Niên Việt)
- TP HCM: "Đinh tặc" tái xuất với "vũ khí mới" miễn nhiễm với xe hút đinh (17:15)
- Đột kích sào huyệt ở Campuchia, triệt phá đường dây lừa tình, giả danh công an, chiếm đoạt hơn 300 tỷ đồng (17:06)
- Cho bạn thân vay tiền vài lần, tôi mới ngấm câu nói của vợ: "Đến khi anh không cho vay nữa, người ta sẽ oán giận anh" (1 giờ trước)
- Bắt tạm giam và khám xét nơi ở của nữ hiệu trưởng Doãn Thị Lệ Xuân (1 giờ trước)
- Vụ phụ huynh lao vào trường hành hung thầy giáo: Lộ tin nhắn "thân mật" gửi nữ sinh lớp 10 (1 giờ trước)
- Xót xa cảnh ca sĩ Ánh Tuyết vừa ốm dậy đã phải thức trắng đêm, đưa vật nuôi "chạy lụt" ở Đà Nẵng (1 giờ trước)
- Cặp đôi Trung Quốc kết hôn giả để ghép thận, kết cục thực sự phải lòng nhau (1 giờ trước)
- Sai phạm liên quan tham nhũng có thể không bị xử lý hình sự nếu đáp ứng 3 điều kiện (1 giờ trước)
- Tháng 11 đón "cơn mưa tài lộc": 3 con giáp này đổi đời, tiền về ồ ạt, giàu sang khó tưởng! (1 giờ trước)
- Làm rõ vụ người đàn ông trốn trong nhà văn hóa, lên mạng cầu cứu lúc tối muộn (1 giờ trước)