-
3 người mắc kẹt trong căn nhà cháy ở Hà Nội
-
Bé gái bị bỏ rơi cùng tâm thư nhói lòng của người mẹ ở Đà Lạt
-
Chu Thanh Huyền mua 9 hộp trang sức rồi "nịnh" Quang Hải trả tiền, tuyên bố muốn giống Triệu Lộ Tư
-
Tai nạn khi ăn lẩu khiến 3 trẻ cùng nhà ở Hà Nội phải vào viện cấp cứu
-
Top 3 con giáp bùng nổ vận may, sự nghiệp thăng hoa, tài lộc dồi dào cuối tuần này (9-10/8)
-
Khi nào chính thức cấm xe tải chạy vào làn sát dải phân cách 2 tuyến cao tốc?
-
Tìm thấy thiếu niên mất tích ở Ninh Bình, lộ tin nhắn có nội dung đáng sợ
-
Đà Nẵng: Thanh niên bỗng co giật rồi ngừng tim khi chờ khám bệnh, diễn biến sau đó cực kỳ căng thẳng
-
5 món ăn "thần hộ mệnh" cho lá gan: Giúp bạn trẻ lâu, đẹp da và hết mệt mỏi
-
Sự thật rợn người sau những chuyến áp giải nữ phạm nhân thời xưa
-
Muốn thoát nghèo thì chớ để những thứ này trong nhà bếp
-
Vợ Đoàn Văn Hậu tung ảnh bikini nóng bỏng, khoe vóc dáng "đồng hồ cát" sau 1 năm "giấu nhẹm" vì sinh con
-
Trúng số 8 tỷ đồng, người đàn ông nhận hết tiền mặt, nghe quyết định chia tiền mà bất ngờ
-
Cháy nhà khóa trái cửa ở TPHCM, 3 người thoát nạn qua lối trổ ban công tầng 2
-
Nhanh trí cầu cứu CSGT, tài xế grab thoát hiểm trước vị khách "ngáo đá"
-
Danh sách 15 cầu, 17 tuyến đường TPHCM đề xuất lập vùng hạn chế xe xăng
-
Người phụ nữ ở Hà Nội tử vong sau va chạm với xe đầu kéo đi lùi
-
Xuân Lan bóc trần game show: "Tôi được giao đóng vai ác, chửi người như hát"
-
Cách chạy ChatGPT không cần mạng Internet
-
Một ngày huấn luyện của đội hình máy bay chiến đấu tham gia sự kiện A80
Công nghệ
18/05/2023 16:00Mô hình AI mới nhất của Google: Ít tham số, nhiều dữ liệu
PaLM 2, mô hình ngôn ngữ lớn (LLM) mới nhất của Google vừa công bố tuần trước, sử dụng dung lượng dữ liệu đào tạo gần gấp 5 lần so với “người tiền nhiệm” của năm 2022, cho phép nó có thể lập trình, giải toán và sáng tạo nội dung nâng cao hơn.
Tại sự kiện Hội nghị các nhà phát triển Google I/O, gã khổng lồ tìm kiếm đã giới thiệu PaLM 2 - mô hình ngôn ngữ được đào tạo dựa trên 3,6 ngàn tỷ mã thông báo (token). Các token này là chuỗi các từ - nền tảng tạo thành khối dùng trong đào tạo LLM dự đoán từ tiếp theo sẽ xuất hiện.
Phiên bản trước đó của PaLM được phát hành vào năm 2022 và được đào tạo bằng 780 tỷ mã thông báo.

Mặc dù Google liên tục giới thiệu sức mạnh AI trong những tác vụ tìm kiếm, email, xử lý văn bản và bảng tính, song công ty này không muốn công khai kích thước hoặc chi tiết về bộ dữ liệu đào tạo của mình. OpenAI cũng giữ bí mật chi tiết thông số huấn luyện LLM mới nhất của họ là GPT-4.
Các công ty công nghệ lý giải nguyên nhân do bản chất cạnh tranh của hoạt động kinh doanh. Cả Google và OpenAI đều đang chạy đua thu hút người dùng với các sản phẩm chatbot thay vì công cụ tìm kiếm truyền thống.
Nhỏ gọn, mạnh mẽ, tiết kiệm chi phí
Google cho biết, PaLM 2 có kích thước nhỏ gọn hơn so với những mô hình tiền nhiệm, khi được huấn luyện với 340 tỷ tham số so với 540 tỷ tham số của phiên bản trước đó. Điều này cho thấy công nghệ của công ty đang trở nên hiệu quả hơn trong thực thi những tác vụ phức tạp.
Để đạt được điều này, PaLM 2 sử dụng kỹ thuật mới gọi là “tối ưu điện toán mở rộng”, mang lại “hiệu suất tổng quát tốt hơn, bao gồm khả năng suy luận nhanh hơn với ít tham số làm giảm chi phí hoạt động”.
Mô hình AI ngôn ngữ mới nhất của Google được đào tạo trên 100 ngôn ngữ, đang thực hiện nhiều nhiệm vụ khác nhau cho 25 tính năng và sản phẩm, bao gồm cả chatbot thử nghiệm Bard. PaLM 2 có bốn phiên bản dựa trên kích cỡ, từ nhỏ nhất đến lớn nhất: Gecko (Tắc kè), Otter (Rái cá), Bison (Bò rừng) và Unicorn (Kỳ lân).
Theo các tài liệu công khai, PaLM 2 mạnh hơn bất kỳ mô hình nào hiện có. LlaMA của Facebook, ra mắt vào tháng 2, được huấn luyện dựa trên 1,4 ngàn tỷ token. Trong khi đó, lần gần nhất OpenAI công khai kích cỡ dữ liệu đào tạo cho ChatGPT là phiên bản GPT-3 với 300 tỷ mã thông báo.
Sự bùng nổ các ứng dụng AI đã tạo ra những tranh cãi xung quanh công nghệ này. Đầu năm nay, El Mahdi El Mhamdi, một nhà khoa học cấp cao tại Google Research đã từ chức để phản đối sự thiếu minh bạch của gã khổng lồ tìm kiếm.
Tuần này, CEO OpenAI Sam Altman cũng có phiên điều trần trước tiểu ban Tư pháp Thượng viện Mỹ về quyền riêng tư và công nghệ trong bối cảnh AI trở nên phổ biến. Tại đây, “cha đẻ” ChatGPT nhất trí với các nhà lập pháp rằng cần có quy định mới để quản lý AI.
Theo Thế Vinh (VietNamNet)








- 3 người mắc kẹt trong căn nhà cháy ở Hà Nội (16:38)
- Bé gái bị bỏ rơi cùng tâm thư nhói lòng của người mẹ ở Đà Lạt (16:32)
- Bản hit 93 triệu views từng khiến Tóc Tiên bật khóc, 1 Anh Trai tiết lộ sự thật có liên quan đến Touliver (16:23)
- Mỗi 1.000km, chủ xe siêu sang Bentley lỗ ngang một chiếc Toyota Yaris Cross mới (16:23)
- Garnacho có bến đỗ mới (16:05)
- Một doanh nghiệp tại TP HCM nợ thuế đến hơn 3.200 tỉ đồng (16:04)
- Chu Thanh Huyền mua 9 hộp trang sức rồi "nịnh" Quang Hải trả tiền, tuyên bố muốn giống Triệu Lộ Tư (45 phút trước)
- Chi tiêu gia đình với 25 triệu/tháng: Chồng trách vợ hoang, đến khi nhìn bảng chi tiết thì xấu hổ nghẹn lòng (48 phút trước)
- Tai nạn khi ăn lẩu khiến 3 trẻ cùng nhà ở Hà Nội phải vào viện cấp cứu (52 phút trước)
- Giải mã bí ẩn gương mặt người đàn ông lạ xuất hiện trong giấc mơ của hơn 2.000 người: Rốt cuộc đây là ai? (54 phút trước)




