-
Cận cảnh dàn xe tăng, xe thiết giáp, ngư lôi lần đầu xuất hiện tại triển lãm lớn nhất lịch sử
-
Công bố kết quả nghiên cứu ảnh hưởng của xăng E10 với ô tô, xe máy
-
Cùng đi xem xe, người đàn ông bỏ lại bạn gái rồi lấy xe máy phóng mất hút
-
Cô bé từng xuất hiện trong trận Chung kết Olympia 19 năm trước giờ đã thành Chị Đẹp, cuộc sống thay đổi 180 độ
-
Danh tính nam thanh niên xăm trổ thách thức công an tại chốt bảo vệ sơ duyệt A80
-
Bức ảnh nghiệt ngã: Người trao giải và người nhận giải Miss Audition 2006 đều vướng lao lý
-
TP HCM: Cán bộ, công chức thôi việc sau sắp xếp có thể vay đến 300 triệu đồng
-
Ô tô bất ngờ "sụt hố" trên phố Đội Cấn, Hà Nội
-
Lần đầu tiên người dân có thể bán vàng miếng với giá 127 triệu/lượng
-
Bão số 6 khả năng sắp hình thành, trọng tâm mưa lớn ở miền Trung
-
Vụ 8 cán bộ Quảng Ninh làm lộ bí mật nhà nước: Sơ suất nhỏ có thể phạm điều nghiêm cấm
-
"Ông Ba Minh cưu mang vợ nhặt 11 năm" nhận 1,6 tỷ đồng: Tiền sẽ được sử dụng thế nào?
-
Nhà triệu USD cứ mưa là ngập, vì sao giá không ngừng tăng?
-
iPhone 17 hoàn toàn "mất tích" khỏi đại lý chính hãng Việt Nam
-
"Bảo bối" UAV đa năng ra mắt tại công trình kỷ lục Việt Nam: Vận tốc tối đa 200km/h, có thể mang cả tên lửa
-
Danh tính chàng chiến sĩ 'triệu view' đang gây sốt mạng xã hội dịp lễ 2/9
-
Clip thanh niên đâm bạn tử vong: Hé lộ nguyên nhân phát sinh trên bàn nhậu
-
Cục Cảnh sát kinh tế ra yêu cầu khẩn đối với bà Đào Thị Hương Lan
-
Loạt ngân hàng hướng dẫn cách liên kết tài khoản hưởng an sinh xã hội trên VNeID
-
Đề nghị truy tố các cựu lãnh đạo tỉnh Khánh Hòa liên quan đến các dự án Phúc Sơn
Công nghệ
18/05/2023 16:00Mô hình AI mới nhất của Google: Ít tham số, nhiều dữ liệu
PaLM 2, mô hình ngôn ngữ lớn (LLM) mới nhất của Google vừa công bố tuần trước, sử dụng dung lượng dữ liệu đào tạo gần gấp 5 lần so với “người tiền nhiệm” của năm 2022, cho phép nó có thể lập trình, giải toán và sáng tạo nội dung nâng cao hơn.
Tại sự kiện Hội nghị các nhà phát triển Google I/O, gã khổng lồ tìm kiếm đã giới thiệu PaLM 2 - mô hình ngôn ngữ được đào tạo dựa trên 3,6 ngàn tỷ mã thông báo (token). Các token này là chuỗi các từ - nền tảng tạo thành khối dùng trong đào tạo LLM dự đoán từ tiếp theo sẽ xuất hiện.
Phiên bản trước đó của PaLM được phát hành vào năm 2022 và được đào tạo bằng 780 tỷ mã thông báo.

Mặc dù Google liên tục giới thiệu sức mạnh AI trong những tác vụ tìm kiếm, email, xử lý văn bản và bảng tính, song công ty này không muốn công khai kích thước hoặc chi tiết về bộ dữ liệu đào tạo của mình. OpenAI cũng giữ bí mật chi tiết thông số huấn luyện LLM mới nhất của họ là GPT-4.
Các công ty công nghệ lý giải nguyên nhân do bản chất cạnh tranh của hoạt động kinh doanh. Cả Google và OpenAI đều đang chạy đua thu hút người dùng với các sản phẩm chatbot thay vì công cụ tìm kiếm truyền thống.
Nhỏ gọn, mạnh mẽ, tiết kiệm chi phí
Google cho biết, PaLM 2 có kích thước nhỏ gọn hơn so với những mô hình tiền nhiệm, khi được huấn luyện với 340 tỷ tham số so với 540 tỷ tham số của phiên bản trước đó. Điều này cho thấy công nghệ của công ty đang trở nên hiệu quả hơn trong thực thi những tác vụ phức tạp.
Để đạt được điều này, PaLM 2 sử dụng kỹ thuật mới gọi là “tối ưu điện toán mở rộng”, mang lại “hiệu suất tổng quát tốt hơn, bao gồm khả năng suy luận nhanh hơn với ít tham số làm giảm chi phí hoạt động”.
Mô hình AI ngôn ngữ mới nhất của Google được đào tạo trên 100 ngôn ngữ, đang thực hiện nhiều nhiệm vụ khác nhau cho 25 tính năng và sản phẩm, bao gồm cả chatbot thử nghiệm Bard. PaLM 2 có bốn phiên bản dựa trên kích cỡ, từ nhỏ nhất đến lớn nhất: Gecko (Tắc kè), Otter (Rái cá), Bison (Bò rừng) và Unicorn (Kỳ lân).
Theo các tài liệu công khai, PaLM 2 mạnh hơn bất kỳ mô hình nào hiện có. LlaMA của Facebook, ra mắt vào tháng 2, được huấn luyện dựa trên 1,4 ngàn tỷ token. Trong khi đó, lần gần nhất OpenAI công khai kích cỡ dữ liệu đào tạo cho ChatGPT là phiên bản GPT-3 với 300 tỷ mã thông báo.
Sự bùng nổ các ứng dụng AI đã tạo ra những tranh cãi xung quanh công nghệ này. Đầu năm nay, El Mahdi El Mhamdi, một nhà khoa học cấp cao tại Google Research đã từ chức để phản đối sự thiếu minh bạch của gã khổng lồ tìm kiếm.
Tuần này, CEO OpenAI Sam Altman cũng có phiên điều trần trước tiểu ban Tư pháp Thượng viện Mỹ về quyền riêng tư và công nghệ trong bối cảnh AI trở nên phổ biến. Tại đây, “cha đẻ” ChatGPT nhất trí với các nhà lập pháp rằng cần có quy định mới để quản lý AI.
Theo Thế Vinh (VietNamNet)








- 50 triệu đồng và màn gây sốc về báo hiếu của con rể với bố mẹ vợ (21:49)
- Robot hình người "Made in Vietnam" của tỷ phú Phạm Nhật Vượng làm 1 việc bất ngờ tại công trình top 10 TG (21:21)
- Nóng: Chính phủ tặng quà bằng tiền mặt cho toàn dân ăn Tết Độc lập (1 giờ trước)
- Triển lãm HOT nhất dịp 2/9 đã mở cửa: Quy mô khủng chưa từng có, choáng ngợp với các màn biểu diễn và hoàn toàn MIỄN PHÍ (1 giờ trước)
- "Mưa đỏ" mang về 200 tỷ đồng (1 giờ trước)
- Giám đốc BV Đại học Y Hà Nội lên tiếng về sức khỏe của GS Ngô Bảo Châu (1 giờ trước)
- Công an Hà Nội xử lý trường hợp gây rối tại chốt bảo vệ A80 (1 giờ trước)
- Cận cảnh dàn xe tăng, xe thiết giáp, ngư lôi lần đầu xuất hiện tại triển lãm lớn nhất lịch sử (2 giờ trước)
- Công bố kết quả nghiên cứu ảnh hưởng của xăng E10 với ô tô, xe máy (2 giờ trước)
- Cùng đi xem xe, người đàn ông bỏ lại bạn gái rồi lấy xe máy phóng mất hút (2 giờ trước)




