Cuộc chiến không điểm dừng của các siêu AI – Tin Công Nghệ Số hóa


Web Suamaytinhits.com có bài: Cuộc chiến không điểm dừng của các siêu AI – Tin Công Nghệ Số hóa GPT-3 khởi động một cuộc chiến mới trong việc phát triển các siêu AI với mô hình, tham số ngày càng lớn và năng lực vượt trội. – Tin Công Nghệ

GPT-3 được OpenAI trình làng hồi tháng 6/2020 và lập tức thu hút chú trọng khi biết cách vận dụng ngôn ngữ con người, tạo văn bản và phản hồi trôi chảy và tự nhiên bằng tiếng Anh. Nó tiên tiến hơn những trợ lý ảo như Siri của Apple hay Alexa của Amazon vì cũng đều có thể học theo nhiều phong kiểu viết chỉ với một click chuột.

GPT-3 được cho là một siêu AI và tạo nên những ảnh hưởng lớn trong năm 2021, khi nhiều tập đoàn công nghệ và phòng thí nghiệm công bố những loại hình AI có kích cỡ và năng lực vượt trội GPT-3.

GPT-3 từng gây chú ý nhờ kích thước mô hình khổng lồ hồi năm 2020. Ảnh: December Labs.

GPT-3 thu hút nhờ kích cỡ loại hình khổng lồ hồi năm 2020. Ảnh: December Labs

Năng lực của GPT-3 không đến từ thuật toán, mà bởi kích thước loại hình của chính nó. Kích thước mô hình huấn luyện AI được đo bằng lượng tham số sở hữu. Đây là những biến số có thể điều tiết liên tiếp trong quá trình huấn luyện AI, giúp xây dựng năng lực dự đoán. AI càng nhiều tham số sẽ càng tiếp thu được không ít thông tin từ dữ liệu đào tạo, cấp phép nó dự đoán và phản ứng chuẩn xác hơn với những dữ liệu mới.

“Chúng tôi nghĩ mình cần ý tưởng mới, nhưng thành quả đạt được chính là nhờ quy mô”, Jared Kaplan, nhà nghiên cứu tại OpenAI và là một trong những người thiết kế dự án GPT-3, cho thấy trong hội thảo NeurIPS tháng trước.

GPT-3 có 175 tỷ tham số cấu thành, gấp 10 lần hệ thống tiền nhiệm GPT-2. Tuy nhiên, niềm kiêu hãnh này đã liên tiếp bị vượt mặt vào cuối 2021.

Startup Mỹ AI21 Labs hồi tháng 9 năm ngoái ban bố Jurassic-1, loại hình ngôn ngữ đã được thương mại hóa, với 178 tỷ tham số. Gopher, mô hình đào tạo được DeepMind cho ra mắt sau đó ba tháng, có 280 tỷ tham số. Còn Megatron-Turing NLG, dự án hợp tác của Microsoft và Nvidia, có 530 tỷ tham số. Google cũng tung ra Switch-Transformer và GLaM với số lượng lần lượt là 1.000 và 1.200 tỷ.

“Chúng ta đang tiếp tục chứng kiến tỷ suất thuận giữa kích thước loại hình AI với hiệu năng, và điều đó chưa tồn tại điểm dừng”, hai nhà nghiên cứu của Microsoft cũng mang ra nhận định hồi tháng 10.

Xu hướng này không chỉ giới hạn tại Mỹ. Tập đoàn Huawei của Trung Quốc đã xây dựng mô hình ngôn ngữ PanGu với 200 tỷ tham số, khi đang Inspur ra mắt Yuan 1.0 có 245 tỷ tham số. Baidu và Phòng thí nghiệm Peng Cheng ở Thẩm Quyến công bố mô hình PCL-BAIDU Wenxin 280 tỷ tham số. Trong lúc đó, Học viện AI Bắc Kinh ra mắt Wu Dao 2.0 lên tới 1.750 tỷ tham số.

Tại Hàn Quốc, tập đoàn Naver cuối năm ngoái giới thiệu HyperCLOVA có 204 tỷ tham số.

Tất cả các mặt hàng này đều được giới công nghệ xem là thành tựu kỹ thuật. Xây dựng mô hình huấn luyện trên 100 tỷ tham số là công đoạn rất phức tạp. Hàng trăm chip xử lý đồ họa GPU – phần cứng được ưa thích để huấn luyện mạng neuron sâu – cần được kết nối và đồng bộ. Dữ liệu đào tạo cũng phải được chia nhỏ thành từng khối, phân bố cho các GPU theo như đúng thứ tự và thời điểm.

Mô hình ngôn ngữ quy mô lớn, tạo nên siêu AI, đã trở thành những dự án danh giá, phô diễn sức mạnh công nghệ của một doanh nghiệp. Tuy nhiên, bất chấp những kết quả đáng kinh ngạc, giới nghiên cứu vẫn không hiểu tại sao số lượng tham số lại tỷ suất thuận với năng lực xử lý của AI. Họ cũng chưa tìm ra cách giải quyết vấn đề ngôn ngữ độc hại và phát tán tin giả mà các dòng hình này “học” được trong qui trình đào tạo.

“Huấn luyện nhờ Internet sẽ kèm theo các thiên kiến của Internet”, nhóm phát triển GPT-3 thừa nhận.

“Mô hình quy mô lớn sẽ trở thành điều bình thường trong 10-20 năm tới. Nếu điều đó diễn ra, giới nghiên cứu sẽ phải tập trung vào phương án tận dụng kích thước khổng lồ của mô hình, thay vì chỉ dễ dàng tìm cách mở rộng nó”, Kaplan nhận xét.

Điệp Anh (theo Technology Review )

AI, GPT-3, mô hình AI, Công nghệ, Tình huống

Nội dung Cuộc chiến không điểm dừng của các siêu AI – Tin Công Nghệ Số hóa được tổng hợp sưu tầm biên tập bởi: Sửa máy tính ITS. Mọi ý kiến vui lòng gửi Liên Hệ cho suamaytinhits.com để điều chỉnh. suamaytinhits.com tks.

Quảng Cáo
Đặt Banner Quảng cáo, Textlink, Guest Post
Liên Hệ Ngay: 1900636343

Bài Viết Liên Quan


Xếp Hạng
Quảng Cáo
Đặt Banner Quảng cáo, Textlink, Guest Post
Liên Hệ Ngay: 1900636343

Bài Viết Khác