Cuộc "chiến tranh trăm mô hình" trong ngành AI: Khó khăn thương mại đứng sau cuộc cách mạng kỹ thuật

Tháng trước, ngành công nghiệp AI đã dấy lên một "cuộc chiến động vật".

Một bên là mô hình ngôn ngữ lớn mã nguồn mở do một ông lớn công nghệ phát hành, nhờ vào tính mở của nó, rất được cộng đồng phát triển ưa chuộng. Một công ty Nhật Bản, sau khi nghiên cứu các tài liệu và mã nguồn liên quan, đã nhanh chóng phát triển phiên bản AI hội thoại bằng tiếng Nhật, giải quyết vấn đề bế tắc của Nhật Bản trong lĩnh vực AI.

Bên kia là một mô hình lớn có tên "Diều Hâu". Vào tháng 5 năm nay, "Diều Hâu-40B" đã ra mắt, vượt qua người tiền nhiệm và đứng đầu bảng xếp hạng mô hình ngôn ngữ mã nguồn mở.

Bảng xếp hạng này được tạo ra bởi một cộng đồng mô hình mã nguồn mở, cung cấp tiêu chuẩn để đánh giá khả năng của các mô hình ngôn ngữ lớn. Bảng xếp hạng về cơ bản là hai bên lần lượt chiếm giữ vị trí hàng đầu.

Trước đó, sau khi phát hành phiên bản mới, tạm thời đã chiếm lĩnh vị trí số một; nhưng đến đầu tháng 9, "Săn Mồi" đã ra mắt phiên bản 180B, một lần nữa đạt được xếp hạng cao hơn.

Thú vị là, nhà phát triển "Falcon" không phải là một công ty công nghệ, mà là một viện nghiên cứu có trụ sở tại thủ đô của Các Tiểu vương quốc Ả Rập Thống nhất. Các quan chức chính phủ cho biết, "Chúng tôi tham gia vào lĩnh vực này để lật đổ các người chơi cốt lõi."

Ngày thứ hai sau khi phát hành phiên bản 180B, Bộ trưởng AI của Các Tiểu vương quốc Ả Rập Thống nhất đã được chọn vào danh sách "100 người có ảnh hưởng nhất trong lĩnh vực AI" do một tạp chí nổi tiếng bình chọn; cùng với ông còn có "cha đẻ của AI" Geoffrey Hinton, CEO của một công ty AI nổi tiếng, và người sáng lập một công ty công nghệ Trung Quốc.

Hiện nay, lĩnh vực AI đã bước vào giai đoạn các thế lực cạnh tranh: chỉ cần có tài chính nhất định, các quốc gia và doanh nghiệp đều đang xây dựng mô hình ngôn ngữ lớn của riêng mình. Chỉ riêng trong vòng tròn các quốc gia Vùng Vịnh, không chỉ có một người chơi - vào tháng 8, Ả Rập Saudi vừa mới mua hơn 3000 chip AI hàng đầu cho các trường đại học trong nước, để đào tạo mô hình ngôn ngữ lớn.

Một nhà đầu tư nổi tiếng đã từng phàn nàn trên mạng xã hội: "Ngày xưa tôi không đánh giá cao sự đổi mới mô hình kinh doanh của Internet, cảm thấy không có rào cản: trận chiến trăm nhóm, trận chiến trăm xe, trận chiến trăm phát sóng; không ngờ khởi nghiệp mô hình lớn công nghệ cứng, vẫn là trận chiến trăm mô hình..."

Vậy mà công nghệ cứng được cho là khó khăn, sao lại trở thành dự án mà các quốc gia đang cạnh tranh phát triển?

Cách mạng Transformer

Các công ty khởi nghiệp của Mỹ, các ông lớn công nghệ của Trung Quốc và các ông trùm dầu mỏ ở Trung Đông đều có thể theo đuổi giấc mơ mô hình lớn nhờ vào bài báo nổi tiếng đó: "Attention Is All You Need".

Vào năm 2017, 8 nhà khoa học máy tính đã công bố thuật toán Transformer ra toàn thế giới trong bài báo này. Bài báo này hiện là bài báo được trích dẫn nhiều thứ ba trong lịch sử trí tuệ nhân tạo, sự xuất hiện của Transformer đã gây ra đợt sốt trí tuệ nhân tạo này.

Dù mô hình lớn hiện tại đến từ quốc gia nào, bao gồm cả series GPT gây chấn động thế giới, đều được xây dựng trên nền tảng của Transformer.

Trước đây, "dạy máy đọc sách" luôn là một vấn đề học thuật được công nhận. Khác với nhận diện hình ảnh, khi con người đọc văn bản, họ không chỉ chú ý đến những từ ngữ hiện tại mà còn kết hợp với bối cảnh để hiểu.

Ví dụ, từ "Transformer" thực sự có thể được dịch là "Biến hình", nhưng độc giả của bài viết này chắc chắn sẽ không hiểu như vậy, vì mọi người đều biết đây không phải là một bài viết nói về bộ phim Hollywood.

Nhưng các đầu vào của mạng nơ-ron ban đầu đều độc lập với nhau, không có khả năng hiểu được văn bản dài, thậm chí là toàn bộ bài viết, vì vậy mới xảy ra vấn đề dịch "开水间" thành "open water room".

Đến năm 2014, một nhà khoa học máy tính làm việc tại một công ty công nghệ và sau đó chuyển sang một công ty AI khác đã đạt được bước đột phá đầu tiên. Ông sử dụng mạng nơ-ron hồi tiếp (RNN) để xử lý ngôn ngữ tự nhiên, giúp hiệu suất dịch máy nhanh chóng vượt qua các sản phẩm cạnh tranh.

RNN đã đưa ra "thiết kế tuần hoàn", cho phép mỗi nơ-ron vừa nhận thông tin đầu vào tại thời điểm hiện tại, vừa nhận thông tin đầu vào từ thời điểm trước đó, từ đó làm cho mạng nơ-ron có khả năng "kết hợp ngữ cảnh".

Sự xuất hiện của RNN đã thắp lên niềm đam mê nghiên cứu trong giới học thuật, và sau này một trong những tác giả của bài báo về Transformer cũng đã từng say mê với nó. Tuy nhiên, các nhà phát triển nhanh chóng nhận ra rằng, RNN tồn tại một khuyết điểm nghiêm trọng:

Thuật toán này sử dụng tính toán tuần tự, mặc dù nó có thể giải quyết vấn đề ngữ cảnh, nhưng hiệu suất hoạt động không cao, rất khó để xử lý một lượng lớn tham số.

Thiết kế phức tạp của RNN nhanh chóng khiến tác giả này cảm thấy chán nản. Do đó, từ năm 2015, anh cùng 7 người đam mê khác bắt đầu phát triển một sự thay thế cho RNN, kết quả của họ chính là Transformer.

So với RNN, có hai điểm cách mạng của Transformer:

Thứ nhất, việc sử dụng mã hóa vị trí đã thay thế thiết kế vòng lặp của RNN, từ đó thực hiện tính toán song song - sự thay đổi này đã nâng cao hiệu suất đào tạo của Transformer, giúp nó có khả năng xử lý dữ liệu lớn, đưa AI vào thời đại mô hình lớn; thứ hai, nó đã tăng cường khả năng ngữ cảnh.

Khi Transformer giải quyết nhiều khuyết điểm, nó dần phát triển thành phương pháp tiêu chuẩn trong lĩnh vực xử lý ngôn ngữ tự nhiên, có vẻ như "mở ra một kỷ nguyên mới". Ngay cả những người sáng lập RNN cũng đã từ bỏ công nghệ mà họ từng nâng niu, chuyển sang Transformer.

Nói cách khác, Transformer là tổ phụ của tất cả các mô hình lớn hiện nay, vì nó đã biến mô hình lớn từ một vấn đề nghiên cứu lý thuyết thành một vấn đề hoàn toàn thuộc về kỹ thuật.

Năm 2019, một công ty AI đã phát triển một mô hình ngôn ngữ lớn dựa trên Transformer, khiến giới học thuật phải kinh ngạc. Để đáp lại, một gã khổng lồ công nghệ khác đã nhanh chóng ra mắt một AI mạnh mẽ hơn, có tên là Meena.

So với trước đây, Meena không có sự đổi mới trong thuật toán cơ bản, chỉ đơn thuần là tăng gấp 8,5 lần số tham số đào tạo và gấp 14 lần sức mạnh tính toán. Tác giả bài báo về Transformer rất sốc trước kiểu "xếp chồng bạo lực" này và ngay lập tức đã viết một bản ghi nhớ có tiêu đề "Meena nuốt chửng thế giới".

Sự ra đời của Transformer đã làm chậm đáng kể tốc độ đổi mới thuật toán cơ bản trong giới học thuật. Các yếu tố kỹ thuật như kỹ thuật dữ liệu, quy mô tính toán, kiến trúc mô hình ngày càng trở thành những yếu tố quyết định quan trọng trong cuộc đua AI, chỉ cần có một chút khả năng kỹ thuật, các công ty công nghệ đều có thể phát triển một mô hình lớn.

Do đó, khi nhà khoa học máy tính Andrew Ng có bài phát biểu tại Đại học Stanford, ông đã đề cập đến một quan điểm: "AI là một tập hợp các công cụ, bao gồm học có giám sát, học không có giám sát, học tăng cường và bây giờ là trí tuệ nhân tạo sinh ra. Tất cả những điều này đều là công nghệ chung, tương tự như điện và internet."

Một công ty AI chắc chắn vẫn là tiêu chuẩn cho các mô hình ngôn ngữ lớn, nhưng các tổ chức phân tích bán dẫn cho rằng, sức cạnh tranh của mô hình mới nhất của họ đến từ các giải pháp kỹ thuật - nếu được mã nguồn mở, bất kỳ đối thủ cạnh tranh nào cũng có thể nhanh chóng tái tạo.

Nhà phân tích này dự đoán, có thể không lâu nữa, các công ty công nghệ lớn khác cũng có thể phát triển các mô hình lớn với hiệu suất tương đương.

Xây dựng trên mặt kính của hào thành

Hiện nay, "trận chiến trăm mô hình" không còn chỉ là một biện pháp tu từ, mà đã trở thành thực tế khách quan.

Các báo cáo liên quan cho thấy, tính đến tháng 7 năm nay, số lượng mô hình lớn trong nước đã đạt 130 cái, cao hơn 114 cái của Mỹ, thành công trong việc vượt bậc. Các huyền thoại và truyền thuyết đã gần như không còn đủ để các công ty công nghệ trong nước đặt tên.

Ngoài Trung Quốc và Mỹ, một số quốc gia giàu có khác cũng đã bước đầu thực hiện "mô hình một quốc gia một mẫu": ngoài Nhật Bản và Các Tiểu vương quốc Ả Rập Thống nhất, còn có mô hình Bhashini do chính phủ Ấn Độ dẫn dắt, HyperClova X do một công ty internet Hàn Quốc phát triển, v.v.

Khung cảnh trước mắt này, giống như quay trở lại thời kỳ khai thác Internet đầy bong bóng, nơi "năng lực tiền tệ" đối đầu.

Như đã đề cập trước đó, Transformer đã biến mô hình lớn thành một vấn đề kỹ thuật thuần túy, chỉ cần có người có tiền và card đồ họa, phần còn lại sẽ được giao cho các tham số. Nhưng mặc dù vé vào không khó để có được, không có nghĩa là ai cũng có cơ hội để trở thành ông lớn trong thời đại AI.

Được đề cập ở đầu "Cuộc chiến động vật" là một ví dụ điển hình: "Chim ưng" mặc dù đứng đầu bảng xếp hạng nhưng rất khó để nói nó đã gây ra bao nhiêu tác động cho một ông lớn công nghệ.

Như mọi người đã biết, các doanh nghiệp mở nguồn các thành quả nghiên cứu của mình, vừa để chia sẻ phúc lợi công nghệ với công chúng, vừa mong muốn kích thích trí tuệ của người dân. Khi các giáo sư đại học, các viện nghiên cứu, và các doanh nghiệp vừa và nhỏ ngày càng sử dụng và cải tiến các mô hình mã nguồn mở của mình, công ty có thể áp dụng những thành quả này vào sản phẩm của mình.

Đối với các mô hình nguồn mở, cộng đồng nhà phát triển năng động là lợi thế cạnh tranh cốt lõi của nó.

Và ngay từ khi thành lập phòng thí nghiệm AI vào năm 2015, công ty đã xác định tông chủ đạo là mã nguồn mở; người sáng lập của họ lại là người đã phát triển sự nghiệp từ kinh doanh mạng xã hội, càng hiểu rõ về việc "duy trì mối quan hệ tốt với công chúng".

Chẳng hạn, vào tháng 10, công ty đã tổ chức một sự kiện "Khuyến khích người sáng tạo phiên bản AI": các nhà phát triển sử dụng mô hình mã nguồn mở của họ để giải quyết các vấn đề xã hội như giáo dục, môi trường sẽ có cơ hội nhận được 500.000 đô la tài trợ.

Đến nay, loạt mô hình mã nguồn mở của công ty đã trở thành thước đo cho các mô hình ngôn ngữ lớn mã nguồn mở.

Đến đầu tháng 10, trong bảng xếp hạng Top 10 của một cộng đồng mô hình mã nguồn mở, có tổng cộng 8 mô hình được xây dựng dựa trên mô hình mã nguồn mở đó, tất cả đều sử dụng giấy phép mã nguồn mở của nó. Chỉ trong cộng đồng đó, đã có hơn 1500 mô hình ngôn ngữ lớn sử dụng giấy phép mã nguồn mở này.

Tất nhiên, việc cải thiện hiệu suất giống như "Falcon" cũng không phải là không thể, nhưng cho đến nay, hầu hết các mô hình ngôn ngữ lớn trên thị trường vẫn có khoảng cách hiệu suất rõ rệt so với một mô hình nổi tiếng nào đó.

Ví dụ, cách đây không lâu, mô hình nổi tiếng này đã đạt điểm số 4.41 để giành vị trí đầu bảng trong bài kiểm tra AgentBench. Tiêu chuẩn AgentBench được Đại học Thanh Hoa phối hợp cùng Đại học Bang Ohio và Đại học California, Berkeley phát triển, nhằm đánh giá khả năng suy luận và ra quyết định của các mô hình ngôn ngữ lớn trong môi trường tạo ra mở đa chiều, với nội dung kiểm tra bao gồm các nhiệm vụ trong 8 môi trường khác nhau như hệ điều hành, cơ sở dữ liệu, đồ thị tri thức, và đấu thẻ bài.

Kết quả thử nghiệm cho thấy, một mô hình khác của vị trí thứ hai chỉ đạt 2.77 điểm, chênh lệch vẫn còn khá rõ ràng. Còn về những mô hình ngôn ngữ lớn mã nguồn mở ồn ào, điểm số thử nghiệm của chúng thường dao động quanh 1 điểm, chưa đạt 1/4 so với vị trí thứ nhất.

Cần phải biết, mô hình nổi tiếng này được phát hành vào tháng 3 năm nay, đây vẫn là thành tựu sau nửa năm các đồng nghiệp toàn cầu cố gắng theo kịp. Và nguyên nhân gây ra sự chênh lệch này là đội ngũ các nhà khoa học "mật độ trí tuệ" cực cao đứng sau nó cùng với kinh nghiệm tích lũy từ nghiên cứu lâu dài về các mô hình ngôn ngữ lớn, do đó có thể luôn dẫn đầu xa.

Nói cách khác, khả năng cốt lõi của mô hình lớn không phải là tham số, mà là việc xây dựng hệ sinh thái ( mã nguồn mở ) hoặc khả năng suy diễn thuần túy ( mã nguồn đóng ).

Khi cộng đồng mã nguồn mở ngày càng sôi động, hiệu suất của các mô hình ngôn ngữ lớn có thể trở nên đồng nhất, vì mọi người đều sử dụng kiến trúc mô hình tương tự và tập dữ liệu tương tự.

Một vấn đề khó khăn khác là: Ngoài một số AI vẽ tranh, dường như không có mô hình lớn nào khác có thể kiếm tiền.

Điểm neo giá trị

Vào tháng 8 năm nay, một bài viết có tiêu đề "Một công ty AI nổi tiếng có thể sẽ phá sản vào cuối năm 2024" đã thu hút được nhiều sự chú ý. Tóm lại, nội dung chính của bài viết có thể được tóm gọn bằng một câu: Tốc độ tiêu tiền của công ty này quá nhanh.

Bài viết đề cập rằng, kể từ khi phát triển mô hình đối thoại nổi tiếng của mình, khoản lỗ của công ty này đang nhanh chóng mở rộng, chỉ riêng trong năm 2022 đã lỗ khoảng 540 triệu đô la Mỹ, chỉ có thể chờ đợi một nhà đầu tư từ một gã khổng lồ công nghệ mua lại.

Dù tiêu đề bài viết gây sốc, nhưng nó cũng nêu lên thực trạng của nhiều nhà cung cấp mô hình lớn: chi phí và doanh thu mất cân bằng nghiêm trọng.

Chi phí quá cao, dẫn đến hiện tại chỉ có một công ty chip kiếm được nhiều tiền từ trí tuệ nhân tạo, có lẽ thêm một nhà sản xuất chip khác.

Theo ước tính của một công ty tư vấn, một công ty chip đã bán được hơn 300.000 con chip AI mới nhất của họ trong quý II năm nay. Đây là một con chip có hiệu suất đào tạo AI cực kỳ cao, các công ty công nghệ và các tổ chức nghiên cứu trên toàn thế giới đang tranh giành mua sắm. Nếu xếp chồng 300.000 con chip đã bán này lại với nhau, trọng lượng của chúng tương đương với 4,5 chiếc máy bay Boeing 747.

Công ty chip này cũng đã cất cánh theo xu hướng, doanh thu tăng vọt 854% so với cùng kỳ năm trước, khiến Phố Wall phải ngạc nhiên. Nhân tiện, giá của chip này trên thị trường hàng hóa đã được đẩy lên 40-50 nghìn đô la Mỹ, nhưng chi phí vật liệu chỉ khoảng hơn 3000 đô la Mỹ.

Chi phí tính toán cao đã trở thành một trở ngại cho sự phát triển của ngành công nghiệp ở một mức độ nào đó. Một quỹ đầu tư mạo hiểm nổi tiếng đã thực hiện một phép toán: Các công ty công nghệ trên toàn cầu dự kiến sẽ chi 200 tỷ đô la Mỹ mỗi năm cho việc xây dựng cơ sở hạ tầng mô hình lớn; trong khi đó, mô hình lớn mỗi năm chỉ có thể tạo ra tối đa 75 tỷ đô la Mỹ doanh thu, có một khoảng cách ít nhất là 125 tỷ đô la Mỹ.

Ngoài ra, trừ một số trường hợp như AI vẽ tranh, phần lớn các công ty phần mềm sau khi bỏ ra một chi phí khổng lồ vẫn chưa nghĩ ra cách kiếm tiền. Đặc biệt là hai ông lớn dẫn đầu ngành - một gã khổng lồ công nghệ và một công ty phần mềm thiết kế đều đang đi hơi loạng choạng.

Một ông lớn công nghệ và một công ty AI nào đó đã hợp tác phát triển một công cụ tạo mã AI, mặc dù