1. Các nhà nghiên cứu tại Apple nói gì về trí tuệ nhân tạo?

Các nhà nghiên cứu tại Apple đã gây sự chú ý trong cộng đồng AI khi đưa ra những quan điểm nghi ngờ về khả năng thực sự của các mô hình ngôn ngữ lớn (LLM) như ChatGPT và Llama. Họ cho rằng những mô hình này chưa thực sự thể hiện trí tuệ nhân tạo như chúng ta vẫn tưởng tượng. Theo quan điểm của các nhà nghiên cứu này, khả năng "lý luận" của LLM chủ yếu là kết quả của việc ghi nhớ và xử lý khối lượng dữ liệu khổng lồ, thay vì khả năng suy nghĩ và hiểu biết thực sự. Họ chỉ ra rằng, mặc dù LLM có thể tạo ra văn bản hoặc trả lời câu hỏi với độ chính xác ấn tượng, nhưng khả năng này không phải là sản phẩm của trí tuệ giống như con người, mà chỉ là việc học từ các mẫu dữ liệu trước đó.

2. Bằng chứng chống lại hiệu quả của LLM

Một loạt nghiên cứu gần đây đã chỉ ra rằng các mô hình ngôn ngữ lớn vẫn gặp phải một số vấn đề sâu sắc, những vấn đề này không phải là điều mới mẻ mà đã tồn tại từ khi các mô hình Transformer lần đầu tiên được giới thiệu vào năm 2017. Các nghiên cứu này chỉ ra rằng:

Khả năng lập kế hoạch và ra quyết định: LLM vẫn rất yếu trong việc lập kế hoạch và thực hiện các quyết định chiến lược, và thậm chí còn kém hơn các thuật toán đơn giản nhưng hiệu quả như phương pháp tìm kiếm brute-force (ví dụ: Fast Downward).

Phát hiện dị thường trong chuỗi thời gian: Các mô hình ngôn ngữ lớn thực sự hoạt động kém hơn nhiều so với các phương pháp cổ điển như ARIMA khi phát hiện dị thường trong chuỗi thời gian.

Phụ thuộc vào kiến thức nền: Hiệu suất của LLM giảm sút rõ rệt nếu chúng không có kiến thức nền tảng vững chắc về một lĩnh vực nhất định, điều này cho thấy chúng không thể tự học hoặc hiểu sâu về các vấn đề phức tạp.

Nhạy cảm với thay đổi nhỏ: Một đặc điểm quan trọng của LLM là chúng rất dễ bị ảnh hưởng bởi những thay đổi nhỏ không có ý nghĩa trong dữ liệu đầu vào, điều này gây ra sự thay đổi đáng kể trong kết quả đầu ra mà không thể lý giải được.

3. Các nhà nghiên cứu tại Apple chỉ ra các hạn chế của LLM

Apple đã chính thức nêu ra các hạn chế của các mô hình ngôn ngữ lớn, nhấn mạnh rằng "LLMs không thực hiện suy luận thực sự." Các nhà nghiên cứu đã chỉ ra các điểm yếu của LLM thông qua một loạt thí nghiệm và phân tích, bao gồm:

Thiên vị theo token và dễ bị lừa: LLM thường xuyên bị ảnh hưởng bởi những thay đổi nhỏ trong chuỗi dữ liệu, điều này cho thấy chúng chỉ đơn thuần ghi nhớ các mẫu dữ liệu và không thực sự hiểu được logic đằng sau chúng. Do đó, chúng dễ bị lừa hoặc gây ra kết quả sai lệch khi có sự thay đổi nhỏ trong dữ liệu đầu vào.

Hiệu suất giảm khi độ khó tăng: Một trong những vấn đề lớn với LLM là hiệu suất của chúng giảm sút rõ rệt khi câu hỏi hoặc nhiệm vụ trở nên phức tạp hơn. Điều này cho thấy rằng mặc dù LLM có thể hoạt động tốt với các tác vụ đơn giản, nhưng chúng gặp khó khăn trong việc giải quyết các vấn đề phức tạp và đòi hỏi khả năng suy luận sâu hơn.

Dễ bị xao lãng bởi yếu tố không liên quan: LLM không chỉ dễ bị ảnh hưởng bởi những yếu tố không liên quan trong câu hỏi mà còn có thể tạo ra các kết quả không chính xác khi có sự nhiễu loạn thông tin từ môi trường bên ngoài.

Tăng kích thước mô hình không có tác dụng tạo trí tuệ thực sự: Một vấn đề khác là việc tăng kích thước của mô hình LLM chỉ giúp chúng ghi nhớ nhiều dữ liệu hơn mà không làm tăng khả năng "hiểu biết" hay "suy luận" của chúng. Điều này chứng minh rằng việc mở rộng quy mô của mô hình không tạo ra trí tuệ thực sự.

4. Cảm nhận cá nhân về AI

Generative AI, bao gồm các ứng dụng như ChatGPT hay Copilot, đã mang đến những trải nghiệm đáng ngạc nhiên, vượt xa mong đợi trong các lĩnh vực như tóm tắt văn bản, đề xuất mã lập trình, hay giải thích các khái niệm phức tạp. Tuy nhiên, mặc dù khả năng của AI trong những tác vụ này là ấn tượng, nhưng chúng vẫn chỉ giới hạn ở mức độ trợ lý và không thể thay thế hoàn toàn con người trong một số công việc đòi hỏi tư duy phức tạp và khả năng thích ứng linh hoạt. Các tác vụ mà AI hiện tại vẫn không thể thực hiện tốt bao gồm:

Học và làm chủ ngôn ngữ lập trình mới: AI có thể hỗ trợ một số phần trong quá trình học, nhưng việc hiểu sâu và sáng tạo trong việc học các ngôn ngữ lập trình mới vẫn là một nhiệm vụ mà AI chưa thể thay thế con người.

Tối ưu hóa mã nguồn ở mức độ cao: Mặc dù AI có thể đề xuất các đoạn mã đơn giản, nhưng việc tối ưu hóa mã nguồn ở cấp độ phức tạp đòi hỏi sự sáng tạo và hiểu biết sâu sắc mà AI hiện tại không thể cung cấp.

Cập nhật nhanh chóng và chính xác về tin tức công nghệ: AI có thể truy cập thông tin từ cơ sở dữ liệu đã được huấn luyện, nhưng việc hiểu bối cảnh và phát hiện tin tức công nghệ một cách nhanh chóng và chính xác là điều mà AI vẫn gặp khó khăn, do những yếu tố như độ trễ trong việc cập nhật thông tin và khả năng giải thích đúng đắn các tin tức mới.