Apple gần đây đã cung cấp cho các nhà phát triển AI chip M3 và giờ đây họ có thể làm việc liền mạch với các mẫu lớn với hàng tỷ thông số trên MacBook của họ. Trong bài đăng trên blog của mình, Apple cho biết: "Hỗ trợ RAM lên đến 128GB mở khóa quy trình làm việc mà trước đây không thể đạt được trên máy tính xách tay". "
Hiện tại, chỉ có MacBook Pro 14 inch hỗ trợ chip M3, M3 Pro và M3 Max, trong khi MacBook Pro 16 inch chỉ hỗ trợ cấu hình M3 Pro và M3 Max. Apple cũng tuyên bố rằng Neural Engine nâng cao của họ giúp tăng tốc các mô hình học máy (ML) mạnh mẽ trong khi vẫn bảo vệ quyền riêng tư.
Các nhà phát triển hiện có thể chạy LLM mã nguồn mở lớn nhất (Falcon với 180 tỷ thông số) trên máy tính xách tay 14 inch với chất lượng thấp.
Tuy nhiên, chạy LLM mã nguồn mở trên máy tính xách tay không có gì mới. Trước đây, người AI cũng đã thử M1. Anshul Khandelwal, đồng sáng lập và CTO của Invideo, đã thử nghiệm với LLM mã nguồn mở 65 tỷ tham số trên MacBook của mình (được cung cấp bởi M1). Ông nói rằng nó thay đổi mọi thứ bây giờ khoảng một lần một tuần. "Đó không phải là một chặng đường dài để đi trong tương lai cho mọi kỹ thuật viên để có một LLM địa phương," ông nói thêm.
Aravind Srinivas, đồng sáng lập và CEO của Perplexity.ai, nói đùa rằng một khi MacBook đủ mạnh về FLOP cho mọi chip M1, các tổ chức lớn nơi mọi người đều sử dụng MacBook và mạng nội bộ tốc độ cao sẽ cần phải được quy định và sẽ cần phải báo cáo sự hiện diện của họ cho chính phủ.
M3 cho khối lượng công việc AI
Apple tuyên bố rằng chip dòng M3 hiện nhanh hơn 15% so với chip dòng M2 và nhanh hơn 60% so với chip dòng M1. Rõ ràng, chỉ có sự khác biệt đáng chú ý giữa M2 và M3 về hiệu suất và các thông số kỹ thuật khác. Các chip mới nhất của Apple có cùng số lõi, nhưng có sự cân bằng khác nhau về hiệu suất và lõi hiệu quả (mỗi lõi 6, 8 lõi P và 4 E) và hỗ trợ bộ nhớ lên đến 36GB thay vì 32GB.
Chip M3 hỗ trợ bộ nhớ hợp nhất lên đến 128GB, tăng gấp đôi dung lượng so với các phiên bản tiền nhiệm là chip M1 và M2. Dung lượng bộ nhớ mở rộng này đặc biệt quan trọng đối với khối lượng công việc AI/ML đòi hỏi tài nguyên bộ nhớ đáng kể để đào tạo và thực thi các mô hình ngôn ngữ lớn và các thuật toán phức tạp.
Ngoài Neural Engine nâng cao và hỗ trợ bộ nhớ mở rộng, chip M3 còn có kiến trúc GPU được thiết kế lại.
Kiến trúc được xây dựng nhằm mục đích cho hiệu suất và hiệu quả vượt trội, kết hợp bộ nhớ đệm động, đổ bóng lưới và dò tia. Những tiến bộ này được thiết kế đặc biệt để tăng tốc khối lượng công việc AI/ML và tối ưu hóa hiệu quả tính toán tổng thể.
Không giống như GPU truyền thống, M3 mới có GPU với "Bộ nhớ đệm động" sử dụng bộ nhớ cục bộ trong thời gian thực, cải thiện việc sử dụng GPU và cải thiện đáng kể hiệu suất của các ứng dụng và trò chơi chuyên nghiệp đòi hỏi khắt khe. **
Sức mạnh của GPU sẽ có lợi cho các nhà phát triển trò chơi và người dùng các ứng dụng đồ họa chuyên sâu như Photoshop hoặc các công cụ AI liên quan đến ảnh. Apple tuyên bố rằng nó nhanh hơn tới 1 lần so với chip dòng M2.5, có bóng lưới được tăng tốc phần cứng và cải thiện hiệu suất với mức tiêu thụ điện năng thấp hơn.
Apple và thế giới
Apple không đơn độc, với những công ty khác như AMD, Intel, Qualcomm và Nvidia đầu tư mạnh vào việc tăng cường khả năng cạnh cho phép người dùng chạy khối lượng công việc AI lớn trên máy tính xách tay và PC.
Ví dụ, AMD gần đây đã tiết lộ AMD Ryzen AI, bao gồm công cụ AI tích hợp đầu tiên cho máy tính xách tay Windows x86 và công cụ AI tích hợp duy nhất trong lớp.
Mặt khác, Intel đang đặt hy vọng vào Hồ sao băng thế hệ thứ 14. Đây là bộ xử lý Intel đầu tiên có kiến trúc lát gạch có thể trộn và kết hợp các loại lõi khác nhau, chẳng hạn như lõi hiệu suất cao và lõi năng lượng thấp, để đạt được sự cân bằng tốt nhất về hiệu suất và hiệu quả năng lượng.
Mới đây, Qualcomm cũng đã ra mắt Snapdragon X Elite. Giám đốc điều hành của công ty, Cristiano Amon, tuyên bố rằng nó vượt trội hơn chip M2 Max của Apple, với hiệu suất tối đa tương đương và giảm 30% mức tiêu thụ điện năng. Đồng thời, NVIDIA đang đầu tư vào các trường hợp sử dụng cạnh và âm thầm làm việc để thiết kế CPU tương thích với hệ điều hành Windows của Microsoft, sử dụng công nghệ Arm.
Các nhà phát triển AI đang ngày càng chạy và thử nghiệm các mô hình ngôn ngữ tại địa phương, và thật thú vị khi xem lĩnh vực này phát triển như thế nào. Với những tiến bộ mới nhất trong lĩnh vực này, Apple đang dần dần nhưng chắc chắn trở thành lựa chọn hàng đầu cho các nhà phát triển AI.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Apple đã trở thành yêu thích mới của các nhà phát triển AI để chạy LLM mã nguồn mở lớn nhất (mô hình ngôn ngữ lớn).
Nguồn bài viết: AI Ape
Apple gần đây đã cung cấp cho các nhà phát triển AI chip M3 và giờ đây họ có thể làm việc liền mạch với các mẫu lớn với hàng tỷ thông số trên MacBook của họ. Trong bài đăng trên blog của mình, Apple cho biết: "Hỗ trợ RAM lên đến 128GB mở khóa quy trình làm việc mà trước đây không thể đạt được trên máy tính xách tay". "
Hiện tại, chỉ có MacBook Pro 14 inch hỗ trợ chip M3, M3 Pro và M3 Max, trong khi MacBook Pro 16 inch chỉ hỗ trợ cấu hình M3 Pro và M3 Max. Apple cũng tuyên bố rằng Neural Engine nâng cao của họ giúp tăng tốc các mô hình học máy (ML) mạnh mẽ trong khi vẫn bảo vệ quyền riêng tư.
Các nhà phát triển hiện có thể chạy LLM mã nguồn mở lớn nhất (Falcon với 180 tỷ thông số) trên máy tính xách tay 14 inch với chất lượng thấp.
Tuy nhiên, chạy LLM mã nguồn mở trên máy tính xách tay không có gì mới. Trước đây, người AI cũng đã thử M1. Anshul Khandelwal, đồng sáng lập và CTO của Invideo, đã thử nghiệm với LLM mã nguồn mở 65 tỷ tham số trên MacBook của mình (được cung cấp bởi M1). Ông nói rằng nó thay đổi mọi thứ bây giờ khoảng một lần một tuần. "Đó không phải là một chặng đường dài để đi trong tương lai cho mọi kỹ thuật viên để có một LLM địa phương," ông nói thêm.
Aravind Srinivas, đồng sáng lập và CEO của Perplexity.ai, nói đùa rằng một khi MacBook đủ mạnh về FLOP cho mọi chip M1, các tổ chức lớn nơi mọi người đều sử dụng MacBook và mạng nội bộ tốc độ cao sẽ cần phải được quy định và sẽ cần phải báo cáo sự hiện diện của họ cho chính phủ.
M3 cho khối lượng công việc AI
Apple tuyên bố rằng chip dòng M3 hiện nhanh hơn 15% so với chip dòng M2 và nhanh hơn 60% so với chip dòng M1. Rõ ràng, chỉ có sự khác biệt đáng chú ý giữa M2 và M3 về hiệu suất và các thông số kỹ thuật khác. Các chip mới nhất của Apple có cùng số lõi, nhưng có sự cân bằng khác nhau về hiệu suất và lõi hiệu quả (mỗi lõi 6, 8 lõi P và 4 E) và hỗ trợ bộ nhớ lên đến 36GB thay vì 32GB.
Chip M3 hỗ trợ bộ nhớ hợp nhất lên đến 128GB, tăng gấp đôi dung lượng so với các phiên bản tiền nhiệm là chip M1 và M2. Dung lượng bộ nhớ mở rộng này đặc biệt quan trọng đối với khối lượng công việc AI/ML đòi hỏi tài nguyên bộ nhớ đáng kể để đào tạo và thực thi các mô hình ngôn ngữ lớn và các thuật toán phức tạp.
Ngoài Neural Engine nâng cao và hỗ trợ bộ nhớ mở rộng, chip M3 còn có kiến trúc GPU được thiết kế lại.
Kiến trúc được xây dựng nhằm mục đích cho hiệu suất và hiệu quả vượt trội, kết hợp bộ nhớ đệm động, đổ bóng lưới và dò tia. Những tiến bộ này được thiết kế đặc biệt để tăng tốc khối lượng công việc AI/ML và tối ưu hóa hiệu quả tính toán tổng thể.
Không giống như GPU truyền thống, M3 mới có GPU với "Bộ nhớ đệm động" sử dụng bộ nhớ cục bộ trong thời gian thực, cải thiện việc sử dụng GPU và cải thiện đáng kể hiệu suất của các ứng dụng và trò chơi chuyên nghiệp đòi hỏi khắt khe. **
Sức mạnh của GPU sẽ có lợi cho các nhà phát triển trò chơi và người dùng các ứng dụng đồ họa chuyên sâu như Photoshop hoặc các công cụ AI liên quan đến ảnh. Apple tuyên bố rằng nó nhanh hơn tới 1 lần so với chip dòng M2.5, có bóng lưới được tăng tốc phần cứng và cải thiện hiệu suất với mức tiêu thụ điện năng thấp hơn.
Apple và thế giới
Apple không đơn độc, với những công ty khác như AMD, Intel, Qualcomm và Nvidia đầu tư mạnh vào việc tăng cường khả năng cạnh cho phép người dùng chạy khối lượng công việc AI lớn trên máy tính xách tay và PC.
Ví dụ, AMD gần đây đã tiết lộ AMD Ryzen AI, bao gồm công cụ AI tích hợp đầu tiên cho máy tính xách tay Windows x86 và công cụ AI tích hợp duy nhất trong lớp.
Mặt khác, Intel đang đặt hy vọng vào Hồ sao băng thế hệ thứ 14. Đây là bộ xử lý Intel đầu tiên có kiến trúc lát gạch có thể trộn và kết hợp các loại lõi khác nhau, chẳng hạn như lõi hiệu suất cao và lõi năng lượng thấp, để đạt được sự cân bằng tốt nhất về hiệu suất và hiệu quả năng lượng.
Mới đây, Qualcomm cũng đã ra mắt Snapdragon X Elite. Giám đốc điều hành của công ty, Cristiano Amon, tuyên bố rằng nó vượt trội hơn chip M2 Max của Apple, với hiệu suất tối đa tương đương và giảm 30% mức tiêu thụ điện năng. Đồng thời, NVIDIA đang đầu tư vào các trường hợp sử dụng cạnh và âm thầm làm việc để thiết kế CPU tương thích với hệ điều hành Windows của Microsoft, sử dụng công nghệ Arm.
Các nhà phát triển AI đang ngày càng chạy và thử nghiệm các mô hình ngôn ngữ tại địa phương, và thật thú vị khi xem lĩnh vực này phát triển như thế nào. Với những tiến bộ mới nhất trong lĩnh vực này, Apple đang dần dần nhưng chắc chắn trở thành lựa chọn hàng đầu cho các nhà phát triển AI.