Нещодавно Apple надала розробникам ШІ чіп M3, і тепер вони можуть безперешкодно працювати з великими моделями з мільярдами параметрів на своїх MacBook. У своєму блозі Apple повідомила: «Підтримка до 128 ГБ оперативної пам'яті розблоковує робочі процеси, які раніше були недосяжні на ноутбуках». "
Наразі лише 14-дюймовий MacBook Pro підтримує чипи M3, M3 Pro та M3 Max, тоді як 16-дюймовий MacBook Pro підтримує лише конфігурації M3 Pro та M3 Max. Apple також стверджує, що її вдосконалена система Neural Engine допомагає прискорити потужні моделі машинного навчання (ML), одночасно захищаючи конфіденційність.
Тепер розробники можуть запустити найбільший LLM з відкритим вихідним кодом (Falcon зі 180 мільярдами параметрів) на 14-дюймовому ноутбуці з низькою втратою якості.
Однак запуск LLM з відкритим вихідним кодом на ноутбуці не є чимось новим. Раніше люди зі штучним інтелектом також пробували M1. Аншуль Хандельвал, співзасновник і технічний директор Invideo, експериментував зі LLM з відкритим вихідним кодом на 65 мільярдів параметрів на своєму MacBook (на базі M1). Він каже, що зараз це все змінює приблизно раз на тиждень. «У майбутньому кожен технік матиме місцевий LLM – це недовгий шлях», – додає він.
Аравінд Срінівас, співзасновник і генеральний директор Perplexity.ai, пожартував, що як тільки MacBook стануть досить сильними з точки зору провалів для кожного чіпа M1, великі організації, де всі використовують MacBook і високошвидкісні інтрамережі, повинні будуть регулюватися і повинні будуть повідомляти про свою присутність уряду.
M3 для робочих навантажень штучного інтелекту
Apple стверджує, що чіпи серії M3 в даний час на 15% швидше, ніж чіпи серії M2, і на 60% швидше, ніж чіпи серії M1. Очевидно, що між M2 і M3 є лише помітні відмінності в плані продуктивності та інших технічних характеристик. Останні чіпи Apple мають таку ж кількість ядер, але мають різний баланс ядер продуктивності та ефективності (по 6 ядер кожне, 8 P та 4 E) та підтримують до 36 ГБ пам'яті замість 32 ГБ.
Чип M3 підтримує до 128 ГБ об'єднаної пам'яті, що вдвічі перевищує ємність порівняно з попередниками, чипами M1 і M2. Цей розширений об'єм пам'яті особливо важливий для робочих навантажень AI/ML, які вимагають значних ресурсів пам'яті для навчання та виконання великих мовних моделей і складних алгоритмів.
На додаток до вдосконаленої системи Neural Engine і розширеної підтримки пам'яті, чип M3 має перероблену архітектуру графічного процесора.
Архітектура спеціально створена для чудової продуктивності та ефективності, поєднуючи динамічне кешування, затінення сітки та трасування променів. Ці досягнення спеціально розроблені для прискорення робочих навантажень AI/ML та оптимізації загальної ефективності обчислень.
На відміну від традиційних графічних процесорів, новий M3 оснащений графічним процесором з «динамічним кешем», який використовує локальну пам'ять у режимі реального часу, покращує використання графічного процесора та значно підвищує продуктивність вимогливих професійних програм та ігор. **
Потужність графічного процесора буде корисною для розробників ігор і користувачів програм з інтенсивною графікою, таких як Photoshop або інструменти штучного інтелекту, пов'язані з фотографіями. Apple стверджує, що він до 1 рази швидший за чипи серії M2.5, має апаратне прискорення затінення сітки та покращує продуктивність при меншому енергоспоживанні.
Яблуко і світ
Apple не самотня, оскільки інші, такі як AMD, Intel, Qualcomm і Nvidia, інвестують значні кошти в розширення периферійних можливостей, які дозволяють користувачам запускати великі робочі навантаження штучного інтелекту на ноутбуках і ПК.
Наприклад, нещодавно AMD представила AMD Ryzen AI, який включає перший вбудований механізм штучного інтелекту для ноутбуків x86 Windows і єдиний інтегрований механізм штучного інтелекту у своєму класі.
Intel, з іншого боку, покладає надії на Meteor Lake 14-го покоління. Це перший процесор Intel, який має плиткову архітектуру, яка може змішувати та поєднувати різні типи ядер, такі як високопродуктивні ядра та ядра з низьким енергоспоживанням, для досягнення найкращого балансу продуктивності та енергоефективності.
Нещодавно Qualcomm також випустила Snapdragon X Elite. Генеральний директор компанії Кріштіану Амон стверджує, що він перевершує чіп Apple M2 Max, з порівнянною піковою продуктивністю та зниженням енергоспоживання на 30%. У той же час NVIDIA інвестує в периферійні варіанти використання і тихо працює над розробкою процесорів, сумісних з операційною системою Microsoft Windows, використовуючи технологію Arm.
Розробники штучного інтелекту все частіше працюють і експериментують з мовними моделями на місцевому рівні, і дуже цікаво спостерігати за тим, як розвивається ця сфера. З огляду на останні досягнення в цій галузі, Apple повільно, але впевнено стає вибором для розробників штучного інтелекту.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Apple стала новим фаворитом розробників штучного інтелекту для запуску найбільшої LLM (великої мовної моделі) з відкритим вихідним кодом.
Джерело статті: AI Ape
Нещодавно Apple надала розробникам ШІ чіп M3, і тепер вони можуть безперешкодно працювати з великими моделями з мільярдами параметрів на своїх MacBook. У своєму блозі Apple повідомила: «Підтримка до 128 ГБ оперативної пам'яті розблоковує робочі процеси, які раніше були недосяжні на ноутбуках». "
Наразі лише 14-дюймовий MacBook Pro підтримує чипи M3, M3 Pro та M3 Max, тоді як 16-дюймовий MacBook Pro підтримує лише конфігурації M3 Pro та M3 Max. Apple також стверджує, що її вдосконалена система Neural Engine допомагає прискорити потужні моделі машинного навчання (ML), одночасно захищаючи конфіденційність.
Тепер розробники можуть запустити найбільший LLM з відкритим вихідним кодом (Falcon зі 180 мільярдами параметрів) на 14-дюймовому ноутбуці з низькою втратою якості.
Однак запуск LLM з відкритим вихідним кодом на ноутбуці не є чимось новим. Раніше люди зі штучним інтелектом також пробували M1. Аншуль Хандельвал, співзасновник і технічний директор Invideo, експериментував зі LLM з відкритим вихідним кодом на 65 мільярдів параметрів на своєму MacBook (на базі M1). Він каже, що зараз це все змінює приблизно раз на тиждень. «У майбутньому кожен технік матиме місцевий LLM – це недовгий шлях», – додає він.
Аравінд Срінівас, співзасновник і генеральний директор Perplexity.ai, пожартував, що як тільки MacBook стануть досить сильними з точки зору провалів для кожного чіпа M1, великі організації, де всі використовують MacBook і високошвидкісні інтрамережі, повинні будуть регулюватися і повинні будуть повідомляти про свою присутність уряду.
M3 для робочих навантажень штучного інтелекту
Apple стверджує, що чіпи серії M3 в даний час на 15% швидше, ніж чіпи серії M2, і на 60% швидше, ніж чіпи серії M1. Очевидно, що між M2 і M3 є лише помітні відмінності в плані продуктивності та інших технічних характеристик. Останні чіпи Apple мають таку ж кількість ядер, але мають різний баланс ядер продуктивності та ефективності (по 6 ядер кожне, 8 P та 4 E) та підтримують до 36 ГБ пам'яті замість 32 ГБ.
Чип M3 підтримує до 128 ГБ об'єднаної пам'яті, що вдвічі перевищує ємність порівняно з попередниками, чипами M1 і M2. Цей розширений об'єм пам'яті особливо важливий для робочих навантажень AI/ML, які вимагають значних ресурсів пам'яті для навчання та виконання великих мовних моделей і складних алгоритмів.
На додаток до вдосконаленої системи Neural Engine і розширеної підтримки пам'яті, чип M3 має перероблену архітектуру графічного процесора.
Архітектура спеціально створена для чудової продуктивності та ефективності, поєднуючи динамічне кешування, затінення сітки та трасування променів. Ці досягнення спеціально розроблені для прискорення робочих навантажень AI/ML та оптимізації загальної ефективності обчислень.
На відміну від традиційних графічних процесорів, новий M3 оснащений графічним процесором з «динамічним кешем», який використовує локальну пам'ять у режимі реального часу, покращує використання графічного процесора та значно підвищує продуктивність вимогливих професійних програм та ігор. **
Потужність графічного процесора буде корисною для розробників ігор і користувачів програм з інтенсивною графікою, таких як Photoshop або інструменти штучного інтелекту, пов'язані з фотографіями. Apple стверджує, що він до 1 рази швидший за чипи серії M2.5, має апаратне прискорення затінення сітки та покращує продуктивність при меншому енергоспоживанні.
Яблуко і світ
Apple не самотня, оскільки інші, такі як AMD, Intel, Qualcomm і Nvidia, інвестують значні кошти в розширення периферійних можливостей, які дозволяють користувачам запускати великі робочі навантаження штучного інтелекту на ноутбуках і ПК.
Наприклад, нещодавно AMD представила AMD Ryzen AI, який включає перший вбудований механізм штучного інтелекту для ноутбуків x86 Windows і єдиний інтегрований механізм штучного інтелекту у своєму класі.
Intel, з іншого боку, покладає надії на Meteor Lake 14-го покоління. Це перший процесор Intel, який має плиткову архітектуру, яка може змішувати та поєднувати різні типи ядер, такі як високопродуктивні ядра та ядра з низьким енергоспоживанням, для досягнення найкращого балансу продуктивності та енергоефективності.
Нещодавно Qualcomm також випустила Snapdragon X Elite. Генеральний директор компанії Кріштіану Амон стверджує, що він перевершує чіп Apple M2 Max, з порівнянною піковою продуктивністю та зниженням енергоспоживання на 30%. У той же час NVIDIA інвестує в периферійні варіанти використання і тихо працює над розробкою процесорів, сумісних з операційною системою Microsoft Windows, використовуючи технологію Arm.
Розробники штучного інтелекту все частіше працюють і експериментують з мовними моделями на місцевому рівні, і дуже цікаво спостерігати за тим, як розвивається ця сфера. З огляду на останні досягнення в цій галузі, Apple повільно, але впевнено стає вибором для розробників штучного інтелекту.