NVIDIA memperkenalkan SDK DriveOS LLM untuk memudahkan implementasi model bahasa besar di kendaraan otonom, meningkatkan aplikasi AI-driven dengan kinerja yang dioptimalkan.
NVIDIA telah mengungkapkan inovasi terbarunya, SDK DriveOS LLM, yang bertujuan untuk menyederhanakan implementasi model bahasa besar (LLMs) di kendaraan otonom. Pengembangan ini mewakili loncatan signifikan dalam meningkatkan kemampuan sistem otomotif yang didorong AI, menurut NVIDIA.
Mengoptimalkan Penyelenggaraan LLM
SDK DriveOS LLM dirancang untuk mengoptimalkan inferensi LLM terbaru dan model bahasa visi (VLMs) pada platform DRIVE AGX NVIDIA. Dibangun di atas mesin inferensi NVIDIA TensorRT yang tangguh, SDK ini mencakup optimisasi khusus LLM, termasuk kernel perhatian kustom dan teknik kuantisasi, untuk memenuhi tuntutan platform otomotif yang terbatas sumber dayanya.
Fitur dan Komponen Utama
Komponen kunci dari SDK termasuk perpustakaan plugin untuk kinerja khusus, tokenizer/detokenizer yang efisien untuk integrasi mulus input multimodal, dan sampler berbasis CUDA untuk generasi teks yang dioptimalkan dan tugas dialog. Modul decoder lebih lanjut meningkatkan proses inferensi, memungkinkan implementasi LLM yang fleksibel dan tinggi kinerja di berbagai platform NVIDIA DRIVE.
Model-model yang Didukung dan Format Ketelitian
SDK mendukung serangkaian model mutakhir seperti Llama 3 dan Qwen2, dengan format presisi termasuk FP16, FP8, NVFP4, dan INT4 untuk mengurangi penggunaan memori dan meningkatkan kinerja kernel. Fitur-fitur ini sangat penting untuk menerapkan LLM secara efisien dalam aplikasi otomotif di mana latensi dan efisiensi sangat penting.
Alur Kerja Disederhanakan
SDK LLM DriveOS NVIDIA menyederhanakan proses implementasi LLM yang kompleks menjadi dua langkah mudah: mengekspor model ONNX dan membangun mesin. Alur kerja yang disederhanakan ini dirancang untuk memudahkan implementasi pada perangkat edge, sehingga dapat diakses oleh sejumlah pengembang dan aplikasi yang lebih luas.
Kemampuan Multimodal
SDK juga mengatasi kebutuhan input multimodal dalam aplikasi otomotif, mendukung model seperti Qwen2 VL. Ini mencakup implementasi C++ untuk pra-pemrosesan gambar, menyelaraskan input visi dengan model bahasa, sehingga memperluas cakupan kemampuan AI dalam sistem otonom.
Kesimpulan
Dengan memanfaatkan mesin NVIDIA TensorRT dan teknik optimisasi khusus LLM, SDK LLM DriveOS menetapkan standar baru untuk implementasi LLM lanjutan dan VLM pada platform DRIVE. Inisiatif ini siap untuk meningkatkan kinerja dan efisiensi aplikasi AI-driven di kendaraan otonom, menandai tonggak penting dalam evolusi teknologi industri otomotif.
Sumber gambar: Shutterstock
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
NVIDIA Meluncurkan DriveOS LLM SDK untuk Inovasi Kendaraan Otonom
Zach Anderson
11 Mar 2025 02:24
NVIDIA memperkenalkan SDK DriveOS LLM untuk memudahkan implementasi model bahasa besar di kendaraan otonom, meningkatkan aplikasi AI-driven dengan kinerja yang dioptimalkan.
NVIDIA telah mengungkapkan inovasi terbarunya, SDK DriveOS LLM, yang bertujuan untuk menyederhanakan implementasi model bahasa besar (LLMs) di kendaraan otonom. Pengembangan ini mewakili loncatan signifikan dalam meningkatkan kemampuan sistem otomotif yang didorong AI, menurut NVIDIA.
Mengoptimalkan Penyelenggaraan LLM
SDK DriveOS LLM dirancang untuk mengoptimalkan inferensi LLM terbaru dan model bahasa visi (VLMs) pada platform DRIVE AGX NVIDIA. Dibangun di atas mesin inferensi NVIDIA TensorRT yang tangguh, SDK ini mencakup optimisasi khusus LLM, termasuk kernel perhatian kustom dan teknik kuantisasi, untuk memenuhi tuntutan platform otomotif yang terbatas sumber dayanya.
Fitur dan Komponen Utama
Komponen kunci dari SDK termasuk perpustakaan plugin untuk kinerja khusus, tokenizer/detokenizer yang efisien untuk integrasi mulus input multimodal, dan sampler berbasis CUDA untuk generasi teks yang dioptimalkan dan tugas dialog. Modul decoder lebih lanjut meningkatkan proses inferensi, memungkinkan implementasi LLM yang fleksibel dan tinggi kinerja di berbagai platform NVIDIA DRIVE.
Model-model yang Didukung dan Format Ketelitian
SDK mendukung serangkaian model mutakhir seperti Llama 3 dan Qwen2, dengan format presisi termasuk FP16, FP8, NVFP4, dan INT4 untuk mengurangi penggunaan memori dan meningkatkan kinerja kernel. Fitur-fitur ini sangat penting untuk menerapkan LLM secara efisien dalam aplikasi otomotif di mana latensi dan efisiensi sangat penting.
Alur Kerja Disederhanakan
SDK LLM DriveOS NVIDIA menyederhanakan proses implementasi LLM yang kompleks menjadi dua langkah mudah: mengekspor model ONNX dan membangun mesin. Alur kerja yang disederhanakan ini dirancang untuk memudahkan implementasi pada perangkat edge, sehingga dapat diakses oleh sejumlah pengembang dan aplikasi yang lebih luas.
Kemampuan Multimodal
SDK juga mengatasi kebutuhan input multimodal dalam aplikasi otomotif, mendukung model seperti Qwen2 VL. Ini mencakup implementasi C++ untuk pra-pemrosesan gambar, menyelaraskan input visi dengan model bahasa, sehingga memperluas cakupan kemampuan AI dalam sistem otonom.
Kesimpulan
Dengan memanfaatkan mesin NVIDIA TensorRT dan teknik optimisasi khusus LLM, SDK LLM DriveOS menetapkan standar baru untuk implementasi LLM lanjutan dan VLM pada platform DRIVE. Inisiatif ini siap untuk meningkatkan kinerja dan efisiensi aplikasi AI-driven di kendaraan otonom, menandai tonggak penting dalam evolusi teknologi industri otomotif.
Sumber gambar: Shutterstock