英偉達推出用於自動駕駛創新的DriveOS LLM SDK

扎克·安德森

2025年3月11日 02:24

NVIDIA推出DriveOS LLM SDK，以促進在自動駕駛車輛中部署大型語言模型，通過優化性能增強基於人工智能的應用程序。

![NVIDIA 推出用於自動駕駛汽車創新的 DriveOS LLM SDK](http://img.gateio.im/social/moments-640ea0fcb3b5ee18827a1ee3ad912a1a019283746574839201

NVIDIA推出了最新的創新，DriveOS LLM SDK，旨在簡化自動駕駛車輛中大語言模型)LLMs(的部署。根據NVIDIA的說法，這一發展代表了提升基於人工智能的汽車系統能力的重大飛躍。

優化LLM部署

DriveOS LLM SDK旨在優化最先進的LLMs和視覺語言模型)VLMs(的推理，運行在NVIDIA的DRIVE AGX平臺上。基於強大的NVIDIA TensorRT推理引擎構建，該SDK包含LLM特定的優化，包括自定義注意力核和量化技術，以滿足資源受限的汽車平臺的需求。

關鍵特性和組件

SDK的關鍵組件包括專門性能的插件庫，用於無縫集成多模輸入的高效分詞器/解詞器，以及用於優化文本生成和對話任務的基於CUDA的採樣器。解碼器模塊進一步增強了推理過程，實現了在各種NVIDIA DRIVE平臺上靈活、高性能的LLM部署。)

支持的模型和精度格式

SDK支持一系列尖端模型，如Llama 3和Qwen2，精度格式包括FP16、FP8、NVFP4和INT4，以減少內存使用並增強核心性能。這些功能對於在汽車應用中高效部署LLMs至關重要，其中延遲和效率至關重要。

簡化工作流程

NVIDIA的DriveOS LLM SDK將複雜的LLM部署過程簡化為兩個簡單步驟：導出ONNX模型和構建引擎。這種簡化的工作流程旨在促進在邊緣設備上的部署，使更廣泛的開發人員和應用程序可以輕鬆使用。

多模態能力

SDK還解決了汽車應用中對多模輸入的需求，支持Qwen2 VL等模型。它包括用於圖像預處理的C++實現，將視覺輸入與語言模型對齊，從而拓寬了自動駕駛系統中人工智能能力的範圍。

結論

通過利用NVIDIA TensorRT引擎和LLM特定的優化技術，DriveOS LLM SDK為在DRIVE平臺上部署先進的LLM和VLM設置了新標準。這一舉措旨在提升自動駕駛車輛中基於人工智能的應用的性能和效率，標誌著汽車行業技術演變中的重要里程碑。

圖片來源：Shutterstock