蔚來NADP+NVIDIA Triton，搭建穩定高效的推理平臺

在近日舉行的 GTC 大會上,蔚來 AI 平臺負責人白宇利帶來非常有價值的分享,他首次對外透露了蔚來自研的全棧式自動駕駛系統(NAD)的部署和開發情況,同時也將蔚來自動駕駛研發平臺(NADP)這個神秘的“Peta Factory”帶到了公眾視野中。

據了解,NADP是服務于蔚來自動駕駛核心業務方向的研發平臺,用于開發 NAD 功能。以“Peta”為名是因為每輛車每天能生成 55 petabit 數據(1 petabit = 10^6 gigabit = 10^9 megabit = 10^15 bits),而 NADP 是所有流程、工作流、數據以及底層軟硬件的組合。NADP 能夠以一站式平臺管理大量復雜的 AI 應用,并將模型開發效率提高 20 倍,從而縮短自動駕駛汽車的上市周期,開發出更新、更快的架構。

在模型訓練、測試和部署的過程中,為了確保新改進能夠切實地解決相應問題,且不會引發任何新問題, NADP 需要執行 10 萬項推理任務,包括數據挖掘、仿真和回歸測試。經過眾多方案的對比和篩選,蔚來選用了NVIDIA Triton 推理服務器作為核心組件,構建了 NADP 的高性能推理服務。

NVIDIA Triton 推理服務器是 NVIDIA AI 平臺的一部分,它是一款開源推理服務軟件,可助力標準化模型的部署和執行,并在生產環境中提供快速且可擴展的 AI。

Triton 推理服務器可助力團隊在任意基于 GPU 或 CPU 的基礎設施上部署、運行和擴展任意框架中經過訓練的 AI 模型,進而精簡 AI 推理。同時,AI 研究人員和數據科學家可在不影響生產部署的情況下,針對其項目自由選擇合適的框架。它還幫助開發者跨云、本地、邊緣和嵌入式設備提供高性能推理。

正如白宇利在分享中提到:“我們基于 NVIDIA Triton 推理服務器構建了高性能推理服務。此服務非常適用于 NADP,并可輕松集成模型倉庫、工作流、Jupyter、Prometheus 和許多其他組件,從而簡化 AI 推理。Triton 讓編排和擴展變得更輕松,還能將推理速度提高至 6 倍,并可節省 24% 的資源。”

蔚來基于 NVIDIA Triton 搭建的推理服務平臺,在數據挖掘業務場景下,通過服務器端模型前處理和多模型 DAG 式編排,GPU 資源平均節省 24%;在部分核心 pipeline上,吞吐能力提升為原來的 5 倍,整體時延降低為原來的 1/ 6。

Triton 在設計之初,就融入了云原生的設計思路,為后面逐步圍繞 Triton 搭建完整的云原生平臺性推理解決方案提供了相當大的便利。

作為 NADP 推理平臺的核心組件,Triton 與 NADP 的各個組件形成了一套完整的推理一站式解決方案。從集成效率、高性能、易用性、高可用四方面,在 NADP 推理平臺中提供助力。

目前,NADP 數據挖掘業務下的相關模型預測服務已經全部遷移至 Triton 推理服務器,為上百個模型提供了高吞吐預測能力。同時在某些任務基礎上,通過自實現前處理算子、前后處理服務化、BLS 串聯模型等手段,將一些模型任務合并起來,極大的提升了處理效率。

NVIDIA Triton 推理服務器支持所有主要模型框架( TensorFlow、PyTorch、TensorRT、XGBoost、ONNX、OpenVINO、Python 等),可用于在 x86 和 Arm CPU、NVIDIA GPU 和 AWS Inferentia 上運行模型。

目前,NVIDIA Triton 正在被全世界各行各業數以千計的組織使用,用于解決人工智能推理挑戰。包括:阿里云、Amazon Elastic Kubernetes Service (EKS)、Amazon Elastic Container Service (ECS)、Amazon SageMaker、Google Kubernetes Engine (GKE)、Google Vertex AI、HPE Ezmeral、Microsoft Azure Kubernetes Service (AKS) 和 Azure Machine Learning 都在使用 NVIDIA Triton進行AI推理和模型部署。

更多詳情,請查看NVIDIA開發者博客,查看完整版案例介紹《NADP + Triton搭建穩定高效的推理平臺》。

關于 NVIDIA

自1993年成立以來,NVIDIA (NASDAQ: NVDA) 一直是加速計算領域的先驅。NVIDIA 1999年發明的GPU驅動了PC游戲市場的增長,并重新定義了現代計算機圖形,開啟了現代AI時代。NVIDIA現在是一家全棧計算公司,其數據中心規模的產品正在重塑整個行業。