2020-08-20 閱讀量：12231
人工智能已經(jīng)成為新一輪產(chǎn)業(yè)變革的核心驅(qū)動(dòng)力，正在對(duì)世界經(jīng)濟(jì)、社會(huì)進(jìn)步和人類(lèi)生活產(chǎn)生極其深刻的影響。作為人工智能范疇最重要的前沿分支之一，機(jī)器視覺(jué)已服務(wù)工業(yè) 30 年，相當(dāng)于現(xiàn)代工業(yè)生產(chǎn)和智能制造的“機(jī)器眼睛”。蘇州天準(zhǔn)科技股份有限公司致力于以領(lǐng)先的人工智能技術(shù)推動(dòng)工業(yè)轉(zhuǎn)型升級(jí)，通過(guò)持續(xù)高強(qiáng)度創(chuàng)新，不斷突破行業(yè)極限。
在精密測(cè)量領(lǐng)域，由天準(zhǔn)牽頭的“復(fù)合式高精度坐標(biāo)測(cè)量?jī)x器開(kāi)發(fā)和應(yīng)用”項(xiàng)目入選“國(guó)家重大科學(xué)儀器設(shè)備開(kāi)發(fā)專(zhuān)項(xiàng)”，設(shè)備精度高達(dá) 0.3 微米，使中國(guó)成為繼德國(guó)、日本之后，掌握同等測(cè)量技術(shù)的全球第三個(gè)國(guó)家。
天準(zhǔn)的智能檢測(cè)裝備將機(jī)器視覺(jué)技術(shù)應(yīng)用于工業(yè)流水線上的在線檢測(cè)場(chǎng)景，實(shí)現(xiàn)對(duì)工業(yè)零部件和產(chǎn)品的實(shí)時(shí)在線尺寸與缺陷檢測(cè)。以光伏領(lǐng)域?yàn)槔?，天?zhǔn)不斷打破業(yè)界極限，將硅片分選檢測(cè)設(shè)備產(chǎn)能成功提升到業(yè)界 1.5 倍以上，成本降低 50% 以上。
天準(zhǔn)的智能制造系統(tǒng)不僅可消除生產(chǎn)檢測(cè)中人的不穩(wěn)定因素、提升生產(chǎn)效率、降低生產(chǎn)成本，而且可幫助改善產(chǎn)品品質(zhì)，已廣泛應(yīng)用于 3C 電子、汽車(chē)制造等智能化生產(chǎn)程度較高的行業(yè)，推進(jìn)工廠無(wú)人化和智能化進(jìn)程。
無(wú)人物流車(chē)是機(jī)器視覺(jué)技術(shù)在物流領(lǐng)域的落地場(chǎng)景。天準(zhǔn)作為 NVIDIA Jetson Preferred Partner，將基于 NVIDIAJetson 處理器的 AI 邊緣計(jì)算技術(shù)與無(wú)人車(chē)相結(jié)合，打造無(wú)人移動(dòng)平臺(tái)加 AI 邊緣計(jì)算整體解決方案，使機(jī)器視覺(jué)技術(shù)賦能更多的行業(yè)和場(chǎng)景。
NVIDIA 產(chǎn)品或平臺(tái)、工具介紹
NVIDIA® Jetson AGX Xavier? 為邊緣設(shè)備的計(jì)算密度、能效和 AI 推理功能設(shè)定了新標(biāo)桿。作為首款專(zhuān)為自主機(jī)器設(shè)計(jì)的計(jì)算機(jī)，Jetson AGX Xavier 的性能足以完成如下任務(wù)：視覺(jué)測(cè)距、傳感器融合、定位與地圖繪制、障礙物檢測(cè)以及對(duì)新一代機(jī)器人至關(guān)重要的路線規(guī)劃算法。在緊湊的外形下，用戶可以獲得 GPU 工作站級(jí)別的性能—— 32 萬(wàn)億次運(yùn)算/秒 (TOPS) 的峰值計(jì)算能力和 750 Gbps 的高速 I/O 性能；得益于 NVIDIA 整套豐富的 AI 工具和工作流程，可幫助開(kāi)發(fā)者快速訓(xùn)練和部署神經(jīng)網(wǎng)絡(luò)。
該平臺(tái)支持 NVIDIA JetPack 和DeepStreamSDK，以及 CUDA®、cuDNN 和 TensorRT 軟件庫(kù)，使得在云端訓(xùn)練的深度學(xué)習(xí)算法模型可以無(wú)縫的遷移到邊緣端，大大加速產(chǎn)品的原型驗(yàn)證和批量部署過(guò)程。
方案與開(kāi)發(fā)技術(shù)分享
隨著 AI 算法的飛速發(fā)展和計(jì)算平臺(tái)算力的不斷提升，AI 技術(shù)充分賦能自動(dòng)駕駛、智慧公路、軌道交通等諸多領(lǐng)域，應(yīng)用于無(wú)人駕駛、車(chē)路協(xié)同、軌交列車(chē)安全監(jiān)控等各種智慧交通場(chǎng)景。在這些場(chǎng)景中，往往需要借助于多種不同的傳感器，利用各種傳感器的不同特性，從不同維度充分獲取周?chē)h(huán)境信息。常用的傳感器有相機(jī)、激光雷達(dá)、IMU、毫米波雷達(dá)等。
各種傳感器數(shù)據(jù)產(chǎn)生于不同的時(shí)刻、且均在各自的坐標(biāo)系中進(jìn)行表達(dá)，為了從各個(gè)不同的傳感器中得到統(tǒng)一的目標(biāo)信息，需要對(duì)其進(jìn)行時(shí)空融合，即時(shí)間同步和空間對(duì)齊。下圖是只進(jìn)行空間融合、未做時(shí)間對(duì)齊的激光雷達(dá)和圖像數(shù)據(jù)融合的結(jié)果：對(duì)于靜止目標(biāo)，兩種數(shù)據(jù)可以很好地匹配到一起；對(duì)于運(yùn)動(dòng)目標(biāo)，則會(huì)產(chǎn)生明顯的數(shù)據(jù)不匹配情況，根本原因就在于兩種傳感器數(shù)據(jù)產(chǎn)生的時(shí)刻不同。因此，在有移動(dòng)目標(biāo)的應(yīng)用場(chǎng)景中，時(shí)間同步和空間對(duì)齊缺一不可。
在傳統(tǒng)的智慧交通應(yīng)用中，各種傳感器數(shù)據(jù)往往通過(guò) USB 接口或網(wǎng)口接入到工控機(jī)或服務(wù)器中進(jìn)行算法處理，以滿足 AI 推理算法處理海量數(shù)據(jù)的大算力需求。這種方式往往容易帶來(lái)以下問(wèn)題：
①工控機(jī)網(wǎng)口和USB接口一般非防松設(shè)計(jì)，多種傳感器接入后，在無(wú)人車(chē)或列車(chē)行進(jìn)過(guò)程中，很容易出現(xiàn)松動(dòng)問(wèn)題；
② 工控機(jī)只能通過(guò)網(wǎng)口進(jìn)行IEEE 1588協(xié)議或NTP協(xié)議進(jìn)行授時(shí)，前者需要專(zhuān)業(yè)的授時(shí)設(shè)備，后者授時(shí)精度不高；
③在工控機(jī)中進(jìn)行多傳感器數(shù)據(jù)融合，由于需要進(jìn)行大量的矩陣運(yùn)算，會(huì)占用工控機(jī)寶貴的算力資源。
為解決上述問(wèn)題，本項(xiàng)目基于NVIDIA Jetson Xavier，設(shè)計(jì)了用于智慧交通場(chǎng)景的Sensor Box，主要解決以下三個(gè)問(wèn)題：
①各種傳感器的可靠接入；
②各傳感器高精度的授時(shí)；
③時(shí)空融合計(jì)算。
Sensor Box 如下圖所示，該設(shè)備支持常用的 GMSL2 相機(jī)接口、千兆網(wǎng)口、萬(wàn)兆光口、USB3.0 網(wǎng)口、CAN 總線接口等接口形式，各種接口均具有防松設(shè)計(jì)；內(nèi)置納秒級(jí)精度的同步觸發(fā)和授時(shí)電路，并具有 GPS 失鎖守時(shí)功能；可以耐受 XYZ 三軸 3Grms0~1000Hz 的隨機(jī)振動(dòng)，整機(jī)可以達(dá)到 IP65 防護(hù)等級(jí)。各傳感器數(shù)據(jù)接入 Sensor Box 之后進(jìn)行時(shí)空融合后，或者在 Sensor Box 內(nèi)直接進(jìn)行推理運(yùn)算，或者通過(guò)萬(wàn)兆光口傳給工控機(jī)進(jìn)行更復(fù)雜的算法處理。
一個(gè) 1080P 相機(jī)的像素?cái)?shù)約為 200 萬(wàn)個(gè)，一個(gè) 32 線激光雷達(dá)一幀數(shù)據(jù)約有 12 萬(wàn)個(gè)點(diǎn)，按每秒 10 幀的幀率計(jì)算，產(chǎn)生的像素點(diǎn)是千萬(wàn)級(jí)，點(diǎn)云點(diǎn)數(shù)則為百萬(wàn)級(jí)。在自動(dòng)駕駛場(chǎng)景，存在多個(gè)相機(jī)和多個(gè)激光雷達(dá)的情況下，每秒鐘 sensor box 將要處理以?xún)|計(jì)的像素和點(diǎn)云數(shù)量。對(duì)于點(diǎn)云到圖像的融合計(jì)算來(lái)說(shuō)，每個(gè)點(diǎn)需要進(jìn)行 9 次乘法和 12 次加法運(yùn)算，如果全部放到 CPU 中處理，難以滿足海量數(shù)據(jù)處理實(shí)時(shí)性的要求。
1個(gè)激光雷達(dá)和1個(gè)相機(jī)進(jìn)行時(shí)空同步后的融合效果。基于Xavier 的 Sensor Box 解決方案已經(jīng)在國(guó)內(nèi)很多自動(dòng)駕駛場(chǎng)景中路測(cè)使用。
通過(guò) NVIDIA Jetson 提供的 CUDA 工具，將空間融合的乘加運(yùn)算遷移到 GPU 的 CUDA 核中進(jìn)行并行處理，大大提升了處理速度，提高了計(jì)算性能。以典型的傳感器數(shù)量偏多的自動(dòng)駕駛卡車(chē)為例，基于 Xavier 的 Sensor Box 可支持多達(dá)10路 1080P 相機(jī)和 6 路激光雷達(dá)接入，為其提供同步觸發(fā)和授時(shí)功能，在其內(nèi)部完成所有傳感器的時(shí)空同步計(jì)算后，通過(guò)萬(wàn)兆光口傳到工控機(jī)。將傳感器采集、時(shí)空同步等比較消耗算力的過(guò)程前置到 Sensor Box 中，使工控機(jī)內(nèi)可以執(zhí)行更復(fù)雜更智能的 L4 級(jí)自動(dòng)駕駛算法。
文章原作者NVIDIA開(kāi)發(fā)者社區(qū)，本文經(jīng)NVIDIA授權(quán)轉(zhuǎn)發(fā)。
