近日,?低曇曈X大模型在交通場景落地。依托觀瀾大模型,突破傳統(tǒng)算法瓶頸,?低曉诙藗劝l(fā)布新一代事件檢測系列攝像機,并在中心端同步部署大模型能力推出事件檢測終端、事件檢測服務器。從邊緣端到中心端大模型,帶來智能應用的性能和效果提升,推動交通行業(yè)智慧升級。
在高速公路交通事件檢測領域,受限于模型規(guī)模與泛化能力,一些復雜場景下拋灑物、停車、行人等事件的誤報、漏報一直是行業(yè)的瓶頸。、
海康威視基于多年的行業(yè)沉淀,依托觀瀾大模型的技術底座,構建道路事件等行業(yè)場景專用的數(shù)據(jù)模型,與智能硬件深度融合,推出新一代事件檢測系列產(chǎn)品,精準檢測道路異常事件,助力保障道路安全暢通。
看懂、讀準,讓道路更聰明
傳統(tǒng)交通事件檢測算法高度依賴人工標注的特定場景數(shù)據(jù),需針對每類事件單獨采集樣本并訓練模型,導致實際應用中常因樣本覆蓋不全而出現(xiàn)漏檢誤判。例如,雨天路面積水時,容易誤報為拋灑物。
以一條布設了1500路攝像機的高速路段來舉例,傳統(tǒng)算法日均能感知1000余次事件,如何減少其中無效的事件,降低人工復核的工作量,提升真實異常事件從發(fā)現(xiàn)到處置的響應速度,將是提升高速公路運營效率的關鍵。
?低曉谟^瀾大模型基礎上,利用行業(yè)知識預訓練和微調,使模型在事件檢測領域具備專家級別能力。相較于行業(yè)傳統(tǒng)的卷積網(wǎng)絡,基于Transformer架構的模型,具備更深層次的網(wǎng)絡架構,更強的全局特征提取能力和上下文建模能力,模型的泛化性更強,系統(tǒng)性解決了復雜場景下的誤報、漏報難題。
例如,拋灑物檢測中,結合大模型應用可大幅提升拋灑物體檢測效果,不再受困于樹影、水漬、標線、標牌等干擾;停車檢測中,通過大模型精準區(qū)分標牌、緩行車輛、施工車輛,基于車輛停留時長、位置偏離車道線的動態(tài)特征綜合判斷,大幅降低了誤報;
多元產(chǎn)品矩陣,滿足多場景需求
大模型加持的?低暿录䴔z測系列產(chǎn)品,通過提取多維信號中的有效信息,挖掘不同模態(tài)信息間的潛在關系,增強了對物理世界的全面理解,突破晝夜、雨霧等各類環(huán)境下的性能極限,從邊緣端到中心端助力規(guī);膽寐涞亍
一、 邊緣端感知設備,秒級檢出,精準識別
事件檢測雷視一體機,基于毫米波雷達全天候高精度測距測速能力,在暗光/雨霧等極端場景下實現(xiàn)違停車輛、道路異常的秒級初步檢測;再通過大模型推理,對多類型特征進行決策級融合,兼顧復雜環(huán)境下的高檢出率與高準確率需求。
事件檢測攝像機,內(nèi)置道路專用 AI ISP圖像處理算法,有效抑制車輛遠光燈對圖像影響,保障夜間圖像亮度和清晰度。結合大模型,對拋灑物、行人闖入等事件進行精細化分類過濾,在本地完成實時分析,有效降低誤報率。依托設備端算力,擺脫云端依賴,顯著降低網(wǎng)絡傳輸壓力。
二、 中心端設備,利舊復用,降本增效
事件檢測終端/服務器加持大模型推理能力,可無縫對接既有視頻感知系統(tǒng)及存儲設備,實現(xiàn)舊資源的復用。邊緣節(jié)點專注實時事件檢測,中心服務器負責多源數(shù)據(jù)關聯(lián),在保證低延遲響應的同時滿足不同規(guī)模場景的智能化需求。
交通事件檢測系列產(chǎn)品基于?低曈^瀾大模型技術體系,助力智能應用的性能和效果提升。后續(xù)將持續(xù)探索大模型技術,結合觀瀾多模態(tài)大模型的圖文理解與推理能力,拓展在道路事故、道路塌陷、異常天氣等場景化的應用,更好地理解道路,持續(xù)推動行業(yè)智慧升級。