2025-05-08 00:15:12
無人機(jī)只需要從基地起飛,就能夠?qū)χ付▍^(qū)域進(jìn)行巡檢,智能攝像頭能夠自動問診地面,識別護(hù)欄錯位、路面積水、凹陷、裂縫、交通事故、車流異常等問題,然后標(biāo)記位置。而控制中心能夠?qū)崟r查看前方畫面,接收無人機(jī)回傳的數(shù)據(jù),并進(jìn)行診斷分析,整個過程無需過多的人工干預(yù)。這種無人機(jī)智能問診,是通過向無人機(jī)植入高性能的AI圖像處理板以及定制專門的目標(biāo)識別算法來實(shí)現(xiàn)的。成都慧視開發(fā)的Viztra-LE026圖像處理板,就非常適合用在無人機(jī)智能化領(lǐng)域。這塊板卡外形呈圓形設(shè)計(jì),尺寸為ф38*12mm,功率不超過4W,整體呈現(xiàn)功耗低、尺寸小的特點(diǎn)。用在緊湊型的無人機(jī)當(dāng)中也不會因?yàn)榭臻g問題而苦惱,并且不會過多消耗無人機(jī)的續(xù)航。此外,Viztra-LE026這款圖像處理板采用的是RV1126芯片,2.0TOPS的算力用在路面識別領(lǐng)域十分合適。利用成都慧視推出的SpeedDP能夠幫助訓(xùn)練識別算法。成都智慧工地AI智能圖像處理板
小興安嶺的日常巡護(hù),是構(gòu)筑東北生態(tài)**的必要措施,進(jìn)入冬季,整個小興安嶺將處于冰雪覆蓋,按照傳統(tǒng)的巡檢模式,危險(xiǎn)且費(fèi)力。整個小興安嶺森林覆蓋率達(dá)到96%,只靠肉眼的觀察,很容易錯過死角空白區(qū)的潛在危險(xiǎn),因此,無人機(jī)上線了。將無人機(jī)智能化,在吊艙的基礎(chǔ)上加裝具備智能圖像處理的板卡,再通過定制算法的植入,一個智慧“巡檢員”就上線了。面對大森林這樣復(fù)雜的環(huán)境,成都慧視開發(fā)的高性能AI圖像處理板Viztra-HE030可以勝任,這塊板卡采用了瑞芯微旗艦級芯片RK3588,能夠輸出6.0TOPS的算力,考慮到小興安嶺冬天寒冷的環(huán)境,這款板卡能夠適應(yīng)零下40℃的環(huán)境,長時間的戶外工作不在話下。成都高性能低功耗AI智能分析軟件SpeedDP是一個AI算法訓(xùn)練平臺。
在無人機(jī)攝像頭的基礎(chǔ)上加裝慧視光電開發(fā)的Viztra-LE026圖像處理板,這是一塊輕型化、低功耗的圖像處理板,用在無人機(jī)上面既不會過多占用空間,也不會過多消耗續(xù)航,通過目標(biāo)識別算法的賦能,就可以針對像東北虎這樣的動物AI自動識別,一旦識別到老虎的特征物體,無人機(jī)就能夠立即鎖定并抵近觀察,為消防和公安提供精確坐標(biāo)。Viztra-LE026圖像處理板采用的是瑞芯微RV1126芯片,能夠輸出2.0TOPS的算力。而在算法方面,成都慧視能夠提供一站式AI算法訓(xùn)練平臺SpeedDP,通過對大量動物的標(biāo)注數(shù)據(jù)集的模型訓(xùn)練,能夠?qū)崿F(xiàn)對新數(shù)據(jù)集的快速AI自動標(biāo)注,然后提升識別算法的性能。
但這也遇到很多難點(diǎn),通常情況下,視頻回傳的延遲大概在200ms左右,隨著大量的彈打出,視頻傳輸所需帶寬就面臨壓力,如何在通信帶寬有限的情況下,保證視頻順暢、清晰、無卡頓地傳輸,是分析改進(jìn)這個工作需要解決的前期難點(diǎn)。針對于這個問題,慧視光電利用GS弱網(wǎng)高清音視頻傳輸系統(tǒng)和RK3588打造的Viztra-HE030圖像處理板結(jié)合,推出了低延遲低帶寬圖傳解決方案。在一個窄帶收發(fā)信道內(nèi),例如在信道有效帶寬0.5Mb/s~2Mb/s內(nèi),多路視頻和交互控制共用一對收發(fā)信道,信道支持?jǐn)?shù)據(jù)透傳,外部系統(tǒng)可以使用該信道,傳輸任意格式的數(shù)據(jù);可實(shí)時調(diào)整視頻碼率,在低至500K帶寬情況下依然可以回傳清晰流暢的圖像??梢允乖O(shè)備飛的更遠(yuǎn)、走的更遠(yuǎn);可實(shí)現(xiàn)視頻中繼轉(zhuǎn)發(fā);能夠基于H265實(shí)時視頻編碼;可實(shí)現(xiàn)基于視頻流的“人在回路低延遲控制”?;谄胀?0幀相機(jī),實(shí)現(xiàn)15ms的低延遲編解碼,加上數(shù)據(jù)鏈傳輸延遲時間在30ms左右,目前業(yè)界前列。通用性強(qiáng),使用更加靈活,適用更多應(yīng)用場景;支持多路SDI視頻在低至500K帶寬情況下的同時傳輸(1080P60FPS),徹底解決“帶寬苦惱”;整體時延約60ms(含相機(jī)、編解碼、顯示,不含傳輸),實(shí)現(xiàn)實(shí)時控制、實(shí)時打擊。如何提升無人機(jī)識別跟蹤的精度?
多目標(biāo)跟蹤是指在連續(xù)的圖像中,通過目標(biāo)檢測算法識別出每一幀中的目標(biāo),并在時間上跟蹤它們的位置和狀態(tài)。但目標(biāo)會不斷發(fā)生尺度、形變、遮擋等變化,而且還會有目標(biāo)出現(xiàn)和消失的情況,再加上視頻采集端的相機(jī)所處環(huán)境可能受到外界影響導(dǎo)致抖動的情況(例如無人機(jī)高空檢測),就會給多目標(biāo)跟蹤造成一定的困難。由于我們不能控制目標(biāo),所以只能從視頻采集端維護(hù)跟蹤的穩(wěn)定性。因此,成都慧視針對于多目標(biāo)檢測跟蹤抖動丟失的優(yōu)化方法是:1.改進(jìn)目標(biāo)檢測,使用更加魯棒的目標(biāo)檢測算法。2.增強(qiáng)特征描述,利用深度學(xué)習(xí)提取更高級別的語義特征,這些特征對于小范圍內(nèi)的視角變化具有更好的不變性3.改進(jìn)運(yùn)動模型,在算法中加入對攝像頭運(yùn)動的估計(jì),通過補(bǔ)償攝像頭運(yùn)動來減小目標(biāo)真實(shí)運(yùn)動與預(yù)測之間的差距。4.數(shù)據(jù)關(guān)聯(lián)策略,設(shè)計(jì)更靈活的數(shù)據(jù)關(guān)聯(lián)算法,允許更大的距離閾值來匹配候選目標(biāo)??焖偻瓿纱罅康膱D像標(biāo)注工作不是易事。成都周界入侵AI智能
FPV識別算法用SpeedDP幫助提升精度。成都智慧工地AI智能圖像處理板
進(jìn)入冬季,北方各地陸續(xù)出現(xiàn)冰凍天氣,給不少地方的保供電工作增添了難度。目前,大多數(shù)地方都采用無人機(jī)巡檢的模式,但是面臨如此寒凍的天氣,無人機(jī)也可能會“懈怠”。但是大面積覆冰的影響下,人工巡檢又很難到達(dá)很多區(qū)域,所以還是不得不依靠無人機(jī),只是需要性能更加強(qiáng)悍的無人機(jī)。無人機(jī)電力巡檢依靠可見光或者紅外兩種方式進(jìn)行自動巡視檢測,這其中,用于進(jìn)行圖像處理的傳感器性能尤其重要。面臨如此寒冷的天氣,圖像處理板能否正常工作十分關(guān)鍵,因此選對圖像處理板,關(guān)系整個寒冬的電力巡檢。成都智慧工地AI智能圖像處理板