迄今為止,人們尚無法在高數(shù)據(jù)率的多相機(jī)系統(tǒng)中采用立體光學(xué)測量法。在MSTVision所采用的方法中,他們借助Silicon Software的FPGA圖像采集卡進(jìn)行加速,即可輕松實現(xiàn)立體光學(xué)測量法。
客戶
■ MSTVision GmbH
■ 地點:德國,美因茨
■ 行業(yè):機(jī)器視覺
■ 應(yīng)用實施:2018年
01 應(yīng)用
MSTVision是工業(yè)圖像處理領(lǐng)域中定制解決方案的開發(fā)服務(wù)供應(yīng)商,專注于在Silicon Software的VisualApplet開發(fā)環(huán)境中開發(fā)Halcon軟件庫及FPGA解決方案的腳本。此外,這家位于美因茨的公司還會在自有實驗室中針對客戶的開發(fā)項目,進(jìn)行可行性測試和概念研究。
在單張圖像中,幾乎無法將目標(biāo)對象上的紋路結(jié)構(gòu)與其表面本身屬性區(qū)分開來。在立體光學(xué)測量法中,人們往往通過從不同方向為目標(biāo)對象打光,再使用同一臺相機(jī)拍攝至少三張、通常是四張圖像。
系統(tǒng)一般會利用采集的數(shù)據(jù)結(jié)果(結(jié)構(gòu)、X導(dǎo)數(shù)和Y導(dǎo)數(shù)和平均曲率)計算得出四張圖像。通過這種分離表面屬性和紋路結(jié)構(gòu)的方法,可以對產(chǎn)品進(jìn)行準(zhǔn)確的評估。
但由于CPU要在短時間內(nèi)進(jìn)行密集的計算,因此通常無法達(dá)到生產(chǎn)過程中所要求的周期時間。通過在FPGA中實現(xiàn)圖像采集和計算功能,就可以大大加快上述計算過程。
02 解決方案和優(yōu)勢
Robert J. Woodham早在約40年前就已經(jīng)引入了立體光學(xué)的基本測量法。相機(jī)的位置固定,但光源從不同的方向照射被拍攝對象,拍攝多張圖像。
基于已知的幾何體,這種方法可以計算出曲面法線的方向,進(jìn)而又可以確定目標(biāo)對象在每個圖像像素處的表面曲率和反射行為(反射率)。
這種方法可以有助完成多種任務(wù),例如區(qū)分藥物包裝上的壓印(反射圖像,albedo image)和盲文(曲率圖像,curvature image)。
頂部:4張輸入圖像以及數(shù)字相機(jī)拍攝的圖像
底部:平均曲率圖像和反射圖
由于某些表面缺陷只能通過曲率圖像才能有效地檢測出來,因此這種檢測方法越來越普遍。然而,立體光學(xué)測量法涉及大量計算,即便現(xiàn)代處理器也沒有足夠的計算能力實現(xiàn)無縫的表面檢查。
正因如此,MSTVision已成功在Silicon Software的microEnable 5 marathon VCLx圖像采集卡的FPGA中實現(xiàn)了立體光學(xué)測量的全部計算。借助VisualApplet,Silicon Software提供了一個開發(fā)環(huán)境,讓FPGA能夠利用自身的功能來增強性能。圖像采集卡還能處理分段光源的驅(qū)動控制和圖像采集同步。
Basler ace acA2040-180km所采集的四張“原始圖像”會直接在FPGA中處理,不會增加CPU的工作負(fù)載,然后圖像采集卡會將立體光學(xué)測量法的計算結(jié)果以四個可選圖像的形式呈現(xiàn)出來。
基于FPGA的立體光學(xué)測量法:設(shè)置和效果
1. 平均曲率 2. X導(dǎo)數(shù) 3. Y導(dǎo)數(shù) 4. 結(jié)構(gòu)
由于FPGA可進(jìn)行大量的并行處理,因此能以極高的數(shù)據(jù)速率進(jìn)行計算,并讓每個圖像采集卡實現(xiàn)低功耗運作。圖像采集卡microEnable 5 marathon VCLx的處理速率可高達(dá)1 GB/s。
在實際應(yīng)用中,帶寬會受到應(yīng)用的CameraLink接口以及可用的內(nèi)置儲存器 (Block RAM)的限制。但是,系統(tǒng)可以顯示高達(dá)755 MB/s的帶寬。相比之下,Intel i5-8400的處理速率只能達(dá)到220 MB/s。
盡管到目前為止還不能實現(xiàn)高數(shù)據(jù)速率的立體光學(xué)測量過程,但現(xiàn)在借助FPGA的性能加速已經(jīng)使之成為可能。將計算任務(wù)放到圖像采集卡上進(jìn)行,這也有助實現(xiàn)更精巧的系統(tǒng)架構(gòu)。
此外,這項技術(shù)還可以與MSTVision未來提供的高速分揀技術(shù)合二為一。相信在不久的將來,使用Silicon Software基于FPGA的深度學(xué)習(xí)解決方案也會是市場自然選擇的發(fā)展步驟。
相關(guān)技術(shù)
■ 相機(jī):Basler ace acA2040-180km
■ 圖像采集卡:Silicon Software microEnable 5 marathon VCLx