3D視覺技術的發展

近年(nian)來(lai)(lai)，隨著芯片技術的(de)發展以及相關軟硬件(jian)系(xi)統的(de)深入(ru)，視覺傳感(gan)器得到了極為廣泛的(de)應用。社會越(yue)來(lai)(lai)越(yue)智(zhi)能，可以使用人工智(zhi)能和大(da)數據技術將(jiang)人們(men)記(ji)錄下來(lai)(lai)的(de)圖像(xiang)智(zhi)能地利用起來(lai)(lai)，而不是用一個(ge)個(ge)柜子將(jiang)圖像(xiang)、視頻束(shu)之(zhi)高閣(ge)。

從(cong)膠卷，到CCD 再到現在特(te)別成熟、隨處(chu)可見的(de)(de)(de)CMOS，我們對圖(tu)像(xiang)傳感器的(de)(de)(de)性能追求也(ye)逐漸發生了(le)改變(bian)。手機(ji)上開(kai)始(shi)出(chu)(chu)現前攝(she)、后(hou)攝(she)，后(hou)攝(she)也(ye)出(chu)(chu)現了(le)俗稱(cheng)的(de)(de)(de)“浴霸(ba)”、“加特(te)林”。在算(suan)法的(de)(de)(de)加持下，每(mei)顆攝(she)像(xiang)頭的(de)(de)(de)用(yong)處(chu)都(dou)不一(yi)樣。

而(er)18、19年將是3D圖像傳(chuan)感(gan)器起飛(fei)與騰飛(fei)的(de)兩年。有(you)了3D傳(chuan)感(gan)器，我們(men)就(jiu)更容易(yi)做基于(yu)事件的(de)分(fen)析并(bing)直接(jie)指導我們(men)身邊圖像的(de)優化做出體感(gan)游戲(xi)、人臉支付、機器人自動(dong)避障、工(gong)業自動(dong)分(fen)揀等應用。

2016年，AlphaGo成(cheng)為個不借助讓子而擊(ji)敗圍(wei)棋職業九段棋手李世石的(de)計算(suan)機(ji)圍(wei)棋程序，這件(jian)事引起了人(ren)類的(de)轟動，也展(zhan)開(kai)了各種(zhong)討論。隨之而來的(de)是人(ren)工(gong)智能(neng)鋪天蓋地的(de)宣傳，這給了無(wu)數(shu)人(ren)信心，機(ji)器智能(neng)化(hua)的(de)大浪潮撲面(mian)而來。

現在AI是(shi)一個很火(huo)的(de)詞。很多人都想做AI，也(ye)有很多人想往(wang)AI上面靠，AI的(de)出現就相當于我們有了一個聰(cong)明的(de)大腦。以(yi)前的(de)處(chu)(chu)理器，只能(neng)處(chu)(chu)理一個特(te)定場景(jing)的(de)問題，AI給這個世界帶來了可(ke)以(yi)自我學習、自我改進的(de)功(gong)能(neng)，特(te)別是(shi)對復雜場景(jing)的(de)處(chu)(chu)理，AI更“聰(cong)明”。

可是只有(you)AI，自動駕駛也做不起來，它(ta)還需要攝(she)像頭、激光(guang)雷達、毫米(mi)波雷達等各類傳感器(qi)。

人臉識別也是非常好的一項技術，可以用來做人臉識別閘機、人臉無感支付，但是現在很多時候人臉識別還是容易受到環境干擾、hei客攻擊。
所以，想把AI做好(hao)，傳感(gan)器(qi)對我們進入智能時代至關(guan)重要。有了(le)3D傳感(gan)器(qi)，掃地(di)機不(bu)會跌跌撞(zhuang)撞(zhuang)，僅憑一(yi)張(zhang)照片一(yi)個視頻也騙不(bu)開手機解鎖，自動駕駛也能檢測(ce)到來(lai)往(wang)行人、車輛，變得更(geng)安全。

3D傳感器在(zai)(zai)AI幾(ji)乎(hu)所有(you)的領(ling)域(yu)都有(you)廣(guang)泛的應(ying)用，比(bi)如新(xin)零售，自(zi)動駕駛，個性(xing)化教育，智慧醫療，智能安防(fang)，智能監(jian)護，智能機器人等(deng)等(deng)。 2019年，我們(men)也將迎來3D視覺技術在(zai)(zai)各個領(ling)域(yu)的廣(guang)泛應(ying)用。

1、 雙目視覺
談到3D視覺，主要就是指圖像不僅僅是二維的XY坐標，還要感受被拍照物體的距離遠近，大小尺寸，也就是空間坐標Z。
我(wo)們人(ren)靠著左(zuo)右兩只(zhi)眼可以估計出前(qian)方的(de)(de)門在(zai)(zai)(zai)3m處，桌子(zi)上的(de)(de)茶(cha)杯(bei)在(zai)(zai)(zai)1.5m處，遠處的(de)(de)樹大概在(zai)(zai)(zai)10m。仿生學是被應(ying)用得(de)非常(chang)好(hao)的(de)(de)，通(tong)(tong)過(guo)兩只(zhi)攝像頭，無人(ren)機可以分辨(bian)前(qian)方障(zhang)礙物(wu)一根(gen)電線(xian)桿的(de)(de)距(ju)離。因為(wei)在(zai)(zai)(zai)它的(de)(de)左(zuo)眼中，物(wu)體坐標為(wei)A，相(xiang)應(ying)的(de)(de)視(shi)場角(jiao)度α， 右眼坐標為(wei)B，相(xiang)應(ying)的(de)(de)視(shi)場角(jiao)度β，而基線(xian)距(ju)離x是早先就(jiu)在(zai)(zai)(zai)機械(xie)結構上確定的(de)(de)。這樣通(tong)(tong)過(guo)下面(mian)的(de)(de)公式，我(wo)們就(jiu)可以得(de)到空間點的(de)(de)z軸距(ju)離。

這個(ge)(ge)方法已經沿(yan)用了很多年(nian)，從技術上(shang)來說(shuo)，視(shi)野里面(mian)所有(you)的(de)(de)(de)點(dian)(dian)都不(bu)(bu)可靠了，不(bu)(bu)能確(que)定左右眼中的(de)(de)(de)兩個(ge)(ge)點(dian)(dian)是不(bu)(bu)是同(tong)一個(ge)(ge)點(dian)(dian)。它的(de)(de)(de)優點(dian)(dian)就(jiu)是觀測距離遠，精(jing)度(du)高，成(cheng)本相對較低。缺點(dian)(dian)就(jiu)是面(mian)對單一場景(jing)，例如一面(mian)白墻，波動的(de)(de)(de)水面(mian)，皚(ai)皚(ai)的(de)(de)(de)白雪，綠(lv)油油的(de)(de)(de)草地，我們人(ren)都會失(shi)去(qu)參(can)考點(dian)(dian)，這時候無人(ren)機或處理(li)器就(jiu)無法計算(suan)出深度(du)。

這也就是為什么(me)雙目攝像頭鮮(xian)少應用在(zai)手機、人(ren)(ren)臉識別(bie)、人(ren)(ren)臉解鎖等方(fang)面。

另外(wai)一(yi)個(ge)(ge)問題是，如果(guo)我(wo)們要(yao)(yao)(yao)將(jiang)物體表(biao)面做(zuo)(zuo)一(yi)個(ge)(ge)高分(fen)辨率深度探(tan)測，那(nei)么(me)處理器先要(yao)(yao)(yao)做(zuo)(zuo)多點的(de)圖(tu)像(xiang)數據匹配，這個(ge)(ge)匹配算(suan)(suan)法的(de)算(suan)(suan)力要(yao)(yao)(yao)求(qiu)就超乎一(yi)般人想(xiang)象(xiang)，然后再執行圖(tu)中公式的(de)計算(suan)(suan)，而這個(ge)(ge)運(yun)算(suan)(suan)是三角函數級(ji)別(bie)，比較復(fu)雜(za)。可以想(xiang)象(xiang)如果(guo)需要(yao)(yao)(yao)將(jiang)人臉表(biao)面做(zuo)(zuo)1000個(ge)(ge)點的(de)深度信息建模(mo)，那(nei)么(me)所需要(yao)(yao)(yao)的(de)運(yun)算(suan)(suan)量是多么(me)的(de)復(fu)雜(za)。

2、結構光
2017年iPhone X面世，它(ta)采用3D結構光的方式，將我們人臉(lian)的3D數據測(ce)算(suan)出來，又一次(ci)了技術(shu)潮流。

對于(yu)結構光，其實也(ye)是一個很古老的(de)技術，只不過蘋(pin)果可以(yi)把它做到手機里(li)面，還是比較讓大家吃驚的(de)。

左圖是一(yi)個(ge)(ge)3d結(jie)構光的(de)(de)簡單實驗(yan)版。通(tong)(tong)過(guo)(guo)右邊(bian)的(de)(de)投影儀(yi)可以投影出(chu)黑白(bai)相(xiang)間的(de)(de)條紋狀(zhuang)圖案(an)，打在一(yi)個(ge)(ge)狐貍面具上(shang)面這(zhe)些條紋狀(zhuang)的(de)(de)圖案(an)就會產生一(yi)定的(de)(de)畸變。通(tong)(tong)過(guo)(guo)CCD相(xiang)機將這(zhe)個(ge)(ge)畸變的(de)(de)形(xing)狀(zhuang)拍(pai)下來之后，便可以通(tong)(tong)過(guo)(guo)這(zhe)個(ge)(ge)畸變的(de)(de)狀(zhuang)態，去計算(suan)出(chu)這(zhe)個(ge)(ge)面具相(xiang)應的(de)(de)凹凸(tu)不平(ping)的(de)(de)3D信息。比(bi)如條紋向(xiang)左彎(wan)曲，就代表(biao)凸(tu)起，向(xiang)右彎(wan)曲代表(biao)凹陷。

單點結(jie)(jie)構光(guang)(guang)的(de)(de)三角(jiao)測距法基本原理如右(you)圖，激光(guang)(guang)光(guang)(guang)源(yuan)打出一個(ge)(ge)很小很亮(liang)的(de)(de)紅點，傳感器接收到之后，就(jiu)(jiu)可(ke)(ke)以在sensor表面找到這個(ge)(ge)特(te)別(bie)亮(liang)的(de)(de)點的(de)(de)坐標（x’，y’）。結(jie)(jie)合(he)光(guang)(guang)源(yuan)的(de)(de)投影角(jiao)，基線距離(li)b，鏡(jing)頭(tou)焦距f，就(jiu)(jiu)可(ke)(ke)以通過上(shang)面的(de)(de)公式解析出三軸坐標（x,y,z）了。

而IPHONE X使用了(le)3萬個(ge)點的(de)(de)投射(she)器(qi)，然后通過(guo)一百四(si)十萬像素(su)的(de)(de)紅外攝(she)像頭，將這(zhe)些投射(she)點的(de)(de)信息全部(bu)都采集回(hui)來，這(zhe)中間一個(ge)復雜的(de)(de)問(wen)題，就(jiu)是(shi)要(yao)將這(zhe)3萬個(ge)點每一個(ge)點匹(pi)配。這(zhe)里面難的(de)(de)就(jiu)是(shi)要(yao)找到打(da)在臉上的(de)(de)點的(de)(de)ID，也就(jiu)是(shi)得知(zhi)道打(da)出(chu)點的(de)(de)投射(she)角，基線(xian)距離(li)。這(zhe)個(ge)匹(pi)配算法是(shi)需(xu)要(yao)非常大量(liang)的(de)(de)計(ji)算的(de)(de)。而且為了(le)降低計(ji)算量(liang)，這(zhe)3萬個(ge)點的(de)(de)排布在我(wo)們看來是(shi)隨機的(de)(de)，實際是(shi)符(fu)合某種數學幾何規律的(de)(de)。

可(ke)以看到這個計算公式里面包(bao)含(han)了(le)各項幾何參數(shu)，所以對組裝工(gong)藝要求(qiu)很高，而且(qie)后(hou)期(qi)客戶(hu)將手機摔(shuai)倒了(le)或者震(zhen)動，都可(ke)能(neng)會影(ying)響3D測量(liang)精度。

另外這塊由于(yu)(yu)專li的(de)保護，別人很(hen)難進入。所以業內對(dui)于(yu)(yu)蘋(pin)果(guo)能推出這個方(fang)案，還是很(hen)佩服的(de)，蘋(pin)果(guo)還是具備(bei)相當強大的(de)工(gong)程能力(li)。因為IPHONE X的(de)利(li)潤率不錯，蘋(pin)果(guo)可以做這塊的(de)事情(qing)。而別的(de)廠(chang)商做這個就挺(ting)痛(tong)苦的(de)，受限于(yu)(yu)成本和(he)技術(shu)難度。

來源：光電微課堂