隨著人工智能時(shí)代的來(lái)臨，相應(yīng)的芯片產(chǎn)品和行業(yè)也產(chǎn)生了相應(yīng)的新方向。在人工智能的各個(gè)分支中，機(jī)器視覺(jué)無(wú)疑是應(yīng)用最廣泛的方向，它支撐著諸如人臉檢測(cè)、工業(yè)異常檢測(cè)、手勢(shì)識(shí)別等諸多重要的應(yīng)用。顧名思義，機(jī)器視覺(jué)是使用機(jī)器學(xué)習(xí)/人工智能的方法來(lái)分析視覺(jué)信號(hào)，并且通過(guò)人工智能直接產(chǎn)生分析結(jié)果。因此，機(jī)器視覺(jué)天然就需要一個(gè)圖像傳感器來(lái)作為輸入信號(hào)，而隨著機(jī)器視覺(jué)和人工智能的逐漸發(fā)展，機(jī)器視覺(jué)與圖像傳感器芯片的結(jié)合成為“智能圖像傳感器”也是順應(yīng)了技術(shù)發(fā)展的脈絡(luò)。
如果我們進(jìn)一步分析智能圖像傳感器，我們認(rèn)為又可以分為兩類。第一類是圖像傳感器與人工智能計(jì)算相結(jié)合，即圖像傳感器模組除了可以輸出圖像之外，還可以直接輸出人工智能算法計(jì)算的結(jié)果。這樣的智能圖像傳感器我們可以稱之外“人工智能賦能的圖像傳感器”，它們往往能做到非常低功耗的人工智能分析，因此在物聯(lián)網(wǎng)和可穿戴式智能設(shè)備中有重要應(yīng)用。
而另一類智能圖像傳感器則是為人工智能應(yīng)用專門設(shè)計(jì)的圖像傳感器，其輸出的內(nèi)容和方式往往與傳統(tǒng)的圖像傳感器有區(qū)別。這類智能圖像傳感器可以稱之為“為人工智能賦能的圖像傳感器”。這類圖像傳感器中的一種重要圖像傳感器是事件驅(qū)動(dòng)傳感器，它突破了傳統(tǒng)圖像傳感器固定幀率的特性，從而可以為一些重要的工業(yè)和智能車應(yīng)用提供支撐。
當(dāng)然，我們也可以預(yù)期會(huì)出現(xiàn)同時(shí)結(jié)合上述兩類特性的智能圖像傳感器，為各類人工智能應(yīng)用提供硬件支持。目前，Sony是在智能圖像傳感器領(lǐng)域布局最多的巨頭，同時(shí)我們也看到了一些初創(chuàng)公司在這個(gè)方向持續(xù)地探索新的技術(shù)和應(yīng)用。
人工智能賦能的圖像傳感器
如前所述，圖像傳感器為機(jī)器視覺(jué)這一最重要的機(jī)器視覺(jué)應(yīng)用提供輸入信號(hào)。在傳統(tǒng)的機(jī)器視覺(jué)芯片解決方案中，圖像傳感和人工智能算法的運(yùn)行在不同的硬件上完成，圖像傳感器提供圖像信號(hào)，而處理器或者AI加速芯片執(zhí)行人工智能算法。然而，這樣的做法在強(qiáng)調(diào)低功耗和能效比的移動(dòng)端或IoT智能設(shè)備中，將會(huì)造成能量的浪費(fèi)，并且難以處理一些需要常開(kāi)(always-on)的應(yīng)用場(chǎng)景。
舉例來(lái)說(shuō)，如果拿目前流行的手機(jī)端機(jī)器視覺(jué)解決方案來(lái)說(shuō)，通常的做法是，手機(jī)SoC中的主處理器AP打開(kāi)圖像傳感器，圖像傳感器將圖像信號(hào)發(fā)送給SoC，并且由SoC中的處理器，或GPU，或AI加速器來(lái)跑人工智能算法，并且輸出結(jié)果。在這個(gè)過(guò)程中，能效比有幾個(gè)瓶頸。首先是圖像傳感器必須把圖像傳送給SoC，這期間需要使用MIPI等接口，存在額外功耗開(kāi)銷。其次，是SoC在整個(gè)過(guò)程必須處于喚醒狀態(tài)，還通常必須運(yùn)行整個(gè)操作系統(tǒng)，因此即使AI加速器能以很高的能效比運(yùn)行算法，但是整個(gè)過(guò)程中能量消耗最大的部分可能并不是人工智能算法，而是SoC處于喚醒狀態(tài)并且運(yùn)行整個(gè)操作系統(tǒng)帶來(lái)的額外功耗。
這樣的功耗開(kāi)銷在手機(jī)端只需要偶爾運(yùn)行機(jī)器學(xué)習(xí)的場(chǎng)景或許可行，但是在IoT和可穿戴設(shè)備中，尤其是需要執(zhí)行常開(kāi)式機(jī)器視覺(jué)算法的場(chǎng)合，就成為了瓶頸。
人工智能賦能的圖像傳感器就可以解決這個(gè)問(wèn)題。具體來(lái)說(shuō)，這樣的智能圖像傳感器在圖像傳感器模組中集成了人工智能算法的運(yùn)行模塊，因此可以直接輸出機(jī)器視覺(jué)算法的結(jié)果，而這樣運(yùn)行機(jī)器視覺(jué)的方法也常被稱為“傳感器內(nèi)運(yùn)算(in-sensor computing)”。通過(guò)傳感器內(nèi)計(jì)算，機(jī)器視覺(jué)算法的運(yùn)行單位從SoC換到了圖像傳感器，因此在運(yùn)行機(jī)器視覺(jué)算法時(shí)，SoC無(wú)需處于喚醒狀態(tài)，也無(wú)需運(yùn)行操作系統(tǒng)，而是可以處于低功耗的待機(jī)狀態(tài)。另一方面，傳感器內(nèi)運(yùn)算由于整個(gè)系統(tǒng)比較簡(jiǎn)單，并沒(méi)有運(yùn)行操作系統(tǒng)等額外開(kāi)銷，并且有為機(jī)器視覺(jué)算法量身定做的加速器芯片模組，因此能效比可以做到很高。最后，在接口方面，通常可以實(shí)現(xiàn)由智能圖像傳感器在檢測(cè)到重要輸出時(shí)才去以中斷的方式去喚醒SoC，并且只需要傳遞機(jī)器視覺(jué)算法運(yùn)行的結(jié)果，因此數(shù)據(jù)傳輸?shù)拈_(kāi)銷也大大降低了。
在人工智能賦能的圖像傳感器中，Sony已經(jīng)于去年首先發(fā)布了帶有傳感器內(nèi)計(jì)算功能的智能圖像傳感器IMX500，可望使用在各類需要低功耗高性能邊緣機(jī)器視覺(jué)應(yīng)用的領(lǐng)域。除此之外，Sony還發(fā)布了相應(yīng)的開(kāi)發(fā)平臺(tái)Aitrios，能以訂閱服務(wù)的形式為用戶提供用于智能圖像傳感器的模型開(kāi)發(fā)和部署服務(wù)。
賦能人工智能的圖像傳感器
另一類新的智能圖像傳感器是可以賦能人工智能機(jī)器視覺(jué)的圖像傳感器。在傳統(tǒng)的圖像傳感器中，幀率是固定的(通常在數(shù)十到上百幀每秒)，即無(wú)論外部條件如何，圖像傳感器都會(huì)以同樣的頻率采集圖像并且傳輸給機(jī)器視覺(jué)算法。然而，在工業(yè)檢測(cè)(如振動(dòng)監(jiān)測(cè))和智能駕駛等應(yīng)用中，固定幀率得到的圖像并不是最優(yōu)化的圖像采集方式。具體來(lái)說(shuō)，工業(yè)檢測(cè)和智能駕駛中，機(jī)器視覺(jué)最關(guān)注的是事件;當(dāng)沒(méi)有發(fā)生任何事件(例如，圖像沒(méi)有變化)時(shí)，即使以很低的幀率采集圖像甚至不采集圖像都可以。然而，當(dāng)發(fā)生事件時(shí)(例如工業(yè)檢測(cè)中機(jī)器開(kāi)始振動(dòng)，智能駕駛中出現(xiàn)來(lái)車)，使用數(shù)十幀每秒的幀率又顯得不夠，而希望以千幀每秒甚至更高的幀率去采樣。
在這種需求中，事件驅(qū)動(dòng)視覺(jué)傳感器就是一種為機(jī)器視覺(jué)專門賦能的新智能圖像傳感器。顧名思義，事件驅(qū)動(dòng)視覺(jué)傳感器關(guān)注“事件”，因此在檢測(cè)到相關(guān)事件發(fā)生時(shí)，可以以非常高的幀率(1000-10000 fps)來(lái)采集圖像，而在沒(méi)有事件發(fā)生時(shí)，則可以以很低的幀率采樣以降低功耗。
在傳感器巨頭領(lǐng)域，Sony在事件驅(qū)動(dòng)傳感器領(lǐng)域布局最多，在一年多前收購(gòu)了瑞士的相關(guān)初創(chuàng)公司Insightness，而三星也在積極研發(fā)相關(guān)技術(shù)，并且在ISSCC等頂級(jí)芯片會(huì)議上發(fā)表了相關(guān)研究論文。初創(chuàng)公司領(lǐng)域，事件驅(qū)動(dòng)視覺(jué)傳感器領(lǐng)域最重要初創(chuàng)公司是法國(guó)公司Prophesee，該公司目前已經(jīng)獲得了來(lái)自博世、Intel、華為等業(yè)界巨頭總計(jì)近七千萬(wàn)美元的投資，并且與各大公司進(jìn)行合作。在今年九月，Prophesee更是和Sony強(qiáng)強(qiáng)聯(lián)手推出了IMX636和IMX637，預(yù)計(jì)在未來(lái)我們會(huì)看到更多這樣的事件驅(qū)動(dòng)視覺(jué)傳感器出現(xiàn)在市場(chǎng)上，為各類新機(jī)器視覺(jué)應(yīng)用賦能。
智能視覺(jué)傳感器的中國(guó)力量
在智能傳感器領(lǐng)域，隨著人工智能的發(fā)展，我們認(rèn)為中國(guó)芯片公司也將會(huì)在這個(gè)領(lǐng)域越來(lái)越活躍。
首先，從圖像傳感器總體領(lǐng)域來(lái)說(shuō)，中國(guó)擁有圖像傳感器領(lǐng)域在全球市場(chǎng)僅次于Sony和三星的韋爾半導(dǎo)體，因此中國(guó)在這個(gè)領(lǐng)域的基礎(chǔ)并不落后。
其次，在人工智能芯片領(lǐng)域，中國(guó)擁有全球最活躍的初創(chuàng)公司生態(tài)，同時(shí)也有來(lái)自國(guó)家的大力支持，因此我們認(rèn)為將中國(guó)半導(dǎo)體行業(yè)在人工智能領(lǐng)域的優(yōu)勢(shì)和圖像傳感器領(lǐng)域的積累結(jié)合起來(lái)并推出人工智能賦能的圖像傳感器產(chǎn)品只是時(shí)間問(wèn)題。例如，最近中國(guó)的初創(chuàng)人工智能芯片公司時(shí)識(shí)科技(Synsense)和前述的法國(guó)公司Prophesee達(dá)成了合作將把時(shí)識(shí)科技的低功耗人工智能芯片技術(shù)和Prophesee的事件驅(qū)動(dòng)圖像傳感器技術(shù)集成以完成超低功耗邊緣端機(jī)器視覺(jué)解決方案，相信未來(lái)會(huì)有更多的中國(guó)公司之間的合作以推出中國(guó)自己的智能圖像傳感器。
最后，在事件驅(qū)動(dòng)傳感器領(lǐng)域，韋爾半導(dǎo)體也收購(gòu)了中國(guó)的相關(guān)初創(chuàng)公司芯侖，我們未來(lái)也期待中國(guó)公司能在相關(guān)領(lǐng)域推出產(chǎn)品以滿足機(jī)器視覺(jué)的需求。
文章來(lái)源：中國(guó)傳動(dòng)網(wǎng)
郵箱：sales@huayuan-elec.com service@huayuan-elec.com 
傳真：0755-23505661 
深圳市寶安區(qū)松崗街道沙浦社區(qū)松江路6號(hào)科創(chuàng)工坊2棟 
