這一次，熊貓君分享一個(gè)內(nèi)窺鏡的技術(shù)實(shí)現(xiàn)方案。內(nèi)窺鏡的方案很多：主處理器有用專(zhuān)用ASIC的，比如日、臺(tái)、韓的相機(jī)ASIC；有用專(zhuān)用CPU的，比如海思、瑞星微和君正等。熊貓君的這個(gè)是基于Xilinx ZYNQ的低成本方案。

縱觀(guān)中低端的內(nèi)窺鏡用圖像傳感器，主要是以O(shè)V的為主，熊貓君接觸和實(shí)現(xiàn)過(guò)的主要有OV6946+OV426、OV6948+OV426、OV9734、OH02A1S（帶近紅外增強(qiáng)）、OH0TA10+普通ADC（這顆料據(jù)說(shuō)是業(yè)界最小，400×400相素，封裝尺寸只有550μm*550μm）、DH01A10等等，接口有模擬的、MIPI和LVDS；另外還有就是艾邁斯的NanEyeM，320×320相素，接口用的是內(nèi)嵌碼的LVDS，需要高速時(shí)鐘過(guò)采樣才能接收，比較麻煩。對(duì)OV的Sensor而言，模擬輸出通過(guò)ADC采樣后一般可以轉(zhuǎn)為L(zhǎng)VDS或DVP接口，MIPI輸出的因?yàn)榉直媛屎蛶识驾^低，速率不會(huì)太高（lane速率＜800Mbps），完全可以用ZYNQ加電阻網(wǎng)絡(luò)來(lái)接收?qǐng)D像。

一、硬件方案

以下我們以O(shè)V的DH01A10為例來(lái)敘述，DH01A10實(shí)際上算是OV6946的升級(jí)版本，同樣是400×400相素的，區(qū)別是工藝更加先進(jìn)：（1）近紅外波段成像增強(qiáng)；（2）靈敏度高達(dá)3600mV/lux-sec（OV6946只有1000mV/lux-sec，整整是3.6倍）；（3）封裝尺寸只有550μm×550μm，1/36”（業(yè)界最小，差不多是OV6946的1/4）;（4）輸出接口驅(qū)動(dòng)能力為4米，可用用OV426接收，也可用其它ADC方案來(lái)搭。因此，相較于OV6946而言，DH01A10近紅外成像，成像質(zhì)量更高，驅(qū)動(dòng)能力更強(qiáng)，不再有豎條紋狀非均勻性現(xiàn)象。那么，對(duì)于一般的手術(shù)用或檢查用臺(tái)式機(jī)，系統(tǒng)的硬件框圖如下圖1所示。

圖1 基于ZYNQ的醫(yī)療內(nèi)窺鏡硬件框圖

如上圖1所示，醫(yī)療手持式或臺(tái)機(jī)對(duì)體積和功耗沒(méi)有較高的要求，接口要求比較豐富一些，比如可以通過(guò)千兆網(wǎng)和USB接口導(dǎo)出錄制的視頻和拍攝的照片，可以通過(guò)網(wǎng)絡(luò)配置機(jī)器的參數(shù)，有按鍵和觸摸屏可以操控機(jī)器，有HDMI可以接入到通用顯示器等等。一般的，拍照存儲(chǔ)為JPEG格式，視頻存儲(chǔ)為mp4或avi格式，存儲(chǔ)在內(nèi)部的大容量eMMC中。通常的，會(huì)將攝像頭模組做成模塊化可拆卸裝置，作為一個(gè)耗材出現(xiàn)。

二、軟件方案

在這個(gè)系統(tǒng)中，ZYNQ實(shí)現(xiàn)了軟硬件協(xié)同處理，軟件方案圖如下圖2所示。在PL上，主要實(shí)現(xiàn)了Sensor驅(qū)動(dòng)（圖像采集和寄存器配置等）、ISP處理、JPEG視頻編碼以及eDP或LVDS屏的驅(qū)動(dòng)。在PS上，上層框架基于QT，實(shí)現(xiàn)了產(chǎn)品UI、觸摸屏、操控接口、視頻的編解碼、視頻的錄制、存儲(chǔ)、預(yù)覽和回放，照片的拍攝、保存和回看等功能，以及配置FPGA進(jìn)行初始化、自動(dòng)曝光和自動(dòng)擺平和的配置工作。從器件性能上來(lái)說(shuō)，ZYNQ-7000系列的ARM是雙核Cortex-A9，-2速度的也最多只能跑到766MHz，因此優(yōu)化這個(gè)系統(tǒng)使視頻錄制和顯示達(dá)到實(shí)時(shí)性的要求，所需要做的工作量很大，也需要linux和fpga層面協(xié)同做很多的處理，可謂是將芯片的性能運(yùn)用到了極致。即使這樣，arm端實(shí)現(xiàn)h.264編碼也只能保證400*400/30fps的實(shí)時(shí)性，高于此規(guī)格的均由FPGA來(lái)進(jìn)行Motion JPEG編碼，最終封裝為AVI視頻保存?；胤艜r(shí)解碼相對(duì)簡(jiǎn)單，ARM運(yùn)算即可滿(mǎn)足要求。本系統(tǒng)最高支持1080P/30fps的流處理。在ISP上，系統(tǒng)還需針對(duì)醫(yī)療及sensor做一些特殊的處理，比如大多數(shù)的OV6946而言有豎條紋，此時(shí)要做非均勻性校正算法，此類(lèi)senor的動(dòng)態(tài)范圍普遍偏低，還需要做一些對(duì)比度拉升或銳化處理使之看起來(lái)更加的銳利一些，有些還會(huì)有針對(duì)性進(jìn)行調(diào)色處理等等。

圖2 基于ZYNQ的內(nèi)窺鏡軟件方案

總體來(lái)說(shuō)，中低端的內(nèi)窺鏡前端設(shè)備不會(huì)涉及到專(zhuān)業(yè)的醫(yī)療軟件自動(dòng)成像分析，主要還是檢查和手術(shù)過(guò)程中現(xiàn)場(chǎng)人工查看和分析這些影像。即使有自動(dòng)軟件分析的需求，這些一般是通過(guò)接口傳輸影像數(shù)據(jù)到PC端后另行專(zhuān)業(yè)軟件處理。

更為高端的腹腔鏡之類(lèi)，方案有用海思的，也有用ZYNQ UltraScale+ MPSoC帶Codec那款的，國(guó)外的頭部的也有用高端FPGA+高端的自有ASIC芯片的，總之整個(gè)技術(shù)難度要上一個(gè)很大的臺(tái)階。

另外，現(xiàn)在甚為流行的膠囊內(nèi)窺鏡，則走的另外一條低功耗的路子，傳感器性能不一定高，要求無(wú)線(xiàn)傳輸圖像，幀率可能是1~2Hz，也可能是觸發(fā)式的，但是有一個(gè)極低功耗的要求和一個(gè)很小體積的要求，一般要求能夠工作（休眠）數(shù)個(gè)小時(shí)。目前市面現(xiàn)有的產(chǎn)品也有采用低功耗FPGA（actel的）加MSP430單片機(jī)的方案（熊貓君拆過(guò)研究過(guò)一兩款現(xiàn)有產(chǎn)品，也動(dòng)過(guò)折騰一款的念頭）。

三、其他

在當(dāng)前的形勢(shì)下，熊貓君這邊的中低端內(nèi)窺鏡方案主要還是集中在基于ZYNQ-7010、瑞星微RV1126這兩個(gè)平臺(tái)上，也有海思和ZU4EV的，但是這倆一個(gè)是拿到芯片不容易，一個(gè)是太貴了，代價(jià)太高了，風(fēng)險(xiǎn)也太高了，其他的總是差點(diǎn)啥，不是這里性能不夠，就是那里接口少了。總之，希望其他國(guó)產(chǎn)能夠崛起，實(shí)現(xiàn)一個(gè)小目標(biāo)：達(dá)到海思Hi3559的水平。

熊貓君這邊有成熟的基于ZYNQ-7000和RV1126的完整方案和整機(jī)，也歡迎感興趣的朋友蒞臨現(xiàn)場(chǎng)指導(dǎo)。如果您需要，而我恰恰也有的話(huà)，我們或許就能愉快的合作一把呢。

審核編輯：湯梓紅