對城市自動駕駛語義分割的開源數(shù)據(jù)集的理解可能會對工程師如何訓(xùn)練自動駕駛模型有所幫助。

最近10年我們在語義分割數(shù)據(jù)集的創(chuàng)建和算法提升方面付出了很多努力。最近得益于深度學(xué)習(xí)理論的發(fā)展，我們在視覺場景理解的子領(lǐng)域中獲得了不少進步。深度學(xué)習(xí)的缺點是需要大量的標(biāo)注數(shù)據(jù)，這里我們整理了一些廣泛應(yīng)用的城市語義分割的數(shù)據(jù)集，希望可以為自動駕駛領(lǐng)域提供借鑒。

這是我們關(guān)于如果為自動駕駛提供語義分割數(shù)據(jù)集系列文章中的第一篇。語義分割標(biāo)注任務(wù)主要是指在像素級水平上，把圖片中的物體按照類分別標(biāo)注。這些類可能是行人，車輛，建筑物，天空，植被等等。例如，語義分割可以幫助SDCs(自動駕駛車輛)識別一個圖片中的可行駛區(qū)域。

數(shù)據(jù)集

CAMVID

CamVid(960x720px)

這是最早用于自動駕駛領(lǐng)域的語義分割數(shù)據(jù)集，發(fā)布于2007年末。他們應(yīng)用自己的圖像標(biāo)注軟件在一段10分鐘的視頻中連續(xù)標(biāo)注了700張圖片，這些視頻是由安裝在汽車儀表盤的攝像機拍攝的，拍攝視角和司機的視角基本一致。

KITTI

KITTI Dataset(1242*375px)

KITTI數(shù)據(jù)集發(fā)布于2012年，但是他們起初不標(biāo)注好的語義分割圖像，而是后來由另外的團隊標(biāo)注而成。然而這個數(shù)據(jù)集沒有包括對道路的標(biāo)注。這個小數(shù)據(jù)集是由安裝在車頂部的一系列傳感器包括灰度傳感器，彩色相機，雷達掃描儀和GPS/IMU單元拍攝而成。

DUS

DUS Dataset(1024*440px)

這個數(shù)據(jù)集包括5000灰度圖像，其中只有500張標(biāo)注過的語義分割圖片。與其他數(shù)據(jù)集不同的是，它不包括“自然”這一分類。因為尺寸小，所以它比較適合用來測試語義分割模型的表現(xiàn)效果。

CityScapes

Cityscapes Dataset(2048*1024px)

它是DUS數(shù)據(jù)集的擴展版本，在更多的地形和氣候條件下錄制來獲取更多變的城市景觀。這個數(shù)據(jù)集也包括了很多粗糙的圖片來提升大量弱標(biāo)注的數(shù)據(jù)的表現(xiàn)效果。和DUS類似，相機是安裝在擋風(fēng)玻璃后面。圖片中的30個類別也被分成了8個大類。這個數(shù)據(jù)集的一個特征就是它提供了20000多張粗分割的圖片。很多深度學(xué)習(xí)技術(shù)應(yīng)用這個傳統(tǒng)的數(shù)據(jù)集來提升他們IoU評分。

最近的模型一般IoU都在80%以上，一下鏈接包含了他們的打分系統(tǒng)還有實施準(zhǔn)則。

Mapillary

Mapillary Vistas Dataset

是一個街景圖片平臺，平臺注冊用戶可以共同合作參與去制作更好的地圖。他們開放了部分圖片數(shù)據(jù)集并且以像素級精度標(biāo)注了這些圖片。在寫這篇文章時，它是世界上最大的做多樣化的開源數(shù)據(jù)集，地理范圍跨越了大陸。

由于這個平臺上的圖片使大眾一起收集的，所以圖片角度有很多種類。