背景技術(shù)：
1、在環(huán)境導(dǎo)航方面，自主車輛基于自主車輛的傳感器系統(tǒng)生成的傳感器信號感知自主車輛周圍的物體。例如，自主車輛可以包括各種傳感器系統(tǒng)，諸如無線電雷達(dá)傳感器系統(tǒng)、攝像頭傳感器系統(tǒng)和/或激光雷達(dá)傳感器系統(tǒng)，用于生成傳感器信號。自主車輛還包括集中處理設(shè)備，該設(shè)備接收基于傳感器系統(tǒng)生成的傳感器信號的數(shù)據(jù)，并執(zhí)行各種不同的任務(wù)，諸如檢測車輛、行人和其他物體?；谔幚碓O(shè)備的輸出，自主車輛可以執(zhí)行駕駛機(jī)動。
2、最近，針對自主車輛已開發(fā)出飛行時間傳感器系統(tǒng)。飛行時間傳感器系統(tǒng)是一種用于測量到環(huán)境中(一個或多個)物體的距離的設(shè)備。飛行時間傳感器系統(tǒng)可以連續(xù)捕獲多個幀，并將這些幀組合起來以形成點云。當(dāng)飛行時間傳感器系統(tǒng)和飛行時間傳感器系統(tǒng)所成像的場景中的(一個或多個)物體彼此相對運(yùn)動時，這些幀(或幀的某些區(qū)段)不再像素對齊。例如，相對運(yùn)動可能取決于物體與飛行時間傳感器系統(tǒng)的距離以及飛行時間傳感器系統(tǒng)的移動速度(例如，包含飛行時間傳感器系統(tǒng)的自主車輛的速度)。因此，會對表現(xiàn)出相對運(yùn)動的像素深度的估計引入誤差。此外，當(dāng)飛行時間傳感器系統(tǒng)視場內(nèi)的(一個或多個)物體經(jīng)歷與飛行時間傳感器系統(tǒng)無關(guān)的運(yùn)動(例如，行人穿過街道)時，也可能發(fā)生相對運(yùn)動。
3、飛行時間傳感器系統(tǒng)在一時間段期間捕獲多個離散幀。然而，所述場景在該時間段內(nèi)可能不是靜止的。根據(jù)示例，如果飛行時間傳感器正以相對較高的速度移動，同時捕獲包括停放的汽車和以相對較低的速度移動的行人的場景的幀，則這種相對運(yùn)動導(dǎo)致相繼幀的像素在幀與幀之間發(fā)生偏移，這在嘗試估計深度時引入誤差。
4、一些常規(guī)方法嘗試通過最小化從幀捕獲序列開始到幀捕獲序列結(jié)束的時間量來減輕飛行時間傳感器系統(tǒng)的像素錯位。例如，這些方法嘗試在時間上壓縮幀捕獲，以最小化相對運(yùn)動的影響。然而，隨著多個離散幀所在的時間段被壓縮，幀的積分時間也被縮短，導(dǎo)致每個幀收集到的信號減少。然而，在飛行時間傳感器系統(tǒng)捕獲的每個幀所需信號量方面存在根本限制，并且因此，積分時間不能任意縮短，否則無法收集到所需的信號量。此外，從飛行時間傳感器系統(tǒng)的傳感器(例如，成像器)讀取信息需要限定量的時間；該時間可能取決于傳感器的設(shè)計和傳感器的模數(shù)轉(zhuǎn)換器(adc)的速度。積分時間之間的這種測量間時間用于讀取、重置以及再次啟動傳感器上的積分。因此，飛行時間傳感器系統(tǒng)本身的設(shè)計限制了從幀捕獲序列開始到幀捕獲序列結(jié)束的時間量可以被壓縮的程度。
技術(shù)實現(xiàn)思路
1、以下是對本文更詳細(xì)描述的主題的簡要概述。該概述并非旨在限制權(quán)利要求的范圍。
2、本文描述了用于減輕飛行時間傳感器系統(tǒng)的運(yùn)動錯位的各種技術(shù)。飛行時間傳感器系統(tǒng)的傳感器輸出的幀流可被接收(例如，由計算系統(tǒng)接收)。該幀流包括一系列幀序列。幀序列包括一組幀，其中該組中的幀具有不同的幀類型。幀的幀類型表示當(dāng)飛行時間傳感器系統(tǒng)捕獲該幀時飛行時間傳感器系統(tǒng)的傳感器參數(shù)，因此不同的幀類型表示不同的傳感器參數(shù)。例如，飛行時間傳感器系統(tǒng)的傳感器參數(shù)可以包括飛行時間傳感器系統(tǒng)的照明狀態(tài)(例如，飛行時間傳感器系統(tǒng)針對該幀正在發(fā)光還是針對該幀被禁止發(fā)光)、飛行時間傳感器系統(tǒng)的發(fā)射器系統(tǒng)和接收器系統(tǒng)之間針對該幀的相對相位延遲、和/或飛行時間傳感器系統(tǒng)的傳感器針對該幀的積分時間。此外，可以識別幀流中的一對不相鄰幀。例如，該對不相鄰幀可以包括相同幀類型的相繼幀。根據(jù)另一個示例，該對不相鄰幀可以包括具有180度相位差的相對相位延遲的相繼幀。此外，可以基于幀流中的該對不相鄰幀來計算計算出的光流數(shù)據(jù)。
3、根據(jù)各種實施例，可以基于計算出的光流數(shù)據(jù)生成該幀流中除該對不相鄰幀之外的至少一個不同幀的估計光流數(shù)據(jù)。此外，可以基于該估計光流數(shù)據(jù)重新對齊該至少一個不同幀。此外，可以基于幀序列中重新對齊的幀來計算物體深度數(shù)據(jù)，并且可以輸出包括物體深度數(shù)據(jù)的點云。
4、在各種實施例中，可以通過以下方式來生成該流中除該對不相鄰幀之外的至少一個不同幀的估計光流數(shù)據(jù)：基于計算出的光流數(shù)據(jù)對該對不相鄰幀之間的至少一個中間幀的估計光流數(shù)據(jù)進(jìn)行插補(bǔ)。根據(jù)示例，可以基于光流數(shù)據(jù)計算該對不相鄰幀之間的中間幀的估計光流數(shù)據(jù)。根據(jù)其他實施例，可以通過以下方式來生成該流中除該對不相鄰幀之外的至少一個不同幀的估計光流數(shù)據(jù)：基于計算出的光流數(shù)據(jù)，外推出該對不相鄰幀之后的至少一個相繼幀的估計光流數(shù)據(jù)。
5、此外，根據(jù)其他實施例，可以生成在該幀流中檢測到的物體的橫向速度估計數(shù)據(jù)?？梢宰R別該幀流中的該對不相鄰幀。此外，可以基于幀流中的該對不相鄰幀計算計算出的光流數(shù)據(jù)。此外，可以基于計算出的光流數(shù)據(jù)生成不相鄰幀中物體的橫向速度估計數(shù)據(jù)。還可以基于該幀的視場內(nèi)包括的飛行時間傳感器系統(tǒng)環(huán)境中的區(qū)域和/或該物體的深度數(shù)據(jù)生成該物體的橫向速度估計數(shù)據(jù)。
6、因為幀序列中的幀可以重新對齊，本文所述的技術(shù)實現(xiàn)運(yùn)動偽影減少。因此，幀序列中重新對齊的幀之間單個像素處的測量結(jié)果能夠更有可能對應(yīng)于場景中相對相同深度處的共同物體。此外，重疊重新對齊的幀可以提高給定像素的信噪比；因此，幀對齊提高了組合圖像的信噪比。此外，已重新對齊的點的深度準(zhǔn)確度可以得到增強(qiáng)。
7、上述
技術(shù)實現(xiàn)要素：
呈現(xiàn)了簡化的發(fā)明內(nèi)容，以便對本文所討論的系統(tǒng)和/或方法的一些方面提供基本的理解。本發(fā)明內(nèi)容并非對本文所討論的系統(tǒng)和/或方法的詳盡概述。并非意圖標(biāo)識關(guān)鍵/決定性元素或界定此類系統(tǒng)和/或方法的范圍。其唯一目的是以簡化的形式呈現(xiàn)一些概念，作為稍后呈現(xiàn)的更詳細(xì)描述的序言。
1.一種計算系統(tǒng)，包括：
2.根據(jù)權(quán)利要求1所述的計算系統(tǒng)，所述動作還包括：
3.根據(jù)權(quán)利要求2所述的計算系統(tǒng)，其中，所述幀序列中的所述一組幀由所述飛行時間傳感器系統(tǒng)在1毫秒和100毫秒之間的時間段內(nèi)捕獲。
4.根據(jù)權(quán)利要求1-3中至少一項所述的計算系統(tǒng)，其中，捕獲所述幀時所述飛行時間傳感器系統(tǒng)的傳感器參數(shù)包括以下至少之一：
5.根據(jù)權(quán)利要求1-4中至少一項所述的計算系統(tǒng)，其中，生成所述流中除所述一對不相鄰幀之外的所述至少一個不同幀的估計光流數(shù)據(jù)包括基于所述計算出的光流數(shù)據(jù)插補(bǔ)出所述一對不相鄰幀之間至少一個中間幀的估計光流數(shù)據(jù)。
6.根據(jù)權(quán)利要求1-4中至少一項所述的計算系統(tǒng)，其中，生成所述流中除所述一對不相鄰幀之外的所述至少一個不同幀的估計光流數(shù)據(jù)包括基于所述計算出的光流數(shù)據(jù)插補(bǔ)出所述一對不相鄰幀之間的中間幀的估計光流數(shù)據(jù)。
7.根據(jù)權(quán)利要求1-4中至少一項所述的計算系統(tǒng)，其中，生成所述流中除所述一對不相鄰幀之外的所述至少一個不同幀的估計光流數(shù)據(jù)包括：基于所述計算出的光流數(shù)據(jù)，外推出所述一對不相鄰幀之后的至少一個相繼幀的估計光流數(shù)據(jù)。
8.根據(jù)權(quán)利要求1至7中至少一項所述的計算系統(tǒng)，其中，還基于所述至少一個不同幀的時間戳信息生成所述至少一個不同幀的估計光流數(shù)據(jù)。
9.根據(jù)權(quán)利要求1至8中至少一項所述的計算系統(tǒng)，其中，所述流中的所述一對不相鄰幀包括相同幀類型的相繼幀。
10.根據(jù)權(quán)利要求1至8中至少一項所述的計算系統(tǒng)，其中，針對所述幀流中相繼幀序列中相同幀類型的每對不相鄰幀計算所述計算出的光流數(shù)據(jù)。
11.根據(jù)權(quán)利要求1至8中至少一項所述的計算系統(tǒng)，其中，用于計算所述計算出的光流數(shù)據(jù)的所述流中的所述一對不相鄰幀包括所述飛行時間傳感器系統(tǒng)被禁止發(fā)光所針對的相繼無源幀。
12.根據(jù)權(quán)利要求1至8中至少一項所述的計算系統(tǒng)，其中，用于計算所述計算出的光流數(shù)據(jù)的所述流中的所述一對不相鄰幀包括具有180度相位差的相對相位延遲的相繼幀。
13.一種減輕飛行時間傳感器系統(tǒng)的運(yùn)動錯位的方法，包括：
14.根據(jù)權(quán)利要求13所述的方法，還包括：
15.根據(jù)權(quán)利要求13-14中至少一項所述的方法，其中，生成所述流中除所述一對不相鄰幀之外的至少一個不同幀的估計光流數(shù)據(jù)包括：基于所述計算出的光流數(shù)據(jù)，插補(bǔ)出所述一對不相鄰幀之間至少一個中間幀的估計光流數(shù)據(jù)。