行人軌跡預(yù)測(cè)問(wèn)題是無(wú)人駕駛技術(shù)的重要一環(huán)，已成為近年來(lái)的一項(xiàng)研究熱點(diǎn)。在機(jī)器人領(lǐng)域國(guó)際頂級(jí)會(huì)議ICRA 2020上，美團(tuán)無(wú)人配送團(tuán)隊(duì)從一百多支隊(duì)伍中脫穎而出，在行人軌跡預(yù)測(cè)競(jìng)賽中奪得第一名。本文系對(duì)該預(yù)測(cè)方法的一些經(jīng)驗(yàn)總結(jié)，希望能對(duì)大家有所幫助或啟發(fā)。

一、背景

6月2日，國(guó)際頂會(huì)ICRA 2020舉辦了“第二屆長(zhǎng)時(shí)人類(lèi)運(yùn)動(dòng)預(yù)測(cè)研討會(huì)”，該研討會(huì)由博世有限公司、厄勒布魯大學(xué)、斯圖加特大學(xué)、瑞士洛桑聯(lián)邦理工聯(lián)合組織。同時(shí)在該研討會(huì)上，還舉辦了一項(xiàng)行人軌跡預(yù)測(cè)競(jìng)賽，吸引了來(lái)自世界各地的104支隊(duì)伍參賽。美團(tuán)無(wú)人配送團(tuán)隊(duì)通過(guò)采用“世界模型”的交互預(yù)測(cè)方法，奪得了該比賽的第一名。

圖1 ICRA 2020 TrajNet＋＋軌跡預(yù)測(cè)競(jìng)賽

二、賽題簡(jiǎn)介

本次競(jìng)賽提供了街道、出入口、校園等十個(gè)復(fù)雜場(chǎng)景下的行人軌跡數(shù)據(jù)集，要求參賽選手根據(jù)這些數(shù)據(jù)集，利用行人在過(guò)去3．6秒的軌跡來(lái)預(yù)測(cè)其在未來(lái)4．8秒的運(yùn)行軌跡。競(jìng)賽使用FDE（預(yù)測(cè)軌跡和真實(shí)軌跡的終點(diǎn)距離）來(lái)對(duì)各種算法進(jìn)行排名。

本次的賽題數(shù)據(jù)集，主要來(lái)源于各類(lèi)動(dòng)態(tài)場(chǎng)景下的真實(shí)標(biāo)注數(shù)據(jù)和模擬合成數(shù)據(jù)，采集頻率為2．5赫茲，即兩個(gè)時(shí)刻之間的時(shí)間差為0．4秒。數(shù)據(jù)集中的行人軌跡都以固定坐標(biāo)系下的時(shí)序坐標(biāo)序列表示，并且根據(jù)行人的周?chē)�環(huán)境，這些軌跡被分類(lèi)成不同的類(lèi)別，例如靜態(tài)障礙物、線性運(yùn)動(dòng)、追隨運(yùn)動(dòng)、避障行為、團(tuán)體運(yùn)動(dòng)等。在該比賽中，參賽隊(duì)伍需要根據(jù)每個(gè)障礙物歷史9個(gè)時(shí)刻的軌跡數(shù)據(jù)（對(duì)應(yīng)3．6秒的時(shí)間）來(lái)預(yù)測(cè)未來(lái)12個(gè)時(shí)刻的軌跡（對(duì)應(yīng)4．8秒的時(shí)間）。

該競(jìng)賽采用多種評(píng)價(jià)指標(biāo)，這些評(píng)價(jià)指標(biāo)分別對(duì)單模態(tài)預(yù)測(cè)模型和多模態(tài)預(yù)測(cè)模型進(jìn)行評(píng)價(jià)。單模態(tài)模型是指給定確定的歷史軌跡，預(yù)測(cè)算法只輸出一條確定的軌跡；而多模態(tài)模型則會(huì)輸出多條可行的軌跡（或者分布）。本次競(jìng)賽的排名以單模態(tài)指標(biāo)中的FDE指標(biāo)為基準(zhǔn)。

三、方法介紹

其實(shí)，美團(tuán)在很多實(shí)際業(yè)務(wù)中經(jīng)常要處理行人軌跡預(yù)測(cè)問(wèn)題，而行人軌跡預(yù)測(cè)的難點(diǎn)在于如何在動(dòng)態(tài)復(fù)雜環(huán)境中，對(duì)行人之間的社交行為進(jìn)行建模。因?yàn)樵趶?fù)雜場(chǎng)景中，行人之間的交互非常頻繁并且交互的結(jié)果將會(huì)直接影響他們后續(xù)的運(yùn)動(dòng)（例如減速讓行、繞行避障、加速避障等）。

基于各類(lèi)帶交互數(shù)據(jù)集，一系列的算法被相繼提出，然后對(duì)障礙物進(jìn)行交互預(yù)測(cè)，這些主流模型的工作重心都是針對(duì)復(fù)雜場(chǎng)景下行人之間的交互進(jìn)行建模。常用的方法包括基于LSTM的交互算法（SR LSTM［1］、Social GAN［2］、SoPhie［3］、Peeking into［4］、StarNet［5］等），基于Graph／Attention的交互算法（GRIP［6］、Social STGCNN［7］、STGAT［8］、VectorNet［9］等），以及基于語(yǔ)義地圖／原始數(shù)據(jù)的預(yù)測(cè)算法等。

我們本次的參賽方法就是由自研算法［10］（如圖2所示）改進(jìn)而來(lái)，該方法的設(shè)計(jì)思路是根據(jù)場(chǎng)景中所有障礙物的歷史軌跡、跟蹤信息以及場(chǎng)景信息，建立并維護(hù)一個(gè)全局的世界模型來(lái)挖掘障礙物之間、障礙物與環(huán)境之間的交互特性。然后，再通過(guò)查詢(xún)世界模型來(lái)獲得每個(gè)位置鄰域內(nèi)的交互特征，進(jìn)而來(lái)指導(dǎo)對(duì)障礙物的預(yù)測(cè)。

圖2 基于世界模型的預(yù)測(cè)算法