知情郎·眼｜

侃透天下專利事兒

馬斯克（Elon Musk）是真愛視覺神經(jīng)網(wǎng)絡(luò)技術(shù)。

日前，特斯拉首次披露了自研AI芯片及Dojo系統(tǒng)更多細(xì)節(jié)，并表示自家人型機(jī)器人Tesla Bot“擎天柱”頭部將配備與自家汽車相同的智能駕駛攝像頭，與汽車共用AI系統(tǒng)。

換言之，特斯拉人形機(jī)器人延續(xù)了以視覺為主的傳感技術(shù)路線。

Elon Musk和“擎天柱”Tesla Bot

你懂的，AI牛不牛，在于對攝像頭拍攝的圖片信息處理速度快不快、準(zhǔn)不準(zhǔn)，對海量數(shù)據(jù)的運算分析處理，需要強大的算法和算力。

這也是特斯拉自研AI芯片以及開發(fā)Dojo系統(tǒng)的核心動力。

所謂 Dojo，是特斯拉自研的超級計算機(jī)，可利用海量視頻數(shù)據(jù)，完成“無人監(jiān)管”的標(biāo)注和訓(xùn)練。

在去年的AI Day上，特斯拉就已發(fā)布Dojo超級計算機(jī)，但當(dāng)時其“羽翼未豐”，尚只有第一個芯片及訓(xùn)練塊，公司仍在推動構(gòu)建完整的Dojo Exapod。

如今Dojo已成型了，特斯拉拿出來宣傳了。人家一直高調(diào)宣稱，理論上，Dojo ExaPod將是世界上最快的AI訓(xùn)練超級計算機(jī)。

據(jù)不靠譜傳聞，特斯拉擎天柱人形機(jī)器人在Dojo的訓(xùn)練下，每接受一億張圖片信息以及相關(guān)文字訓(xùn)練后，智商就能漲一歲。

它能聰明地捕捉到每個物體的特性，并把它們合理地組織在一起，這幾乎超越了人類3歲小孩的智力。

這傳聞純屬腦補，做不得信！

另外，查了特斯拉關(guān)于神經(jīng)網(wǎng)絡(luò)的全球AI專利，不少！人家下了功夫！

01Dojo Exapod 亮相！

在此前的硅谷芯片技術(shù)研討會HOT CHIPS上，特斯拉硬件工程師Emil Talpes公開了特斯拉Dojo超算指令集結(jié)構(gòu)細(xì)節(jié)，并展示了Dojo的數(shù)據(jù)格式、系統(tǒng)網(wǎng)絡(luò)、軟件系統(tǒng)繞行死節(jié)點能力等。

從工程師披露的技術(shù)細(xì)節(jié)看，每個Dojo ExaPod集成120個訓(xùn)練模塊，內(nèi)置3000個D1芯片，擁有超過100萬個訓(xùn)練節(jié)點，算力達(dá)到1．1EFLOP＊（每秒千萬億次浮點運算）。

微架構(gòu)方面，每個Dojo節(jié)點都有一個內(nèi)核，是一臺具有CPU專用內(nèi)存和I／O接口的成熟計算機(jī)。

Dojo Exapod的核心，便是特斯拉自研的D1芯片。該芯片由臺積電制造，采用7nm工藝，擁有500億個晶體管，芯片面積為645mm?，小于英偉達(dá)的A100（826 mm?）和AMD Arcturus（750 mm?）。

值得注意的是，有望在下個月現(xiàn)身的特斯拉人形機(jī)器人“擎天柱”大腦所使用的，便是Dojo D1超級計算芯片，每個D1芯片之間無縫連接，相鄰芯片之間的延遲極低，訓(xùn)練模塊最大程度上實現(xiàn)了帶寬的保留。

得益于龐大數(shù)據(jù)庫的支撐、AI預(yù)測能力與算法，特斯拉認(rèn)為，純視覺方案也能較好地彌補深度傳感器缺失所帶來的不足。

目前，其基于視覺的神經(jīng)網(wǎng)絡(luò)技術(shù)已在汽車FSD上獲得實戰(zhàn)驗證，華安證券27日報告指出，該技術(shù)有望借助Dojo超算加速訓(xùn)練升級。

02為啥馬斯克那么愛視覺神經(jīng)網(wǎng)絡(luò)技術(shù)

在傳統(tǒng)駕駛模式中，人們都是依靠人眼、大腦來收集、處理信息，再根據(jù)信息來調(diào)整車輛的狀態(tài)，自動駕駛其實就是依靠機(jī)器來收集信息進(jìn)行決策。

最困難的地方在于，機(jī)器能否準(zhǔn)確收集、識別各種場景。

那么在這種場景下，攝像頭、激光雷達(dá)、毫米波雷達(dá)、超聲波雷達(dá)均可以成為車企的選擇。

眾所周知，自動駕駛方案有2派，純視覺感知派和激光雷達(dá)派，鬧得不可開交，針尖對麥芒。

特斯拉典型地選擇攝像頭的車企，堅持用純視覺路線。

此前特斯拉的部分Model 3和Model Y車型配備了毫米波雷達(dá)，但不久之前也改裝了純視覺方案的攝像頭來進(jìn)行輔助駕駛。

馬斯克曾嘲笑，任何依靠激光雷達(dá)的企業(yè)注定沒有未來。

人家一直強調(diào)：“攝像頭和神經(jīng)網(wǎng)絡(luò)是實現(xiàn)自動駕駛的關(guān)鍵。整個道路系統(tǒng)旨在與光學(xué)成像器（眼睛）和神經(jīng)網(wǎng)絡(luò)（大腦）配合使用。因此攝像頭和神經(jīng)網(wǎng)絡(luò)才是根本解決方案。”

作為AI派的頂梁柱，特斯拉認(rèn)為單純依靠攝像頭就可以完成自動駕駛所需要的周圍環(huán)境感知邏輯，典型的算法決定一切的認(rèn)知邏輯。

他們認(rèn)為，智能汽車的感應(yīng)系統(tǒng)應(yīng)盡量模仿人，智能駕駛汽車可以通過計算視覺來接近人類靠2只眼（2個攝像頭）處理開車的水平。

需要注意的是，這些人的出身多與機(jī)器學(xué)習(xí)尤其是深度學(xué)習(xí)有關(guān)，他們對計算視覺的信心來自對深度學(xué)習(xí)的信心。

換句話說，偏向算法工程師出身的他們認(rèn)為深度學(xué)習(xí)是全自動駕駛技術(shù)的未來。

另一邊，激光雷達(dá)派則以激光雷達(dá)為主導(dǎo)，配合毫米波雷達(dá)、超聲波傳感器、攝像頭多傳感器融合完成周圍環(huán)境感知，小鵬P5、蔚來ET7使用的是激光雷達(dá)方案。

這群人就是現(xiàn)實派，考慮如何推疊硬件降低事故風(fēng)險。

激光雷達(dá)就是很安全的探測儀！

它可以提供關(guān)于景深的信息，其原理是通過發(fā)射鐳射光并接受反射來建立周邊的三維立體圖像。

激光雷達(dá)在探測精度、范圍以及穩(wěn)定性上，更具有優(yōu)勢，可以達(dá)到厘米級。

尤其是激光雷達(dá)負(fù)責(zé)主要的周邊探測建模，毫米波雷達(dá)用來輔佐激光雷達(dá)，可以在惡劣天氣下做出更好的回饋，加上攝像頭提供2D的實時影像，3D建模搭配2D影像，就可以更好的用算法和數(shù)據(jù)學(xué)習(xí)能力，對周邊的信息做到更精確的探測，更精確的周圍信息，就更能有利的提升輔助駕駛的能力。

03不想依賴高清地圖

去年，特斯拉人工智能與自動駕駛視覺總監(jiān)Andrej Karpathy曾表態(tài)為何不認(rèn)可激光雷達(dá)。

他認(rèn)為，將激光雷達(dá)添加到自動駕駛堆棧會帶來其自身的復(fù)雜性。

Karpathy說，“你必須用激光雷達(dá)預(yù)先繪制環(huán)境地圖，然后你必須創(chuàng)建一張高清地圖，你必須插入所有車道及其連接方式以及所有交通信號燈，收集、構(gòu)建和維護(hù)這些高清激光雷達(dá)地圖是不可擴(kuò)展的，讓這個基礎(chǔ)設(shè)施保持最新狀態(tài)將是極其困難的�！�

Karpathy表示特斯拉在其自動駕駛堆棧中不使用激光雷達(dá)和高清地圖，“發(fā)生的一切，都是第一次發(fā)生在車內(nèi)，基于圍繞汽車的八個攝像頭的視頻”。

Karpathy具體解釋了特斯拉的視覺方案運作原理。

特斯拉汽車上安裝了8個攝像頭，攝像頭沒有深度信息，他們的目標(biāo)之一就是形成矢量空間視圖。

那么要怎么知道旁邊一輛車究竟在哪里又有多長呢？

首先的一個難點是，不同視角的攝像頭都只能看到周邊環(huán)境的一部分，有不同的校準(zhǔn)（calibration）、位置（location）、取景方向（view direction）等，比如以下這張圖，誰能知道這個點對應(yīng)于相機(jī)視圖的哪個點？而我們只有知道這些信息，才能把周圍物體準(zhǔn)確放到向量空間視圖（vector space view）中。

因此就需要一種將多個攝像頭的信息融合在一起的技術(shù)，特斯拉使用了在2017年提出，如今已經(jīng)席卷自然語言處理和計算機(jī)視覺領(lǐng)域的Transformer神經(jīng)網(wǎng)絡(luò)（Transformer Neural Network）。

然后則是加入有時間概念時間的RNN（Recurrent Neural Network，循環(huán)神經(jīng)網(wǎng)絡(luò)）以判斷移動物體的速度以及對被遮擋物進(jìn)行預(yù)測。

RNN體現(xiàn)了“人的認(rèn)知是基于過往的經(jīng)驗和記憶”的觀點，通過記憶來處理任意時序的輸入序列，從而對接下來要發(fā)生的事情進(jìn)行預(yù)測。比如這里對被遮擋物預(yù)測，通過對遮擋前的特征和軌跡的記憶，使得視野被短暫遮蔽的情況下，依然可以預(yù)測遮擋視野后的物體運動軌跡，并記錄已行駛過的路段的各種路標(biāo)。

而對于深度信息，在缺少了雷達(dá)信息后，則需要通過對大量的有深度標(biāo)注的相機(jī)數(shù)據(jù)進(jìn)行訓(xùn)練得到的檢測算法來得到。

這些年，特斯拉一直在迭代神經(jīng)網(wǎng)絡(luò)，利用了多頭路徑，其中包括攝像機(jī)校準(zhǔn)、緩存、隊列和優(yōu)化以簡化所有任務(wù)。

另外，特斯拉神經(jīng)網(wǎng)絡(luò)系統(tǒng)技術(shù)的背后有千人的數(shù)據(jù)標(biāo)記團(tuán)隊，可以對各類數(shù)據(jù)例如道路、環(huán)境以及行人數(shù)據(jù)進(jìn)行標(biāo)記，另外當(dāng)下也已經(jīng)擁有了自動標(biāo)記技術(shù)，這樣就可以自動選取有特點的樣本來不斷更新優(yōu)化自動駕駛能力。

04從專利看特斯拉神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)，炙手可熱。

再次科普下這個概念！

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡寫為ANNs），也簡稱為神經(jīng)網(wǎng)絡(luò)（NNs）或稱作連接模型（Connection Model），它是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。

這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。

神經(jīng)網(wǎng)絡(luò)利用現(xiàn)有的數(shù)據(jù)找出輸入與輸出之間得權(quán)值關(guān)系（近似），然后利用這樣的權(quán)值關(guān)系進(jìn)行仿真，例如輸入一組數(shù)據(jù)仿真出輸出結(jié)果，當(dāng)然你的輸入要和訓(xùn)練時采用的數(shù)據(jù)集在一個范疇之內(nèi)。

例如預(yù)報天氣：尋找基本預(yù)測因子，如溫度濕度氣壓等氣象情況，利用歷史的氣象數(shù)據(jù)在神經(jīng)網(wǎng)絡(luò)進(jìn)行關(guān)系訓(xùn)練，然后輸入今天的溫度濕度氣壓等因子，根據(jù)歷史數(shù)據(jù)測算的概率情況得到今日氣象預(yù)測結(jié)果進(jìn)行預(yù)報，這是神經(jīng)網(wǎng)絡(luò)的典型應(yīng)用。

在德高行全球?qū)＠麕熘�，以神�?jīng)網(wǎng)絡(luò)為關(guān)鍵詞，檢索相關(guān)特斯拉專利，Tesla 全球AI專利249件。

國內(nèi)最新公開的6個專利：

序號

標(biāo)題

摘要

公開號

1

具有指定偏差浮點操作數(shù)的矩陣乘法指令的系統(tǒng)和方法

一種微處理器系統(tǒng)包括矩陣計算單元和控制單元。矩陣計算單元包括多個處理元件�？刂茊卧�被配置為向矩陣計算單元提供矩陣處理器指令。矩陣處理器指令指定使用第一浮點表示格式格式化的浮點操作數(shù)。矩陣計算單元累加使用浮點操作數(shù)計算的中間結(jié)果值。中間結(jié)果值采用第二浮點表示格式。

CN113785271A

2

用于獲取訓(xùn)練數(shù)據(jù)的系統(tǒng)和方法

描述了用于獲取訓(xùn)練數(shù)據(jù)的系統(tǒng)和方法。示例方法包括接收傳感器并且將神經(jīng)網(wǎng)絡(luò)應(yīng)用于傳感器數(shù)據(jù)。觸發(fā)分類器被應(yīng)用于神經(jīng)網(wǎng)絡(luò)的中間結(jié)果，以確定針對傳感器數(shù)據(jù)的分類器得分。至少部分地基于分類器得分，做出以下確定：是否要經(jīng)由計算機(jī)網(wǎng)絡(luò)傳送傳感器數(shù)據(jù)的至少一部分。在肯定的確定時，傳感器數(shù)據(jù)被傳送并且被用來生成訓(xùn)練數(shù)據(jù)。

CN112771548A

3

用于自主駕駛的數(shù)據(jù)管線和深度學(xué)習(xí)系統(tǒng)

接收使用交通工具上的傳感器捕獲的圖像并且將其分解為多個分量圖像。將多個分量圖像中的每個分量圖像作為不同輸入提供給人工神經(jīng)網(wǎng)絡(luò)的多個層中的不同層，以確定結(jié)果。使用人工神經(jīng)網(wǎng)絡(luò)的結(jié)果，以至少部分地自主操作交通工具。

CN112639817A

4

用于基于硬件的池化的系統(tǒng)和方法

本文描述了系統(tǒng)和方法，其利用新穎的基于硬件的池化架構(gòu)來處理卷積引擎的輸出，卷積引擎的輸出表示卷積神經(jīng)網(wǎng)絡(luò)（CNN）中的卷積層的輸出通道。池化系統(tǒng)將輸出轉(zhuǎn)換為一組陣列，并且根據(jù)池化操作將為一組陣列對準(zhǔn)以生成池化結(jié)果。在某些實施例中，這通過使用對準(zhǔn)器來實現(xiàn)，該對準(zhǔn)器例如在多個算術(shù)循環(huán)上，將輸出中的數(shù)據(jù)的陣列對準(zhǔn)到行中，并且使行相對于彼此移位。池化器將池化操作應(yīng)用于來自每行的數(shù)據(jù)的子集的組合，以生成池化結(jié)果。

CN111758107A

5

用于處理載具神經(jīng)網(wǎng)絡(luò)處理器中的錯誤的系統(tǒng)和方法

一種用于處理神經(jīng)網(wǎng)絡(luò)中的錯誤的系統(tǒng)包括神經(jīng)網(wǎng)絡(luò)處理器，其用于執(zhí)行與載具的使用相關(guān)聯(lián)的神經(jīng)網(wǎng)絡(luò)。該神經(jīng)網(wǎng)絡(luò)處理器包括：錯誤檢測器，被配置為檢測與神經(jīng)網(wǎng)絡(luò)的執(zhí)行相關(guān)聯(lián)的數(shù)據(jù)錯誤；以及神經(jīng)網(wǎng)絡(luò)控制器，被配置為從錯誤檢測器接收數(shù)據(jù)錯誤的報告。響應(yīng)于接收到該報告，神經(jīng)網(wǎng)絡(luò)控制器還被配置為：在不終止神經(jīng)網(wǎng)絡(luò)的執(zhí)行的情況下，發(fā)信號通知該神經(jīng)網(wǎng)絡(luò)的未決結(jié)果被污染。

CN111212775A

6

加速數(shù)學(xué)引擎

本公開的各種實施例涉及一種加速數(shù)學(xué)引擎。在某些實施例中，加速數(shù)學(xué)引擎被應(yīng)用于圖像處理，使得圖像的卷積通過使用包括子電路的二維矩陣處理器而被加速，子電路包括ALU、輸出寄存器和影子寄存器。該架構(gòu)支持時鐘二維架構(gòu)，其中圖像數(shù)據(jù)和權(quán)重以同步方式相乘，以允許大量數(shù)學(xué)運算被并行執(zhí)行。

CN111095241A

美國最新公開的8件相關(guān)專利

序號

標(biāo)題

摘要

公開號

1

Vector computational unit（矢量計算單元）

A microprocessor system comprises a computational array and a vector computational unit． The computational array includes a plurality of computation units． The vector computational unit is in communication with the computational array and includes a plurality of processing elements． The processing elements are configured to receive output data elements from the computational array and process in parallel the received output data elements．

US11409692B2

2

Accelerated mathematical engine（加速數(shù)學(xué)引擎）

Various embodiments of the disclosure relate to an accelerated mathematical engine． In certain embodiments，  the accelerated mathematical engine is applied to image processing such that convolution of an image is accelerated by using a two－dimensional matrix processor comprising sub－circuits that include an ALU，  output register and shadow register． This architecture supports a clocked，  two－dimensional architecture in which image data and weights are multiplied in a synchronized manner to allow a large number of mathematical operations to be performed in parallel．

US11403069B2

3

PREDICTING THREE－DIMENSIONAL FEATURES FOR AUTONOMOUS DRIVING（預(yù)測自動駕駛的三維特征）

A processor coupled to memory is configured to receive image data based on an image captured by a camera of a vehicle． The image data is used as a basis of an input to a trained machine learning model trained to predict a three－dimensional trajectory of a machine learning feature． The three－dimensional trajectory of the machine learning feature is provided for automatically controlling the vehicle．

US20220107651A1

4

DATA PIPELINE AND DEEP LEARNING SYSTEM FOR AUTONOMOUS DRIVING（用于自主駕駛的數(shù)據(jù)管道和深度學(xué)習(xí)系統(tǒng)）

An image captured using a sensor on a vehicle is received and decomposed into a plurality of component images． Each component image of the plurality of component images is provided as a different input to a different layer of a plurality of layers of an artificial neural network to determine a result． The result of the artificial neural network is used to at least in part autonomously operate the vehicle．

US20220107652A1

5

Estimating object properties using visual image data（利用視覺圖像數(shù)據(jù)估計物體屬性）

A system is comprised of one or more processors coupled to memory． The one or more processors are configured to receive image data based on an image captured using a camera of a vehicle and to utilize the image data as a basis of an input to a trained machine learning model to at least in part identify a distance of an object from the vehicle． The trained machine learning model has been trained using a training image and a correlated output of an emitting distance sensor．

US11288524B2

6

SYSTEM AND METHOD FOR HANDLING ERRORS IN A VEHICLE NEURAL NETWORK PROCESSOR（用于處理車輛神經(jīng)網(wǎng)絡(luò)處理器中的誤差的系統(tǒng)和方法）

A system for handling errors in a neural network includes a neural network processor for executing a neural network associated with use of a vehicle． The neural network processor includes an error detector configured to detect a data error associated with execution of the neural network and a neural network controller configured to receive a report of the data error from the error detector． In response to receiving the report，  the neural network controller is further configured to signal that a pending result of the neural network is tainted without terminating execution of the neural network．

US20220083412A1

7

MULTI－CHANNEL SENSOR SIMULATION FOR AUTONOMOUS CONTROL SYSTEMS（自主控制系統(tǒng)的多通道傳感器仿真）

An autonomous control system combines sensor data from multiple sensors to simulate sensor data from high－capacity sensors． The sensor data contains information related to physical environments surrounding vehicles for autonomous guidance． For example，  the sensor data may be in the form of images that visually capture scenes of the surrounding environment，  geo－location of the vehicles，  and the like． The autonomous control system simulates high－capacity sensor data of the physical environment from replacement sensors that may each have lower capacity than high－capacity sensors． The high－capacity sensor data may be simulated via one or more neural network models． The autonomous control system performs various detection and control algorithms on the simulated sensor data to guide the vehicle autonomously．

US20220043449A1

8

Scalable matrix node engine with configurable data formats（具有可配置數(shù)據(jù)格式的可擴(kuò)展矩陣節(jié)點引擎）

A microprocessor system comprises a matrix computational unit and a control unit． The matrix computational unit includes one or more processing elements． The control unit is configured to provide a matrix processor instruction to the matrix computational unit． The matrix processor instruction specifies a floating－point operand formatted with an exponent that has been biased with a specified bias．

US11227029B2

【轉(zhuǎn)載請注明德高行·知情郎】

       原文標(biāo)題 : 神經(jīng)網(wǎng)絡(luò)技術(shù)，特斯拉儲備了多少牛專利？馬斯克為啥愛它愛的瘋狂！