如上圖所示，左邊的圖是直接使用Faster RCNN中的RPN來(lái)進(jìn)行候選框提取，可以看出，這種候選框太粗糙了，效果并不好。而右圖是使用CTPN＋RNN進(jìn)行候選框提取，利用許多小候選框來(lái)合并成一個(gè)大文本預(yù)測(cè)框，可以看出這個(gè)算法的效果非常不錯(cuò)。

當(dāng)然，CTPN也有一個(gè)很明顯的缺點(diǎn)：對(duì)于非水平的文本的檢測(cè)效果并不好。

3、SegLink

SegLink（CTPN＋SSD）：通常用于自然場(chǎng)景下，檢測(cè)多角度文本。

【文獻(xiàn)】Detecting Oriented Text in Natural Images by Linking Segments

上圖的綠色框的檢測(cè)效果才是我們的終極目標(biāo)。那么怎么基于原來(lái)經(jīng)典的目標(biāo)檢測(cè)算法做相應(yīng)的優(yōu)化以適應(yīng)這種檢測(cè)效果的要求呢？

SegLink采取了一個(gè)思路那就是：讓模型再學(xué)習(xí)一個(gè)參數(shù)θ，這個(gè)θ表示文本框的旋轉(zhuǎn)角度，也就是我們最終要回歸的參數(shù)從原來(lái)的（x，y，w，h）變成（x，y，w，h，θ）。除此之外，SegLink還提出了Segment和Linking兩個(gè)重要概念。

Segment可理解為文本行的任意一部分，一個(gè)完整的文本行中包含多個(gè)segment（上圖黃色框）。每個(gè)segment用link（上圖綠色線）連接組合起來(lái)。

4、EAST

EAST：采取FCN思路，做特征提取和特征融合，局部感知NMS階段完成檢測(cè)。網(wǎng)絡(luò)的簡(jiǎn)潔使得檢測(cè)準(zhǔn)確率和速度都有進(jìn)一步提升。（針對(duì)自然場(chǎng)景下使用較多）。

【文獻(xiàn)】EAST： An Efficient and Accurate Scene Text Detector

通過(guò)上圖我們知道，一個(gè)文本檢測(cè)有多個(gè)階段，EAST的作者認(rèn)為，一個(gè)文本檢測(cè)算法被拆分成多個(gè)階段其實(shí)并沒有太多好處，實(shí)現(xiàn)真正端到端的文本檢測(cè)網(wǎng)絡(luò)才是正確之舉。所以EAST的pipeline相當(dāng)優(yōu)雅，只分為FCN生成文本行參數(shù)階段和局部感知NMS階段，網(wǎng)絡(luò)的簡(jiǎn)潔是的檢測(cè)的準(zhǔn)確性和速度都有了進(jìn)一步的提高。

EAST網(wǎng)絡(luò)分為特征提取層＋特征融合層＋輸出層三大部分。EAST就是借助FCN架構(gòu)直接回歸出文本行的（x，y，w，h，θ）＋置信度＋四邊形的四個(gè)坐標(biāo)！非常簡(jiǎn)潔！當(dāng)然還有其他檢測(cè)算法，這里就不一一介紹啦。

學(xué)習(xí)鏈接：

https：／／www．cnblogs．com／skyfsm／p／9776611．html

04

自然場(chǎng)景文本識(shí)別

1、CNN＋RNN＋CTC（如CRNN）：使用目前最為廣泛的一種文本識(shí)別框架。需要自己構(gòu)建字詞庫(kù)（包含常用字、各類字符等）。

【文獻(xiàn)】An End－to－End Trainable Neural Network for Image－based Sequence Recognition and Its Application to Scene Text Recognition

【講解及優(yōu)化】

https：／／blog．csdn．net／qq＿14845119／article／details／78934334

【開源代碼】

https：／／github．com／solivr／tf－crnn

學(xué)習(xí)鏈接：

https：／／www．jianshu．com／p／5b4791189583

2、CNN（如Densenet）＋CTC：資料不多，效果一般，泛化能力較差。沒有加入了RNN的效果好。

【文獻(xiàn)】暫未找到，可參考GitHub

3、Tesserocr（Tesseract）：使用比較廣泛的一種開源識(shí)別框架，支持多語(yǔ)言多平臺(tái)。Tesseract在識(shí)別清晰的標(biāo)準(zhǔn)中文字體效果還行，稍微復(fù)雜的情況就很糟糕（多字體等），而且花費(fèi)的時(shí)間也很多。

【文獻(xiàn)】暫未找到，可參考GitHub

4、FOTS（EAST＋CRNN）：端到端OCR模型，檢測(cè)和識(shí)別任務(wù)共享卷積特征層，既節(jié)省了計(jì)算時(shí)間，也比兩階段訓(xùn)練方式學(xué)習(xí)到更多圖像特征。引入了旋轉(zhuǎn)感興趣區(qū)域（RoIRotate）， 可以從卷積特征圖中產(chǎn)生出定向的文本區(qū)域，從而支持傾斜文本的識(shí)別。

【文獻(xiàn)】

FOTS： Fast Oriented Text Spotting with a Unified Network

【講解】

https：／／blog．csdn．net／qq＿14845119／article／details／84635847

5、ASTER：模型主要分為兩個(gè)部分，一個(gè)是矯正模型，一個(gè)是識(shí)別模型。文本矯正模型，不需要任何矯正標(biāo)注信息，對(duì)彎曲文本、透視文本有著很好的矯正效果。識(shí)別模型中的CNN使用了ResNet的結(jié)構(gòu)，最后的解碼部分使用的是Sequence2Sequence機(jī)制來(lái)進(jìn)行解碼，不同于CRNN的CTCLoss。

【文獻(xiàn)】

ASTER： An Attentional Scene Text Recognizer with Flexible Rectification

在NLP的產(chǎn)品體系中，OCR是關(guān)于文檔、文件處理的基礎(chǔ)步驟，是無(wú)法回避和繞開的。

關(guān)于OCR的基礎(chǔ)知識(shí)，也就成了NLP產(chǎn)品經(jīng)理必不可少的知識(shí)儲(chǔ)備了——只有詳細(xì)地了解了關(guān)于OCR的處理原理和步驟，才能充分發(fā)揮現(xiàn)有技術(shù)的優(yōu)勢(shì)，規(guī)避其弱點(diǎn)，創(chuàng)造出更大的價(jià)值。

聲明

歡迎轉(zhuǎn)發(fā)本號(hào)原創(chuàng)內(nèi)容，任何形式的媒體或機(jī)構(gòu)未經(jīng)授權(quán)，不得轉(zhuǎn)載和摘編。