深蘭科技|計算機視覺+藝術(shù)處理，現(xiàn)實場景秒變動漫大片
2．2 損失函數(shù)
卡通圖像具有銳利邊緣，順滑的色彩偏差，紋理也相對簡單，所以作者定義了新的loss來完成這個需求。
作者提出了損失函數(shù)L（G，D），由兩部分組成，第一部分為普通的GAN損失，第二部分為保證原真實圖像內(nèi)容的內(nèi)容損失，如公式所示：
可以看到公式②中比普通GAN損失多加了一個，也就多了一個數(shù)據(jù)集。那這個數(shù)據(jù)集怎么來的，它是通過對原始卡通圖像進(jìn)行邊緣模糊后得到的（邊緣模糊圖片見圖2－2，左邊為原圖，右邊位邊緣模糊圖），目的是為了讓生成網(wǎng)絡(luò)G生成邊緣清晰的圖片，所以判別為假數(shù)據(jù)。而公式③中的就是Neural Style（風(fēng)格遷移）里面的內(nèi)容損失，只不過把L2損失改為L1損失，在這里我們可以看成是一個正則化。
圖2－2清晰動漫圖（左）、邊緣模糊圖（右）
2．3 初始化技巧
作者引入一個初始化技巧，用公式③中的損失先來單獨訓(xùn)練G，大概訓(xùn)練10個epoch。這樣做的目的是為了生成的圖片初始后就能保證原真實場景的內(nèi)容，因為普通的單向GAN要是沒有加入一些限制很難穩(wěn)定保證原始圖片的內(nèi)容，大多會出現(xiàn)扭曲或更嚴(yán)重的情況。
3．總結(jié)
經(jīng)過上述的技術(shù)細(xì)節(jié)來訓(xùn)練CartoonGAN，就可以將現(xiàn)實的場景完美的轉(zhuǎn)換成漫畫風(fēng)格。
最后，我們就來欣賞一些漂亮的轉(zhuǎn)換結(jié)果。
分享
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 AI 眼鏡讓百萬 APP「集體失業(yè)」？
- 2 大廠紛紛入局，百度、阿里、字節(jié)搶奪Agent話語權(quán)
- 3 深度報告｜中國AI產(chǎn)業(yè)正在崛起成全球力量，市場潛力和關(guān)鍵挑戰(zhàn)有哪些？
- 4 上海跑出80億超級獨角獸：獲上市公司戰(zhàn)投，干人形機器人
- 5 國家數(shù)據(jù)局局長劉烈宏調(diào)研格創(chuàng)東智
- 6 一文看懂視覺語言動作模型（VLA）及其應(yīng)用
- 7 下一代入口之戰(zhàn)：大廠為何紛紛押注智能體？
- 8 百億AI芯片訂單，瘋狂傾銷中東？
- 9 Robotaxi新消息密集釋放，量產(chǎn)元年誰在領(lǐng)跑？
- 10 格斗大賽出圈！人形機器人致命短板曝光：頭腦過于簡單
