后寫日志

Write behind logging

基本思想

NVM的優(yōu)點是可字節(jié)尋址、接近內(nèi)存的高性能、順序訪問和隨機(jī)訪問差距不大。2016年VLDB會議上《write behind logging》論文專門針對NVM設(shè)計了一種新的日志記錄及恢復(fù)協(xié)議。主要思想是去掉了傳統(tǒng)的append only的redo和undo日志，但仍然需要保留undo信息用來回滾未提交事務(wù)。事務(wù)提交前需要將該事務(wù)的所有修改強制刷盤，之后在log中記錄commit標(biāo)記，即這里所說的WBL。恢復(fù)過程中，通過分析commit標(biāo)記將未提交的事務(wù)通過undo信息回滾掉。

而這篇論文在這個思想基礎(chǔ)上又進(jìn)行了一系列優(yōu)化，下面介紹其機(jī)制。首先吐槽一下，這篇論文寫得不是很清晰，理解起來比較困難。下面是深入理解后的機(jī)制，有不當(dāng)?shù)胤竭�望指正。

機(jī)制

1、幾個概念

DTT表中元組結(jié)構(gòu)：事務(wù)ID＋表ID＋更改位置

數(shù)據(jù)頁中的元組結(jié)構(gòu)：

tuple id＋trx id＋begin commit時間戳＋ end commit時間戳＋上個版本號的tuple ID ＋data

Cp：該時間戳之后的提交的事務(wù)其數(shù)據(jù)不保證已經(jīng)持久化到磁盤

2、一個事務(wù)操作過程

Begin；

執(zhí)行操作，修改DRAM中的數(shù)據(jù)頁

添加一個元祖到DTT表中，該元祖不包括插入后的值

Commit：

1）記錄下各個該事務(wù)的提交時間戳t1

2）掃描DTT表得到該事務(wù)相關(guān)元組

3）計算cp和cd值

4）將DTT表中元組持久化到磁盤，此時元組中加上了提交時間戳t1

5）將cp和cd構(gòu)成的WBL持久化到NVM

6）通知完成組提交，釋放DTT

Rollback：

   1）通過DTT中信息進(jìn)行回滾。

3、一個事務(wù)操作過程圖示

若在trx6 commit的時間點，系統(tǒng)故障，那么重啟時從WBL日志文件中遍歷得到最后一個WBL即｛4，（5，100）｝，得到活躍的事務(wù)為4，大于5的事務(wù)都未提交。分析到這里恢復(fù)就完成，即可接受新事務(wù)。

但是磁盤上的臟數(shù)據(jù)怎么處理？會啟用一個單獨的回收線程，掃描表中記錄，若記錄的時間戳大于5，比如事務(wù)6的記錄，他是不可見的，即將它回收掉；對于1，3，2，5都是可見的，不做處理，對于4，他在組提交未提交的事務(wù)鏈表里，也將它回收掉。

4、缺點及疑惑

1）文中沒有詳細(xì)說明記錄是如何回收的，是后續(xù)事務(wù)訪問到進(jìn)行判斷處理，還是說只是另外回收線程全部掃描進(jìn)行判斷。數(shù)據(jù)量如果特別大的話，掃描的代價豈不是很大？全部掃描完后，才將不用的WBL回收掉？

2）如果在高可用場景下，無法滿足要求，仍然需要相應(yīng)的WAL進(jìn)行復(fù)制

3）后續(xù)的可見性判斷比較復(fù)雜，文中沒有詳細(xì)說明