WBL論文:針對NVM設計日志記錄及恢復協議
后寫日志
Write behind logging
基本思想
NVM的優(yōu)點是可字節(jié)尋址、接近內存的高性能、順序訪問和隨機訪問差距不大。2016年VLDB會議上《write behind logging》論文專門針對NVM設計了一種新的日志記錄及恢復協議。主要思想是去掉了傳統的append only的redo和undo日志,但仍然需要保留undo信息用來回滾未提交事務。事務提交前需要將該事務的所有修改強制刷盤,之后在log中記錄commit標記,即這里所說的WBL;謴瓦^程中,通過分析commit標記將未提交的事務通過undo信息回滾掉。
而這篇論文在這個思想基礎上又進行了一系列優(yōu)化,下面介紹其機制。首先吐槽一下,這篇論文寫得不是很清晰,理解起來比較困難。下面是深入理解后的機制,有不當地方還望指正。
機制
1、幾個概念
DTT表中元組結構:事務ID+表ID+更改位置
數據頁中的元組結構:
tuple id+trx id+begin commit時間戳+ end commit時間戳+上個版本號的tuple ID +data
Cp:該時間戳之后的提交的事務其數據不保證已經持久化到磁盤
2、一個事務操作過程
Begin;
執(zhí)行操作,修改DRAM中的數據頁
添加一個元祖到DTT表中,該元祖不包括插入后的值
Commit:
1)記錄下各個該事務的提交時間戳t1
2)掃描DTT表得到該事務相關元組
3)計算cp和cd值
4)將DTT表中元組持久化到磁盤,此時元組中加上了提交時間戳t1
5)將cp和cd構成的WBL持久化到NVM
6)通知完成組提交,釋放DTT
Rollback:
1)通過DTT中信息進行回滾。
3、一個事務操作過程圖示
若在trx6 commit的時間點,系統故障,那么重啟時從WBL日志文件中遍歷得到最后一個WBL即{4,(5,100)},得到活躍的事務為4,大于5的事務都未提交。分析到這里恢復就完成,即可接受新事務。
但是磁盤上的臟數據怎么處理?會啟用一個單獨的回收線程,掃描表中記錄,若記錄的時間戳大于5,比如事務6的記錄,他是不可見的,即將它回收掉;對于1,3,2,5都是可見的,不做處理,對于4,他在組提交未提交的事務鏈表里,也將它回收掉。
4、缺點及疑惑
1)文中沒有詳細說明記錄是如何回收的,是后續(xù)事務訪問到進行判斷處理,還是說只是另外回收線程全部掃描進行判斷。數據量如果特別大的話,掃描的代價豈不是很大?全部掃描完后,才將不用的WBL回收掉?
2)如果在高可用場景下,無法滿足要求,仍然需要相應的WAL進行復制
3)后續(xù)的可見性判斷比較復雜,文中沒有詳細說明

請輸入評論內容...
請輸入評論/評論長度6~500個字