189 8069 5689

基于LSM的Key-Value数据库实现WAL篇

  上篇文章简单的实现了基于LSM数据库的初步版本，在该版本中如数据写入到内存表后但还未持久化到SSTable排序字符串表，此时正好程序崩溃，内存表中暂未持久化的数据将会丢失。

创新互联建站专注为客户提供全方位的互联网综合服务，包含不限于成都网站建设、成都网站制作、光山网络推广、重庆小程序开发、光山网络营销、光山企业策划、光山品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等，从售前售中售后，我们都将竭诚为您服务，您的肯定，是我们最大的嘉奖；创新互联建站为所有大学生创业者提供光山建站搭建服务，24小时服务热线：18982081108，官方网址：www.cdcxhl.com

引入WAL

  为了解决上述问题，将引入数据库中常用于解决类似问题的方法：WAL（Write Ahead Log）预写式日志——在计算机科学中，WAL（预写式日志）是数据库系统提供原子性和持久性的一系列技术；也就是说WAL用于保证数据操作的原子性和持久性；
  不同组件、数据库所使用的WAL实现也有所差异，MySQL、Sqlite、Postgresql、Etcd、Hbase、Zookeeper等都有自己的WAL机制实现；

  在MySQL中是通过Redo、Undo日志实现WAL，当MySQL崩溃后重启时，可以通过Redo重做日志对尚未持久化的操作进行Redo，Undo为撤销操作，MySQL崩溃后可时系统恢复一致的状态；
  在etcd中数据目录下有子目录：wal与snap，两个目录都是WAL机制所产生的；
  1、wal目录存放的数据是记录整个数据库变化过程，数据修改前都需先写WAL文件；
  2、Snap目录存放的是当etcd的wal文件过多是所生成的数据快照文件；

LSMDB的WAL机制实现

一、数据写入

  写入数据时先往WAL文件写入再将数据写入内存表，当内存表数据达到某个阈值进行数据持久化后，将WAL文件清空，此WAL只存储尚未持久化的数据；代码如下：

   /**
设置键值
  */
func (l *LSMStore) Set(key string, value string) {
  var cmd = &SetCommand{Command{1}, key, value}
  //写入wal
  writer := bufio.NewWriter(l.walFile)
  cmdBytes, _ := json2.Marshal(cmd)
  cmdLen, _ := IntToBytes(len(cmdBytes), 4)
  writer.Write(cmdLen)
  writer.Write(cmdBytes)
  err := writer.Flush()
  if err != nil {
    return
  }
  //写入内存表
  l.memoryTable.Put(key, cmd)
  if l.memoryTable.Size() > storeThreshold {
    l.switchTable()
    l.toSSTable()
  }
}

  与之前的区别只在于先写wal文件再写内存表，在switchTable方法中切换内存表的同时切换新旧WAL文件，用于保证与持久化内存表机制是一致的。持久化删除上一步所切换出来的WAL文件；

二、数据恢复

  程序每次启动时都会检查是否有WAL文件存在，如存在WAL则说明程序上一次时异常关闭退出，此时将加载WAL文件，并将WAL数据还原到内存表中；
在还原数据到内存表时还需检查内存表数据是否达到预设的阈值，超过则将其写入到持久化磁盘文件当中；

  上次留下的四大坑，此处填了一个坑，还有三大坑待解决：
  1、索引问题
  2、SSTable合并问题
  3、单机版本问题；


本文标题：基于LSM的Key-Value数据库实现WAL篇
URL地址：http://jkwzsj.com/article/dsoisjd.html

其他资讯