189 8069 5689
这几个补丁能够通过使用PMDK对存储在持久化内存PMEM上的WAL日志进行读写。PMEM是下一代存储介质，具有一系列特性：快速、字节寻址、非易失。
成都创新互联坚持“要么做到，要么别承诺”的工作理念，服务领域包括：做网站、成都做网站、企业官网、英文网站、手机端网站、网站推广等服务，满足客户于互联网时代的浮山网站设计、移动媒体设计的需求，帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴！
Pgbench是PG的通用benchmark，使用benchmark进行测试，这些补丁修改后的PG比原生PG性能提升5%。使用我们的insert benchmark，能够比原生PG快90%。下面进行详细描述。
这个e-mail包括以下几部分：
A）PMDK
B）补丁
C）测试方法及结果
PMDK提供函数使应用能够直接访问PMEM，无需通过内核作为内存。API包括：
1）open PMEM文件的API、create PMEM文件的API、map PMEM文件到虚拟地址的API
PMDK利用DAX文件系统特性提供这些API函数。DAX文件系统对PMEM敏感，允许直接访问PMEM，而不使用内核的page cache。可以使用标准的mmap函数将DAX文件系统中的文件映射到内存。更进一步说，通过将PMEM中的文件映射到虚拟地址，应用可以使用CPU的 load/store指令替代read/write访问PMEM。
2）读写 PMEM文件的API
PMDK提供API：类似memcpy()函数，通过single instruction、multiple data instruction、NT storage instruction 将数据拷贝到PMEM。这些指令能够提升拷贝性能。因此这些API比read/write更快。API参考：
[1] http://pmem.io/pmdk/
[2]https://www.usenix.org/system/files/login/articles/login_summer17_07_rudoff.pdf
[3] SIMD: 对加载数据进行操作的单指令。如果SIMD系统一次加载8字节数据到寄存器，那么到PMEM的存储操作会同时对所有8字节值进行。
[4] NT store instructions: 该指令跳过CPU cache，因此使用该指令不需要flush。
补丁修改：
0001-Add-configure-option-for-PMDK.patch:添加--with-libpmem配置，通过pmdk库执行IO
0002-Read-write-WAL-files-using-PMDK.patch:
使用PMDK函数对WAL进行IO操作
wal_sync_method参数增加pmem-drain，用于标明PMEM上wal sync方式。
0003-Walreceiver-WAL-IO-using-PMDK.patch:
对于备机的walreciver进程，使用PMDK写日志。
环境：
Server: HP ProLiant DL360 Gen9
CPU: Xeon E5-2667 v4 (3.20GHz); 2 processors(without HT)
DRAM: DDR4-2400; 32 GiB/processor
(8GiB/socket x 4 sockets/processor) x 2 processors
NVDIMM: DDR4-2133; 32 GiB/processor
(8GiB/socket x 4 sockets/processor) x 2 processors
HDD: Seagate Constellation2 2.5inch SATA 3.0. 6Gb/s 1TB 7200rpm x 1
OS: Ubuntu 16.04, linux-4.12
DAX FS: ext4
NVML: master(at)Aug 30, 2017
PostgreSQL: master
Note: I bound the postgres processes to one NUMA node, and the benchmarks to other NUMA node.
1）配置pmem，将之作为一个块设备
# ndctl list
# ndctl create-namespace -f -e namespace0.0 --mode=memory -M dev
2）在pmem上创建一个文件系统，以DAX方式挂载
# mkfs.ext4 /dev/pmem0
# mount -t ext4 -o dax /dev/pmem0 /mnt/pmem0
3）设置PMEM_IS_PMEM_FORCE，表示WAL文件存放在PMEM上
注意，没有设置这个环境变量，PG的进程启动不起来
# export PMEM_IS_PMEM_FORCE=1
4）安装PG
安装Pg时有3个重要注意事项：
a. Configure时添加--with-libpmem："./configure --with-libpmem"
b. 将WAL目录存放到PMEM上
c. 将wal_sync_method参数由fdatasync改为pmem_drain
具体操作：
# cd /path/to/[PG_source dir]
# ./configure --with-libpmem
# make && make install
# initdb /path/to/PG_DATA -X /mnt/pmem0/path/to/[PG_WAL dir]
# cat /path/to/PG_DATA/postgresql.conf | sed -e s/#wal_sync_method\ =\
fsync/wal_sync_method\ =\ pmem_drain/ > /path/to/PG_DATA/postgresql.conf.
tmp
# mv /path/to/PG_DATA/postgresql.conf.tmp /path/to/PG_DATA/postgresql.conf
# pg_ctl start -D /path/to/PG_DATA
# created [DB_NAME]
5）执行2个benchmark，一个是pgbench，一个是my insert benchmark
Pgbench:
# numactl -N 1 pgbech -c 32 -j 8 -T 120 -M prepared [DB_NAME]
执行pgbench三次的平均值：
wal_sync_method=fdatasync: tps = 43,179
wal_sync_method=pmem_drain: tps = 45,254
pclinet_thread：my insert benchmark
准备：
CREATE TABLE [TABLE_NAME] (id int8, value text);
ALTER TABLE [TABLE_NAME] ALTER value SET STORAGE external;
PREPARE insert_sql (int8) AS INSERT INTO %s (id, value) values ($1, '
[1K_data]');
执行：
BEGIN; EXECUTE insert_sql(%lld); COMMIT;
Note: I ran this quer 5M times with 32 threads.
# ./pclient_thread
Invalid Arguments:
Usage: ./pclient_thread [The number of threads] [The number to insert
tuples] [data size(KB)]
# numactl -N 1 ./pclient_thread 32 5242880 1
测试三次的平均值：
wal_sync_method=fdatasync: tps = 67,780
wal_sync_method=pmem_drain: tps = 131,962
Attachment | Content-Type | Size |
0001-Add-configure-option-for-PMDK.patch | application/octet-stream | 5.1 KB |
0002-Read-write-WAL-files-using-PMDK.patch | application/octet-stream | 46.9 KB |
0003-Walreceiver-WAL-IO-using-PMDK.patch | application/octet-stream | 4.8 KB |
https://www.postgresql.org/message-id/C20D38E97BCB33DAD59E3A1%40lab.ntt.co.jp