189 8069 5689

十一、hdfs的datanode工作机制-创新互联

十一、hdfs的datanode工作机制

成都创新互联公司2013年至今，先为林甸等服务建站，林甸等地企业，进行企业商务咨询服务。为林甸企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

data
├── current
│   ├── BP-473222668-192.168.50.121-1558262787574 以poolID作为目录命名
│   │   ├── current
│   │   │   ├── dfsUsed
│   │   │   ├── finalized
│   │   │   │   └── subdir0
│   │   │   │       └── subdir0
│   │   │   │           ├── blk_1073741825
│   │   │   │           ├── blk_1073741825_1001.meta
│   │   │   │           ├── blk_1073741826
│   │   │   │           ├── blk_1073741826_1002.meta
│   │   │   │           ├── blk_1073741827
│   │   │   │           ├── blk_1073741827_1003.meta
│   │   │   ├── rbw
│   │   │   └── VERSION
│   │   ├── scanner.cursor
│   │   └── tmp
│   └── VERSION
└── in_use.lock

# datanode的id，非全局唯一，没什么用
storageID=DS-0cb8a268-16c9-452b-b1d1-3323a4b0df60
# 集群ID，全局唯一
clusterID=CID-c12b7022-0c51-49c5-942f-edc889d37fee
# 创建时间，没什么用
cTime=0
# datanode 的唯一标识码，全局唯一
datanodeUuid=085a9428-9732-4486-a0ba-d75e6ff28400
# 存储类型为datanode
storageType=DATA_NODE
layoutVersion=-57

# 对接的namenode 的ID
namespaceID=983105879
# 创建时间戳
cTime=1558262787574
# 使用的pool id
blockpoolID=BP-473222668-192.168.50.121-1558262787574
layoutVersion=-57

blk_${BLOCK-ID}
blk_${BLOCK-ID}_xxx.meta

blk_${BLOCK-ID} ：
是一个xml格式的文件，上面记录了了类似edits文件的操作日志，如：


  -63
  
    OP_START_LOG_SEGMENT
    
      22
    
  
  
    OP_MKDIR
    
      23
      0
      16386
      /input
      1558105166840
      
        root
        supergroup
        493
      
    
  


blk_${BLOCK-ID}_xxx.meta：
是一个raw G3 data, byte-padded格式的文件，主要存储目录下的inode记录

blk_${BLOCK-ID} ：
记录的是block中的实际数据

blk_${BLOCK-ID}_xxx.meta：
CRC32校验文件，保存数据块的校验信息

timeout  = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval

dfs.namenode.heartbeat.recheck-interval：是namenode检查datanode是否存活的时间间隔，默认是为 5分钟，单位是毫秒
dfs.heartbeat.interval：datanode上传心跳信息的时间间隔，默认是3秒，单位是秒

两者都在 hdfs-site.xml中进行设置

//hdfs-site.xml

        dfs.datanode.data.dir
      file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。


分享题目：十一、hdfs的datanode工作机制-创新互联
文章转载：http://jkwzsj.com/article/cdgpgh.html

其他资讯