189 8069 5689

HBase理论知识点有哪些

今天就跟大家聊聊有关HBase理论知识点有哪些,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

创新互联建站是一家专注于成都网站建设、成都做网站与策划设计,宽甸网站建设哪家好?创新互联建站做网站,专注于网站建设10余年,网设计领域的专业建站公司;建站业务涵盖:宽甸等地区。宽甸做网站价格咨询:13518219792

一、数据存储

  • 数据存储:HBase数据存储依赖于HDFS,自身不存储数据,所以HBase其实是个表数据管理的工具。

  • 数据备份:HBase的数据可靠性完全依赖于HDFS进行数据备份(三副本),因此,HBase无需关心数据的可靠性,只需要关心服务的可靠性即可

二、HBase的服务可靠性如和保证?

通过转移管理权限。

HBase中的Region(真实数据存在HDFS)由Region Server进行管理,当ZooKeeper发现RS挂掉后,HMaster会将此RS上的Region数据进行迁移(其实所谓的迁移,只是将Region的管理权限迁移到其它的RS上,数据存储的位置仍然在HDFS上,没有改变)

二、数据结构和查询

索引:HBase只在rowkey有索引,所以主要面向于基于rowkey进行简单的查询,HBase不适合复杂查询,如根据多个字段查询(没有索引,查询很慢),表关联直接不支持

HBase是三维有序存储的,通过rowkey(行键),column key(column family和qualifier)和TimeStamp(时间戳)这个三个维度可以对HBase中的数据进行快速定位。

HBase中rowkey可以唯一标识一行记录,在HBase查询的时候,有以下几种方式:

  1. 通过get方式,指定rowkey获取唯一一条记录

  2. 通过scan方式,设置startRow和stopRow参数进行范围匹配

  3. 全表扫描,即直接扫描整张表中所有行记录

三、HDFS

HDFS:存储和计算分离的架构

HBase依赖HDFS提供最终的底层数据存储服务,多副本(三副本)保证高可用性 .

  • HBase表的HDFS目录结构如下

/hbase
    /data
        /                    (集群里的Namespaces)
            /                    (该集群的Tables)
                /               (该table的Regions)
                    /     (该Region的列族)
                        /    (该列族的StoreFiles)
  • HLog的HDFS目录结构如下

/hbase
    /WALs
        /    (RegionServers)
            /         (WAL files for the RegionServer)

四、Hbase中HMaster作用

HMaster在功能上主要负责Table表和HRegion的管理工作,具体包括:

1、管理用户对Table表的增、删、改、查操作;

2、管理HRegion服务器负载均衡,调整HRegion分布;

3、在HRegion分裂后,负责新HRegion的分配;

4、在HRegion服务器停机后,负责失效HRegion服务器上的HRegion迁移。

五、MemStore存储了哪些数据?

每一个Store由一个MemStore和多个StoreFile组成。为什么有MenStore和这么多个StoreFile是因为不可能每次来一条数据就刷新一次到磁盘,频繁写磁盘会造成效率不高且数据不连续。所以一般是在内存中将数据缓存到一定量,然后在一口气flush到磁盘。每次flush会将内存中的数据flush到磁盘,但是内存中会存储多个CF的数据,所以一次flush会生成多个StoreFile,并且有些StoreFile可能很小

这就是为什么要求HBase的CF不能设置太多,太多的话会频繁刷新磁盘,而且小文件会触发耗时的Compact操作

六、HFile逻辑结构

HBase理论知识点有哪些

六、HMaster与Zookeeper与HDFS的namenode

看完上述内容,你们对HBase理论知识点有哪些有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注创新互联行业资讯频道,感谢大家的支持。


当前名称:HBase理论知识点有哪些
地址分享:http://jkwzsj.com/article/jgpiij.html

联系我们

您好HELLO!
感谢您来到成都网站建设公司,若您有合作意向,请您为我们留言或使用以下方式联系我们, 我们将尽快给你回复,并为您提供真诚的设计服务,谢谢。
  • 电话:028- 86922220 18980695689
  • 商务合作邮箱:631063699@qq.com
  • 合作QQ: 532337155
  • 成都网站设计地址:成都市青羊区锣锅巷31号五金站写字楼6楼

乐尚佳建站工作室

成都乐尚佳网站建设公司拥有多年以上互联网从业经验的精英团队,始终保持务实的风格,以"帮助客户成功"为已任,专注于提供对客户有价值的服务。 我们已为众企业及上市公司提供专业的网站建设服务。我们不只是一家网站建设的网络公司;我们对营销、技术、管理都有自己独特见解,乐尚佳建站采取“创意+综合+营销”一体化的方式为您提供更专业的服务!

乐尚佳观点

相对传统的成都网站建设公司而言,乐尚佳鼎是互联网中的网站品牌策划精英,我们精于企业品牌与互联网相结合的整体战略服务。
我们始终认为,网站必须注入企业基因,真正使网站成为企业vi的一部分,让整个网站品牌策划体系变的深入而持久。