`

Hbase配置项粗解(1)

阅读更多
hbase.tmp.dir:本地文件系统的临时目录,默认是java.io.tmpdir/hbase−{user.name};

hbase.rootdir:hbase持久化的目录,被所有regionserver共享,默认${hbase.tmp.dir}/hbase,一般设置为hdfs://namenode.example.org:9000/hbase类似,带全限定名;

hbase.cluster.distributed:hbase集群模式运作与否的标志,默认是false,开启需要设置为true,false时启动hbase会在一个jvm中运行hbase和zk;

hbase.zookeeper.quorum:重要的也是必须设置的,启动zk的服务器列表,逗号分隔,cluster模式下必须设置,默认是localhost,hbase客户端也需要设置这个值去访问zk;

hbase.local.dir:本地文件系统被用在本地存储的目录,默认${hbase.tmp.dir}/local/;

hbase.master.port:hbase master绑定的端口,默认是60000;

hbase.master.info.port:hbase master web 界面的端口,默认是60010,设置为-1可以禁用ui;

hbase.master.info.bindAddress:master web界面的绑定地址,默认是0.0.0.0;

hbase.master.logcleaner.plugins:清理日志的插件列表,逗号分隔,被LogService调用的LogCleanerDelegate,可以自定义,顺序执行,清理WAL和HLog;默认org.apache.hadoop.hbase.master.cleaner.TimeToLiveLogCleaner

hbase.master.logcleaner.ttl:HLog在.oldlogdir目录中生存的最长时间,过期则被Master起线程回收,默认是600000;

hbase.master.hfilecleaner.plugins:HFile的清理插件列表,逗号分隔,被HFileService调用,可以自定义,默认org.apache.hadoop.hbase.master.cleaner.TimeToLiveHFileCleaner

hbase.master.catalog.timeout:Catalog Janitor从master到META的超时时间,我们知道这个Janitor是定时的去META扫描表目录,来决定回收无用的regions,默认是600000;

fail.fast.expired.active.master:如果master过期,那么不需要从zk恢复,直接终止,默认是false;

hbase.master.dns.interface:master的dns接口,向该接口提供ip,默认是default;

hbase.master.dns.nameserver:master使用的dns主机名或者ip,默认是default;

hbase.regionserver.port:regionserver绑定的端口,默认是60020;

hbase.regionserver.info.port:regionserver的web界面端口,-1取消界面,默认是60030;

hbase.regionserver.info.bindAddress:regionserver的web绑定,默认是0.0.0.0;

hbase.regionserver.info.port.auto:master或者regionserver是否自动搜索绑定的端口,默认是false;

hbase.regionserver.handler.count:regionserver上rpc listener的个数,http://kenwublog.com/hbase-performance-tuning把这个配置称为io线程数,其实雷同,就是说在regionserver上一个处理rpc的handler,默认是30;

hbase.regionserver.msginterval:regionserver向master发消息的间隔,默认3000毫秒;

hbase.regionserver.optionallogflushinterval:如果没有足够的entry触发同步,那么过了这个间隔后HLog将被同步到HDFS,默认是1000毫秒;

hbase.regionserver.regionSplitLimit:regionsplit的最大限额,默认是MAX_INT=2147483647,设置这个限制后,在到达限制时region split就不会再进行;

hbase.regionserver.logroll.period:不管有多少版本,直接roll掉commit log的周期,也就是说一个固定的时间周期,到期就roll,默认是3600000毫秒;

hbase.regionserver.logroll.errors.tolerated:可接受的WAL关闭错误个数,到达后将触发服务器终止;设置为0那么在WAL writer做log rolling失败时就停止region server,默认是2;

hbase.regionserver.hlog.reader.impl:HLog 文件reader的实现类,默认是org.apache.hadoop.hbase.regionserver.wal.ProtobufLogReader;

hbase.regionserver.hlog.writer.impl:HLog 文件writer的实现类,默认是org.apache.hadoop.hbase.regionserver.wal.ProtobufLogWriter;

hbase.regionserver.global.memstore.upperLimit:memstore在regionserver内存中的上限,届时新的update被阻塞并且flush被强制写,默认是0.4就是堆内存的40%;阻塞状态持续到regionserver的所有memstore的容量到达hbase.regionserver.global.memstore.lowerLimit;

hbase.regionserver.global.memstore.lowerLimit:memstore在regionserver内存中的最大上限,到达时flush就被强制写,默认是0.38等价于38%的内存容量;

hbase.regionserver.optionalcacheflushinterval:一个edit版本在内存中的cache时长,默认3600000毫秒,设置为0的话则禁止自动flush;

hbase.regionserver.catalog.timeout:regionserver的Catalog Janitor访问META的超时时间,默认是600000;

hbase.regionserver.dns.interface:同master类似~~不讲

hbase.regionserver.dns.nameserver:同master类似

zookeeper.session.timeout:这是个值得说道一下的配置,首先ZK客户端要用,Hbase使用zk的客户端联系总体,同时也被用来启动一个zk server,作为zk的maxSessionTimeout,总的来说就是regionserver与zk的关键参数,如果连接超时,master会重新的balance,regionserver也会被从集群名单中清除,默认是90000;一个问题是如果zk 由hbase自己维护,那么该参数作为regionserver连接是一个值,如果zk在另外的集群,那么zk自己的maxSessionTimeout参数将优先于Hbase的该参数,届时可能会发生超时时间不同的问题;

zookeeper.znode.parent:znode存放root region的地址,默认是root-region-server;

zookeeper.znode.acl.parent:root znode的acl,默认acl;

hbase.zookeeper.dns.interface:zk的dns接口,默认default;

hbase.zookeeper.dns.nameserver:zk的dns服务地址,默认default;

hbase.zookeeper.peerport:zk的peer之间的通讯端口,默认是2888;

hbase.zookeeper.leaderport:zk选leader的通讯端口,默认是3888;

hbase.zookeeper.useMulti:zk支持多重update,要求zk在3.4版本以上,默认是false;

hbase.config.read.zookeeper.config:让hbaseconfig去读zk的config,默认false,也不支持开启,这个功能很搞笑~~个人观点;

hbase.zookeeper.property.initLimit:zk的配置,同步的属性个数限制,默认10个~~没用;

hbase.zookeeper.property.syncLimit:zk的配置,同步时的每次请求的条数,默认5个;

hbase.zookeeper.property.dataDir:zk的配置,snapshot存放的目录,默认是${hbase.tmp.dir}/zookeeper;

hbase.zookeeper.property.clientPort:zk的配置,client连zk的端口,默认2181;

hbase.zookeeper.property.maxClientCnxns:zk的配置,允许接入zk的最大并发连接数的限制,按ip分配,默认300;
分享到:
评论

相关推荐

    HBase配置项说明及调优建议.zip

    HBase配置项说明及调优建议

    HBase配置项说明及调优建议.xlsx

    hbase 常用参数含义,默认值,调优建议(必须参数,split,compaction,blockcache,memstore flush,hlog,zookeeper,其他,等相参数名称、含义、默认值、调优建议)

    hbase-meta-repair-hbase-2.0.2.jar

    ①修改 jar 包中的application.properties,重点是 zookeeper.address、zookeeper.nodeParent、hdfs.root.dir配置项,hdfs 最好写 ip; ②将core-site.xml、hdfs-site.xml添加到BOOT-INF/classes 下; ③开始修复 `...

    HBase_官方文档(中文版本).zip

    hbase官方文档中文版,里面有详细的安装部署与配置项介绍

    fancyChuan#bigdata-hub#配置hbase与hive集成1

    0. 重新编译依赖包编译过程参考:- Hive整合Hbase详解删除软链接的命令修改hive-site.xml的配置主要修改zookeeper的配置项,以便能够

    spring-boot-starter-hbase:Spring Boot Starter HBase的

    在spring-boot项目的application.properties文件中加入spring.data.hbase.quorum,spring.data.hbase.rootDir,spring.data.hbase.nodeParent配置项,并赋予正确的值 使用 query 将上述配置项赋予正确的值 d

    HBase性能调优方法

    因官方BookPerformanceTuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。  因官方BookPerformanceTuning部分章节...

    hbase-cluster:现成的 HBase 集群

    在您自己的工作站上启动大数据集群 HBase 0.98.3完全分布式集群,只有 3 个依赖项维基可以在找到该项目的 wiki概述使用这个现成的集群作为您试验大数据技术的起点。 您可以完全自由地修改它以满足您的需求,同时拥有...

    Parquet-Hbase-bulkload-Put-Buffered-example:通过使用 WAL 和缓冲的 Put 从 Hdfs 文件中摄取 HBase 记录

    在添加的这个示例中,性能明显提高,将更多的缓冲项从 1 增加到 1000,基于 14 个节点的集群将时间从 25 分钟减少到 50 秒。 但是,将缓冲增加到 10K,响应不如超时开始播放。 这个过程很简单。 首先配置作业添加 ...

    clouderaManager配置.xlsx

    128GB大数据服务器安装CDH HADOOP的配置,对hbase solr spark hdfs等服务的配置项 经过真实的数百亿数据的测试,单台10亿3台百亿30台千亿

    xmljava系统源码-springboot_hbase_kafka:springboot_hbase_kafka

    0)、修改application-dev.yml中的配置项 1)、运行NoticeStartApp.java 3、部署与发布: 0)、部署: cd 项目根目录(和pom.xml同级) mvn clean package -Dmaven.test.skip=true 1)、启动: java -jar muheda-notice-1.0...

    akka-persistence-hbase:用于 Akka 实验性持久性事件溯源的 HBase 支持的期刊

    因此为了使用它,您只需添加以下依赖项: // build.sbt style:libraryDependencies += "pl.project13.scala" %% "akka-persistence-hbase" % "0.4.0"兼容性网格: HBase 插件阿卡持久性0.4.1 2.3.4+配置杂志要激活 ...

    大数据面试题,唬住50k.pdf

    Hadoop的核⼼配置通过两个xml⽂件来完成:1,hadoop-default.xml;2,hadoop-site.xml。这些⽂件都使⽤xml格式,因此每个xml 中都有⼀些属性,包括名称和值,但是当下这些⽂件都已不复存在。 1. 1. 那当下⼜该如何...

    一步到位分布式开发Zookeeper实现集群管理

    Zookeeper是分布式服务框架,主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等等。Zookeeper的核心是广播,这个机制保证了各个Server...

    4399大数据笔试题.pdf

    即StoreFile底层就是HFile HLog File,HBase中WAL(Write Ahead Log) 的存储格式,物理上是Hadoop的Sequence File 7.Scala语⾔的闭包描述哪⼀项不是正确的? 8.Kafka⾼吞吐的原因? 答案: 顺序读写磁盘,充分利⽤...

    Improving-Education-for-At-Risk-Students:社会 SI 改善高危学生的教育

    其他必须手动配置的依赖项包括 Hadoop 2.5.0 HDFS、HBase 0.98.6.1、Hive 0.13.1 和正在运行的 Thrift Server。 还必须安装 Tomcat 7.0.51 并且 Spring Tool Suite 必须引用它才能运行 Web 应用程序。

    大数据与人工智能-fy.docx

    大数据与人工智能-fy 大数据与人工智能-fy 1. 1Hadoop目前最新的版本是 [单选题] A.1.0 B.2.0 C.3.0(正确答案) D.4.0 2. 2以下哪个系统可以为计算机CPU分配资源 [单选题] A.分布式文件存储系统(HDFS) B.分布式计算...

    大数据开源框架集锦.pdf

    ⼤数据开源框架集锦 1 ⼤数据平台 Hadoop 离线数据的分布式存储和计算基础框架 分布式存储HDFS 离线计算引擎MapReduce 资源调度Apache YARN CDH 基于稳定版Hadoop及相关项⽬最成型的发⾏版本, 成为企业部署最⼴泛的...

    大数据流处理框架介绍.pdf

    1).Apache Flume 这是⼀个apache的顶级项⽬,所以域名为flume.apache, 下⾯是官⽹上的原理图,Flume框架把每个收集任务都定义为⼀个Agent(这是 ⼀个JAVA进程),他有三个基本组件Source、Channel、Sink。...

Global site tag (gtag.js) - Google Analytics