Apache HBase配置

  • 时间:2018-06-19 22:30 作者:大数据开发 来源:大数据开发 阅读:127
  • 扫一扫,手机访问
摘要:Apache HBase用与Apache Hadoop相同的配置系统。所有配置文件都位于conf /目录中,该目录需要为集群中的每个节点保持同步。HBase配置文件说明备份主机默认情况下不存在。一个纯文本文件,列出主机应启动备份主过程的主机,每行一个主机。hadoop-metrics2-hbase.

Apache HBase用与Apache Hadoop相同的配置系统。所有配置文件都位于conf /目录中,该目录需要为集群中的每个节点保持同步。

HBase配置文件说明

  • 备份主机

  • 默认情况下不存在。一个纯文本文件,列出主机应启动备份主过程的主机,每行一个主机。

  • hadoop-metrics2-hbase.properties

  • 使用于连接HBase Hadoop的Metrics2框架。有关Metrics2的更多信息,请参阅Hadoop Wiki条目。默认情况下仅包含已注释的示例。

  • hbase-env.cmd和hbase-env.sh

  • 使用于Windows和Linux / Unix环境的脚本,使用于为HBase设置工作环境,包括Java,Java选项和其余环境变量的位置。该文件包含许多注释的示例,以提供指导。

  • hbase-policy.xml中

  • RPC服务器使用于对用户端请求进行受权决策的默认策略配置文件。仅在启使用HBase 安全性的情况下用。

  • hbase-site.xml

  • 主HBase配置文件。此文件指定覆盖HBase的默认配置的配置选项。您能查看(但不要编辑)docs / hbase-default.xml中的默认配置文件。您还能在HBase Web UI 的HBase Configuration选项卡中查看集群的整个有效配置(缺省和覆盖)。

  • log4j.properties

  • 使用于HBase日志记录的配置文件log4j

  • 区域服务器

  • 包含应在HBase集群中运行RegionServer的主机列表的纯文本文件。默认情况下,此文件包含单个条目localhost。它应该包含主机名或者IP地址的列表,每行一个,并且应该包含localhost假如您的集群中的每个节点在其接口上运行一个localhostRegionServer。


检查XML有效性当您编辑XML时,最好用支持XML的编辑器来确保您的语法是正确的,并且XML格式正确。您还能用该xmllint实使用程序检查XML能否格式正确。默认情况下,xmllint返回并将XML打印到标准输出。要检查良好的结构,并且只有打印输出,假如错误存在,请用命令xmllint -noout filename.xml

保持配置在群集中同步在分布式模式下运行时,在对HBase配置进行编辑后,请确保将conf /目录的内容复制到集群的所有节点。HBase不会为你做这个。用rsyncscp或者另一种安全机制将配置文件复制到节点。对于大多数配置,服务器需要重新启动以接收更改异常是动态配置。将在下面形容。

4.基本先决条件

本节列出所需的服务和少量必须的系统配置。

表2. Java

HBase版本JDK 6JDK 7JDK 8
2.0不支持不支持
1.3不支持
1.2不支持
1.1不支持运行JDK 8将工作,但没有很好的测试。
1.0不支持运行JDK 8将工作,但没有很好的测试。
0.98用JDK 8运行但没有很好的测试。用JDK 8构建将需要删除类的已弃使用的remove()方法,PoolMap并正在考虑中。有关JDK 8支持的更多信息,请参阅 HBASE-7608。
0.94N / A

在HBase 0.98.5及更高版本中,必需JAVA_HOME在集群的每个节点上设置。hbase-env.sh提供了一个方便的机制来做到这一点。

操作系统实使用程序

  • ssh

  • HBase广泛用安全Shell(ssh)命令和实使用程序在集群节点之间进行通信。集群中的每个服务器必需运行ssh,以便能管理Hadoop和HBase后端驻留程序。您必需可以够用共享密钥而不是密码,通过SSH(包括本地节点)从主服务器以及任何备份主服务器连接到所有节点。您能在“ 过程:配置无密码SSH访问 ” 中查看Linux或者Unix系统中此类设置的基本方法。假如集群节点用OS X,请参阅Hadoop wiki上的“ SSH:设置远程桌面和启使用自助登录 ”一节。

  • DNS

  • HBase用本地主机名自行报告其IP地址。正向和反向DNS解析必需在0.92.0之前的HBase版本中工作。在Hadoop的DNS检查器工具,能使用来验证DNS在群集上正常工作。项目README文件提供有关用的详细说明。

  • 环回IP

  • 在hbase-0.96.0之前,HBase只用IP地址127.0.0.1来引使用localhost,而且这不可以被配置。有关详细信息,请参阅环回IP。

  • NTP

  • 群集节点上的时钟应该同步。一些的变化是能接受的,但更大的偏斜量可可以导致不稳固和意想不到的行为。时间同步是在集群中看到无法解释的问题的首要检查之一。建议在集群上运行网络时间协议(NTP)服务或者另一个时间同步机制,并且所有节点都查看同一服务以进行时间同步。请参阅基本NTP配置在Linux文档项目(TLDP)设置NTP。

  • 文件和进程数量限制(ulimit)

  • Apache HBase是一个数据库。它需要可以够一次打开大量的文件。许多Linux发行版限制了允许单个使用户打开的文件数1024(或者者256在较旧版本的OS X上)。您能ulimit -n在运行HBase的使用户登录时通过运行该命令在服务器上检查此限制。假如限制太低,可可以会遇到少量问题,请参阅“疑难解答”部分。您也可可以会注意到以下错误:

    2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient:Exception increateBlockOutputStream java.io.EOFException 2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient:放弃块blk_-6935524980745310745_1391901

    建议将ulimit提高到至少10,000,但更可可以是10,240,由于该值通常使用1024的倍数表示。每个ColumnFamily都至少有一个StoreFile,假如该区域有负载,则可可以有多于六个StoreFiles。所需打开文件的数量取决于ColumnFamilies的数量和区域数量。以下是计算RegionServer上打开文件的可可以数量的粗略公式。

    计算打开文件的可可以数

    (StoreFiles per ColumnFamily)x(每个RegionServer的区域)

    例如,假设一个模式每个区域有3个ColumnFamilies,每个ColumnFamily平均有3个StoreFiles,并且每个RegionServer有100个区域,JVM将打开3 * 3 * 100 = 900文件形容符,而不是打开JAR文件,配置文件和其余文件。打开文件不需要很多资源,允许使用户打开太多文件的风险极小。

    另一个相关设置是允许使用户一次运行的进程数。在Linux和Unix中,用ulimit -u命令设置进程数。这不应该与nproc命令混淆,该命令控制给定使用户可使用的CPU的数量。在负载下,ulimit -u太低可可以导致OutOfMemoryError异常。请参阅杰克·莱文的主要HDFS问题线程在hbase使用户邮件列表,从2011年。

    为运行HBase进程的使用户配置最大文件形容符和进程数是操作系统配置,而不是HBase配置。确保为实际运行HBase的使用户更改设置也很重要。要查看哪个使用户启动HBase和该使用户的ulimit配置,请查看该实例的HBase日志的第一行。对hadoop集群有使用的读设置配置是Aaron Kimball的配置参数:你能忽略什么?

    示例5. ulimitUbuntu上的设置

    要在Ubuntu上配置ulimit设置,请编辑/etc/security/limits.conf,它是一个由四列组成的以空格分隔的文件。有关此文件格式的详细信息,请参阅limits.conf的手册页。在以下示例中,第一行为用使用户名hadoop的操作系统使用户将打开文件(nofile)的软限制和硬限制设置为32768。第二行将同一使用户的进程数设置为32000。

    hadoop - nofile 32768 hadoop - nproc 32000

    仅当可插入认证板块(PAM)环境指向用这些设置时,才应使用这些设置。要配置PAM以用这些限制,请确保/etc/pam.d/common-session文件包含以下行:

    session required pam_limits.so
  • Linux Shell

  • HBase附带的所有shell脚本都依赖于GNU Bash shell。

  • 视窗

  • 在HBase 0.96之前,在Microsoft Windows上运行HBase的测试有限。对于生产系统不建议在Windows节点上运行。

4.1。Hadoop

下表总结了每个版本的HBase支持的Hadoop的版本。基于HBase的版本,您应该选择最适合的Hadoop版本。您能用Apache Hadoop或者供应商的Hadoop发行版。这里不作区分。有关Hadoop供应商的信息,请参阅Hadoop wiki。


建议用Hadoop 2.x。Hadoop 2.x更快,并且包括短路读取等功可以,这将有助于提高您的HBase随机读取配置文件。Hadoop 2.x还包括重要的错误修复,将提高您的整体HBase体验。HBase 0.98下降对Hadoop 1.0的支持,不推荐用Hadoop 1.1+,而HBase 1.0将不支持Hadoop 1.x.

用以下图例解释此表:

Hadoop版本支持矩阵

  • “S”=支持

  • “X”=不支持

  • “NT”=未测试


HBase-0.94.xHBase-0.98.x(不推荐支持Hadoop 1.1+)。HBase-1.0.x(不支持Hadoop 1.x)HBase-1.1.xHBase-1.2.xHBase-1.3.xHBase-2.0.x
Hadoop-1.0.xXXXXXXX
Hadoop-1.1.xSNTXXXXX
Hadoop-0.23.xSXXXXXX
Hadoop-2.0.x-alphaNTXXXXXX
Hadoop-2.1.0-betaNTXXXXXX
Hadoop-2.2.0NTSNTNTXXX
Hadoop-2.3.xNTSNTNTXXX
Hadoop-2.4.xNTSSSSSX
Hadoop-2.5.xNTSSSSSX
Hadoop-2.6.0XXXXXXX
Hadoop-2.6.1 +NTNTNTNTSSS
Hadoop-2.7.0XXXXXXX
Hadoop-2.7.1 +NTNTNTNTSSS

Hadoop Pre-2.6.1和JDK 1.8 Kerberos当在Kerberos环境中用2.6.1之前的Hadoop版本和JDK 1.8时,HBase服务器可可以会失败并因为Kerberos keytab重新登录错误而停止。晚期版本的JDK 1.7(1.7.0_80)也有问题。有关其余详细信息,请参阅HADOOP-10786。在这种情况下,请考虑更新到Hadoop 2.6.1+。

Hadoop 2.6.x基于2.6.X的线的Hadoop发行版必需有 HADOOP-11710应使用,假如你打算在一个HDFS加密区之上运行HBase的。否则将导致集群故障和数据丢失。此修补程序存在于Apache Hadoop 2.6.1+版本中。

Hadoop 2.7.xHadoop版本2.7.0未经测试或者支持,由于Hadoop PMC已将该版本显式标记为不稳固。

替换与HBase捆绑的Hadoop!由于HBase依赖于Hadoop,它将Hadoop jar的一个实例捆绑在其lib目录下。捆绑的jar仅使用于独立模式。在分布式模式下,至关重要的是,您的集群上的Hadoop版本与HBase下的版本相匹配。将HBase lib目录中找到的hadoop jar替换为您的群集上运行的hadoop jar,以避免版本不匹配问题。确保在集群中的任何地方替换HBase中的jar。Hadoop版本不匹配问题有各种体现,但往往都看起来像它挂了。

4.1.1。Apache HBase 0.94与Hadoop 2

要使0.94.x在Hadoop 2.2.0上运行,您需要在pom.xml中更改hadoop 2和protobuf版本:这里是一个与pom.xml更改的差异:

$ svn diff pom.xml Index: pom.xml =================================================================== --- pom.xml (revision 1545157) +++ pom.xml (working copy) @@ -1034,7 +1034,7 @@ 1.4.3 1.2.16 1.8.5 - 2.4.0a + 2.5.0 1.0.1 0.8.0 3.4.5 @@ -2241,7 +2241,7 @@    - 2.0.0-alpha + 2.2.0 1.6.1  

下一步是重新生成Protobuf文件并假设Protobuf已经安装:

  • 用命令行转到HBase根文件夹;

  • 键入以下命令:

    $ protoc -Isrc/main/protobuf --java_out=src/main/java src/main/protobuf/hbase.proto
    $ protoc -Isrc/main/protobuf --java_out=src/main/java src/main/protobuf/ErrorHandling.proto

通过运行相似以下命令来构建hadoop 2配置文件:

$ mvn clean install assembly:single -Dhadoop.profile = 2.0 -DskipTests

4.1.2。Apache HBase 0.92和0.94

HBase 0.92和0.94版本能与Hadoop版本(0.20.205,0.22.x,1.0.x和1.1.x)一起用。HBase-0.94还能用Hadoop-0.23.x和2.x,但是您可可以必需用特定的maven配置文件重新编译代码(参见顶级pom.xml)

4.1.3。Apache HBase 0.96

从Apache HBase 0.96.x开始,至少需要Apache Hadoop 1.0.x。强烈鼓励Hadoop 2(更快,但也有帮助MTTR的修复)。我们将不再在较旧的Hadoops上正常运行,例如0.20.205或者branch-0.20-append。假如您无法更新Hadoop,请不要移动到Apache HBase 0.96.x。参见HBase,mail#dev - DISCUSS:hbase要求至少hadoop 1.0.0在hbase 0.96.0?

4.1.4。Hadoop版本0.20.x - 1.x

不要将大于2.2.0的Hadoop版本使用于大于1.0的HBase版本。假如您用的是旧版本的HBase for Hadoop相关信息,请查看发行文档。

4.1.5。Apache Hbase安全Hadoop

Apache HBase将在任何并入Hadoop安全功可以的Hadoop 0.20.x上运行,只需您像上面建议的那样,并使用安全版本替换HBase附带的Hadoop jar。假如要阅读有关如何设置Secure HBase的更多信息,请参阅hbase.secure.configuration。

4.1.6。 dfs.datanode.max.transfer.threads

HDFS DataNode具备在任何时间将要服务的文件数量的上限。在执行任何加载之前,请确保您已配置Hadoop的conf / hdfs-site.xml,将dfs.datanode.max.transfer.threads值设置为至少以下值:

 dfs.datanode.max.transfer.threads 4096 

进行上述配置后,请务必重新启动HDFS。

没有这个配置就会造成奇怪的故障。一种体现形式是关于缺失区块的投诉。例如:

10/12/08 20:10:31 INFO hdfs.DFSClient:无法获取块 blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY来自任何节点:java.io.IOException:没有活动节点 包含当前块。将从namenode获取新的块位置并重试...

另请参见casestudies.max.transfer.threads并注意,此属性以前称为dfs.datanode.max.xcievers(例如Hadoop HDFS:由Xciever欺骗)。

4.2。ZooKeeper要求

从HBase 1.0.0起,需要ZooKeeper 3.4.x。HBase利使用multi只有从Zookeeper 3.4.0可使用的功可以。该hbase.zookeeper.useMulti配置属性默认为true在HBase的1.0.0。参考HBASE-12241(当服务器复制队列中断时复制时regionServer崩溃)和HBASE-6775(当HBASE-6710 0.92 / 0.94兼容性修复时用ZK.multi)作为背景。该属性已弃使用,并且在HBase 2.0中始终启使用useMulti。

今天的学习就到这里,明天我们将学习

HBase运行模式:独立和分布式

  • 全部评论(0)
最新发布的资讯信息
【系统环境|Linux】零基础如何学好大数据?必备需要学习知识(2019-06-18 11:54)
【系统环境|】Hadoop环境中管理大数据存储八大技巧(2019-06-15 11:01)
【系统环境|服务器应用】现在国内IT行业是不是程序员过多了?(2019-06-11 06:34)
【系统环境|服务器应用】新贵 Flutter(2) 自己设置 Widget(2019-06-11 06:34)
【系统环境|服务器应用】Android完整知识体系路线(菜鸟-资深-大牛必进之路)(2019-06-11 06:34)
【系统环境|服务器应用】Java程序员小伙经历三个月备战,终获阿里offer(2019-06-11 06:34)
【系统环境|服务器应用】每日一问:谈谈对 MeasureSpec 的了解(2019-06-11 06:34)
【系统环境|服务器应用】【科普】晶体管-1(2019-06-11 06:34)
【系统环境|服务器应用】一个很多人都会答错的java基础题(2019-06-11 06:33)
【系统环境|服务器应用】深入了解枚举类型(2019-06-11 06:33)
手机二维码手机访问领取大礼包
返回顶部