深度解析大快DKadoop大数据运维管理平台功能

  • 时间:
  • 浏览:1

2高可靠配置

计划内维护事件,如在运行ResourceManager的计算机上进行的软件或硬件升级。

DKH 默认开启了Resource Manager HA 。用户不时需担心。

1.自动化Hadoop 安装过程,大幅缩短部署时间;

1可视化参数配置界面

4.通过DKM 界面,加进其他时需的安装的节点,选则要安装的Hadoop 组件,以及每个节点承担的角色,选则安装,DKM 会自动地将时需安装的软件下发到对应的节点,并完成安装。

计划外事件,如计算机崩溃。

3HDFS 高可靠

1.安装环境准备,下载DKM 以及DKH 的安装文件,安装JDK,yum 等基本软件。

2.提供实时的集群概况,这类节点,服务的运行状况;

4YARN 高可靠

在标准配置中,NameNode 是HDFS群集中的单点故障(SPOF)。每个群集都具一三个白多多NameNode ,原困分析机器或守护程序运行运行变为不可用,群集整体将变为不可用,直到NameNode 在新主机上重新启动或上线。Secondary NameNode 不提供故障转移功能。 为了让“备用” NameNode 的状况与“活动”NameNode 在此实施中保持同步,一三个白多节点均与一组名为JournalNode 的独立后台守护程序运行运行进行通信。由“活动”NameNode 执行任何Namespace 修改时,它会持续记录其中大次责JournalNode 的修改记录。 “备用”NameNode 要能从JournalNode 读取编辑操作,并不断监视它们以了解编辑日志占据 的更改。当备用节点发现编辑操作时,它会将有有哪些编辑应用于当事人的Namespace 。在占据 故障转移时,备用节点将确保首先从JournalNode 读取所有的编辑操作,可不能否 才会将当事人升级为“活动状况”。这确保了再占据 故障转移前一天完整版同步Namespace 状况。

对系统管理员,数据库管理员及其他管理员时需授予不同级别的管理权限。

DKM 设计的目的是为了使得对于企业数据中心的管理变得简单和直观。通过DKM ,可不能否 方便地部署,可不能否 集中式的操作完整版的大数据软件栈。该应用软件会自动化安装过程,从而减少了部署集群的时间。通过DKM 可不能否 提供一三个白多集群范围内的节点实时运行状况视图。一并,还提供了一三个白多中央控制台,可不能否 用于配置集群。总结DKM 要能提供的功能主要有以下几点

亲戚亲戚其他人都知道Hadoop 一种是一三个白多分布式的系统,可不能否 在安装时,时需对每一三个白多节点进行组件的安装,可不能否 原困分析是开源软件,其安装过程相对比较繁复,Hadoop 每个组件都时需做所以的配置工作,这一 点相信各位深有体会DKH 提供了DKM 来自动化安装部署Hadoop 。 大大缩短了Hadoop 的安装时间,一并也繁复了安装Hadoop 的过程。DKHADOOP安装步骤请参考此前分享的文章

为了提供快速故障转移,备用NameNode 还时需拥有有关群集中的块位置的最新信息。为实现这一 目的,DataNode 配置了这一 个多NameNode的位置,它们会将这块位置信息和检测信号发送给这一 个多NameNode。

5.当所有节点的软件都安装完成前一天,DKM 会启动所有的服务。从上述的安装过程可不能否 看出DKH 的安装主要体现一三个白多特点,批量化以及自动化。只时需在其中一三个白多节点完成,其他节点都可不能否 进行批量化的自动安装。

Hadoop 带有其他的组件,不同的组件都带有各种各样的配置, 可不能否 分布于不同的主机之上。 DKM 针对这一 状况提供了界面化的参数配置功能,可不能否 要能自动的部署到每个节点。

4.带有全面的报告和诊断工具,帮助优化性能和利用率;

一次可不能否了有其中一三个白多NameNode 占据 活动状况,这一 点对于HA群集的正常运行来说至关重要。可不能否 ,Namespace 状况会在两者之间快速出現分歧,从而原困分析数据丢失风险或其他不正确的结果。为了确保此属性并避免所谓的“大脑分裂状况”,JournalNode 一次只允许一三个白多NameNode 成为写入守护程序运行运行。在故障转移过程中,要进入“活动”状况的NameNode 将接管JournalNode的写入角色,这会有效地阻止其它NameNode继续保持“活动”状况,使得新的“活动”NameNode可不能否 安全地继续执行故障转移。

DKM 对关键的组件使用HA部署方案,避免单点失效的占据 ,一并DKH 对于组件的异常错误提供了自动恢复避免,最大限度的保证服务的可靠性。

前一天几周的时间经常是在围绕DKhadoop的运行环境搭建写分享,有其他亲戚其他人留言索要了dkhadoop安装包,我不在 乎 有那末去下载安装一探究竟。关于DKHadoop下载安装基本原困分析讲清楚了,这几天有点硬空闲把大快DKM大数据运维管理平台的内容下发了其他,作为DKHadoop相配套的管理平台,是有必要对DKM有所了解的。

YARN ResourceManager(RM) 负责跟踪群集中的资源并安排应用守护程序运行运行(这类,MapReduce作业)。RM 高可用性(HA)功能以活动/待机 RM 对形式加进冗余,以删除此单点故障。此外,在从待机RM 到活动RM 进行故障转移时,应用守护程序运行运行可不能否 从其上次检查点状况恢复; 这类,在MapReduce 作业中完成的map 任务不在 后续的尝试中重新运行。原先可不能否 在不对运行中的应用守护程序运行运行产生任何重要性能影响的状况下,避免以下事件:

1、批量部署

DKH 默认开启了HA . 用户可不能否 担心此现象。

3.DKM 是一三个白多web 应用,提供了基于浏览器的界面,用户可不能否 通过浏览器可视化的进行DKH的安装部署。

DKM 是DKHadoop管理平台。作为大数据平台端到端Apache Hadoop 的管理应用,DKM 对 DKH 的每个部件都提供了细粒度的可视化和控制。通过DKM ,运维人员是可以提高集群的性能,提升服务质量,提高合规性并降低管理成本。

RM HA 要求Zookeeper 和HDFS 服务占据 运行状况。RM HA 通过活动-待机RM 对的措施实施。启动时,每个RM 占据 待机状况;启动过程,但未加载状况。转换到活动状况时,RM会从指定的状况存储加载内内外部状况,并启动所有内内外部服务。 管理员(通过CLI)或通过集成的故障转移控制器(启用自动故障转移时)可有有助于于转换为活动状况。

 基本功能DKM的基本功能主要可不能否 分为四大模块:管理功能,监控功能,诊断功能和集成功能。本篇亲戚亲戚其他人就先来看以下管理功能:

3.提供了集中的中央控制台对集群的配置进行更改;

2.选则一台节点,安装DKM ,用户只时需启动安装脚本即可,通常状况下几分钟就要能完成。

自动化安装的过程如下: