【完全分布式Hadoop】(七)HDFS高可用、Yarn高可用介绍以及集群规划

【完全分布式Hadoop】(七)HDFS高可用、Yarn高可用介绍以及集群规划
一、HDFS HA 1.1 HDFS HA架构 HA是为了解决单点问题,通过JournalNode集群共享状态,通过ZKFC 选举active,监控状态,自动备援。 DN会同时向active NN和 standby NN发送心跳。 流程: 当我们在Client使用hdfs进行上传、下载、删除、创建时, active NN会将操作日志写入JN,standby……继续阅读 »

admin 2年前 (2018-10-27) 117浏览 0评论 0个赞

【完全分布式Hadoop】(二)HDFS、YARN概念介绍

【完全分布式Hadoop】(二)HDFS、YARN概念介绍
一、HDFS-Hadoop分布式文件系统 HDFS 采用Master/Slave的架构来存储数据,这种架构主要由四个部分组成,分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面我们分别介绍这四个组成部分 1、Client:就是客户端。 1)文件切分。文件上传 HDFS 的时候,Client 将文件……继续阅读 »

admin 2年前 (2018-10-14) 85浏览 0评论 0个赞