【完全分布式Hadoop】(五)jdk1.8环境安装

【完全分布式Hadoop】(五)jdk1.8环境安装
1.、下载jdk1.8   有些Centos系统可能已经有openjdk了,但是为了更清晰的了解我们的环境,我们一般采用二进制包,进行环境配置   卸载系统自带的openjdk rpm -e --nodeps `rpm -qa | grep java`   CDH官方hadoop2.6版本是推荐使用jdk1.7版本的,但是spark2.2.x开始不再支持j……继续阅读 »

admin 4年前 (2018-10-23) 1433浏览 0评论 0个赞

【完全分布式Hadoop】(四)新建hadoop用户以及用户组,并赋予sudo免密码权限

【完全分布式Hadoop】(四)新建hadoop用户以及用户组,并赋予sudo免密码权限
搭建hadoop集群环境不仅master和slaves安装的hadoop路径要完全一样,也要求用户和组也要完全一致。因此第一步就是新建用户以及用户组。对于新手来言,新建用户用户组,并赋予适当的权限无疑是最大的问题。下面请跟随我来新建用户以及用户组并赋予root权限。 在root权限下首先新建用户,建议用adduser命令 sudo adduser hadoo……继续阅读 »

admin 4年前 (2018-10-18) 1584浏览 0评论 0个赞

【完全分布式Hadoop】(三)集群设置SSH无密码登陆

【完全分布式Hadoop】(三)集群设置SSH无密码登陆
之前的文章已经有SSH免密部分,这里单独列出来只是为了方便查找 打通SSH,设置ssh无密码登陆(所有节点) 组建了三个节点的集群hadoop000、hadoop001、hadoop002 在所有节点上执行 ssh-keygen -t rsa 一路回车,生成无密码的密钥对。 将各个节点的公钥添加至hadoop000的认证文件 注意:此处有坑,目前还不知道是p……继续阅读 »

admin 4年前 (2018-10-17) 1203浏览 0评论 0个赞

【完全分布式Hadoop】(二)HDFS、YARN概念介绍

【完全分布式Hadoop】(二)HDFS、YARN概念介绍
一、HDFS-Hadoop分布式文件系统 HDFS 采用Master/Slave的架构来存储数据,这种架构主要由四个部分组成,分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面我们分别介绍这四个组成部分 1、Client:就是客户端。 1)文件切分。文件上传 HDFS 的时候,Client 将文件……继续阅读 »

admin 4年前 (2018-10-14) 1224浏览 0评论 0个赞

windows下安装并启动hadoop2.7.2

windows下安装并启动hadoop2.7.2
64位windows安装hadoop没必要倒腾Cygwin,直接解压官网下载hadoop安装包到本地->最小化配置4个基本文件->执行1条启动命令->完事。一个前提是你的电脑上已经安装了jdk,设置了java环境变量。下面把这几步细化贴出来,以hadoop2.7.2为例   1、下载hadoop安装包就不细说了:https://hadoop.apache.o……继续阅读 »

admin 4年前 (2018-10-12) 1663浏览 0评论 0个赞