【完全分布式Hadoop】(八)CentOS6.5搭建Zookeeper3.4.6集群

由于后边搭建HDFS和Yarn高可用需要用到Zookeeper,所以这里现在集群中搭建Zookeeper 一. 分布式安装部署 1.0 下载地址 官网首页: h…

【完全分布式Hadoop】(七)HDFS高可用、Yarn高可用介绍以及集群规划

一、HDFS HA 1.1 HDFS HA架构 HA是为了解决单点问题,通过JournalNode集群共享状态,通过ZKFC 选举active,监控状态,自动备…

MySQL简单使用二、join使用

——–join———– inner join:内连接 等值连接 left j…

MySQL简单使用一、条件查询

【完全分布式Hadoop】(六)MySQL5.7服务端安装,DBA权限设置以及客户端配置 1、数据类型 char 字符 定长,char(10) varchar …

【完全分布式Hadoop】(六)MySQL5.7服务端安装,DBA权限设置以及客户端配置

MySQL简单使用一、条件查询 MySQL简单使用二、join使用 一、 下载MySQL5.7 先检查mysql是否已经存在: ps -ef|grep mysq…

【完全分布式Hadoop】(五)jdk1.8环境安装

1.、下载jdk1.8   有些Centos系统可能已经有openjdk了,但是为了更清晰的了解我们的环境,我们一般采用二进制包,进行环境配置   卸载系统自带…

【完全分布式Hadoop】(四)新建hadoop用户以及用户组,并赋予sudo免密码权限

搭建hadoop集群环境不仅master和slaves安装的hadoop路径要完全一样,也要求用户和组也要完全一致。因此第一步就是新建用户以及用户组。对于新手来…

【完全分布式Hadoop】(三)集群设置SSH无密码登陆

之前的文章已经有SSH免密部分,这里单独列出来只是为了方便查找 打通SSH,设置ssh无密码登陆(所有节点) 组建了三个节点的集群hadoop000、hadoo…

Redis INCR和INCRBY对指定key的value进行数字相加

INCRBY key increment 将 key 所储存的值加上增量 increment 。 如果 key 不存在,那么 key 的值会先被初始化为 0 ,…

【完全分布式Hadoop】(二)HDFS、YARN概念介绍

一、HDFS-Hadoop分布式文件系统 HDFS 采用Master/Slave的架构来存储数据,这种架构主要由四个部分组成,分别为HDFS Client、Na…

【完全分布式Hadoop】(一)从虚拟机Centos6.5的安装开始

一、虚拟机安装 不做过多介绍,自行去某度搜索 二、Centos6.5配置 1. 关闭防火墙 service iptables stop 关闭防火墙开机启动 ch…

eclipse打包说明 Run as —Maven build 命令详解

Goals: clean 清除编译,compile 编译,test 编译并测试,install 打包并发送到本地仓库,package 只是打成jar包,并不会发…

eclipse创建maven管理Spark的scala以及eclipse的Maven配置

说明,由于spark是用scala写的。因此,不管是在看源码还是在写spark有关的代码的时候,都最好是用scala。由于我个人以前是纯粹的Pythoner,一…

windows下安装并启动hadoop2.7.2

64位windows安装hadoop没必要倒腾Cygwin,直接解压官网下载hadoop安装包到本地->最小化配置4个基本文件->执行1条启动命令->完事。一个…

Maven的安装以及配置,window以及linux

一、Maven的安装以及配置 1)下载 https://maven.apache.org/download.cgi 2)解压 window下载的apache-m…

Hbase的安装以及配置

前置条件 jdk1.8 Hadoop 2.6 Zookeeper 3.4.5 一、安装Zookeeper 单节点zookeeper可以参考 Kafka概述以及安…

Kafka概述以及安装配置

一、Kafka概述 PUBLISH & SUBSCRIBE Read and write streams of data like a messagin…

hadoop搭建四个配置文件(core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml )的简单介绍

hadoop下载地址 https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.0.tar.gz…