2018年10月的内容

Hadoop

【完全分布式Hadoop】(七)HDFS高可用、Yarn高可用介绍以及集群规划

【完全分布式Hadoop】(七)HDFS高可用、Yarn高可用介绍以及集群规划
一、HDFS HA 1.1 HDFS HA架构 HA是为了解决单点问题,通过JournalNode集群共享状态,通过ZKFC 选举active,监控状态,自动备援。 DN会同时向active NN和 standby NN发送心跳。 流程: 当我们在Client使用hdfs进行上传、下载、删除、创建时, active NN会将操作日志写入JN,standby……继续阅读 »

admin 2年前 (2018-10-27) 39浏览 0评论 0个赞

MySQL

MySQL简单使用一、条件查询

MySQL简单使用一、条件查询
【完全分布式Hadoop】(六)MySQL5.7服务端安装,DBA权限设置以及客户端配置 1、数据类型 char 字符 定长,char(10) varchar 字符串 int 整数 float 单精度 double 双精度 date 日期 年月日 timestamp 年月日 时分秒 时间戳 decimal 通常和费用金钱相关的使用该类型 2、设置用户权……继续阅读 »

admin 2年前 (2018-10-23) 104浏览 0评论 0个赞

Hadoop

【完全分布式Hadoop】(五)jdk1.8环境安装

【完全分布式Hadoop】(五)jdk1.8环境安装
1.、下载jdk1.8   有些Centos系统可能已经有openjdk了,但是为了更清晰的了解我们的环境,我们一般采用二进制包,进行环境配置   卸载系统自带的openjdk rpm -e --nodeps `rpm -qa | grep java`   CDH官方hadoop2.6版本是推荐使用jdk1.7版本的,但是spark2.2.x开始不再支持j……继续阅读 »

admin 2年前 (2018-10-23) 72浏览 0评论 0个赞

Hadoop

【完全分布式Hadoop】(四)新建hadoop用户以及用户组,并赋予sudo免密码权限

【完全分布式Hadoop】(四)新建hadoop用户以及用户组,并赋予sudo免密码权限
搭建hadoop集群环境不仅master和slaves安装的hadoop路径要完全一样,也要求用户和组也要完全一致。因此第一步就是新建用户以及用户组。对于新手来言,新建用户用户组,并赋予适当的权限无疑是最大的问题。下面请跟随我来新建用户以及用户组并赋予root权限。 在root权限下首先新建用户,建议用adduser命令 sudo adduser hadoo……继续阅读 »

admin 2年前 (2018-10-18) 40浏览 0评论 0个赞

Hadoop

【完全分布式Hadoop】(三)集群设置SSH无密码登陆

【完全分布式Hadoop】(三)集群设置SSH无密码登陆
之前的文章已经有SSH免密部分,这里单独列出来只是为了方便查找 打通SSH,设置ssh无密码登陆(所有节点) 组建了三个节点的集群hadoop000、hadoop001、hadoop002 在所有节点上执行 ssh-keygen -t rsa 一路回车,生成无密码的密钥对。 将各个节点的公钥添加至hadoop000的认证文件 注意:此处有坑,目前还不知道是p……继续阅读 »

admin 2年前 (2018-10-17) 42浏览 0评论 0个赞

Redis

Redis INCR和INCRBY对指定key的value进行数字相加

Redis INCR和INCRBY对指定key的value进行数字相加
INCRBY key increment 将 key 所储存的值加上增量 increment 。 如果 key 不存在,那么 key 的值会先被初始化为 0 ,然后再执行 INCRBY 命令。 如果值包含错误的类型,或字符串类型的值不能表示为数字,那么返回一个错误。 本操作的值限制在 64 位(bit)有符号数字表示之内。 关于递增(increment) /……继续阅读 »

admin 2年前 (2018-10-14) 70浏览 0评论 0个赞