Spring-SpringAOP原理,手写Spring事务框架

一、Spring核心知识 Spring是一个开源框架,Spring是于2003年兴起的一个轻量级的Java开发框架,由Rod Johnson在其著作Expert…

将安装在VMware中hadoop的镜像文件转到VirtualBox安装并运行

一、VMware中hadoop的镜像文件 链接:https://pan.baidu.com/s/1vmrC_ZzZ0xz5Z70-gE0QGw 提取码:xtgr…

HDFS异常(调优),Spark提交任务出现OOM:unable to create new native thread

看到这个图片,很容易就联想到是内存溢出了,但是具体问题出现在哪里呢。 1、检查配置文件 hdfs-site.xml,core-site.xml,yarn-sit…

使用Hadoop自带的wc的mr程序测试LZO的特性,测试index与否的map task个数

特别注意:lzo的压缩比和压缩效率综合起来性价比是比较高的,但是lzo必须有索引才能进行split,以便多个map进行读取实现并行处理,在spark中也可以进行…

【压缩方式对比】正确选择大数据处理过程中的压缩方式

1、当前比较常见的离线处理/批处理框架: hadoop/hive/spark/flink 2、通用的离线处理流程 流程中Batch到DB是可行的,但是在生产中我…

hadoop-2.6.0编译详细步骤,通用于其他版本

一、环境准备 1、JDK安装部署 详细安装地址:[JDK安装部署](https://www.codeobj.com/?p=302) 2、Maven安装 详细安装…

【完全分布式Hadoop】(九)高可用hadoop集群安装(HDFS HA,Yarn HA)

一 完全分布式hadoop集群 Hadoop官方地址:https://hadoop.apache.org/ 1 准备3台客户机 1.1防火墙,静态IP,主机名 …

【完全分布式Hadoop】(八)CentOS6.5搭建Zookeeper3.4.6集群

由于后边搭建HDFS和Yarn高可用需要用到Zookeeper,所以这里现在集群中搭建Zookeeper 一. 分布式安装部署 1.0 下载地址 官网首页: h…

【完全分布式Hadoop】(七)HDFS高可用、Yarn高可用介绍以及集群规划

一、HDFS HA 1.1 HDFS HA架构 HA是为了解决单点问题,通过JournalNode集群共享状态,通过ZKFC 选举active,监控状态,自动备…

【完全分布式Hadoop】(六)MySQL5.7服务端安装,DBA权限设置以及客户端配置

MySQL简单使用一、条件查询 MySQL简单使用二、join使用 一、 下载MySQL5.7 先检查mysql是否已经存在: ps -ef|grep mysq…

【完全分布式Hadoop】(五)jdk1.8环境安装

1.、下载jdk1.8   有些Centos系统可能已经有openjdk了,但是为了更清晰的了解我们的环境,我们一般采用二进制包,进行环境配置   卸载系统自带…

【完全分布式Hadoop】(四)新建hadoop用户以及用户组,并赋予sudo免密码权限

搭建hadoop集群环境不仅master和slaves安装的hadoop路径要完全一样,也要求用户和组也要完全一致。因此第一步就是新建用户以及用户组。对于新手来…

【完全分布式Hadoop】(三)集群设置SSH无密码登陆

之前的文章已经有SSH免密部分,这里单独列出来只是为了方便查找 打通SSH,设置ssh无密码登陆(所有节点) 组建了三个节点的集群hadoop000、hadoo…

【完全分布式Hadoop】(二)HDFS、YARN概念介绍

一、HDFS-Hadoop分布式文件系统 HDFS 采用Master/Slave的架构来存储数据,这种架构主要由四个部分组成,分别为HDFS Client、Na…

【完全分布式Hadoop】(一)从虚拟机Centos6.5的安装开始

一、虚拟机安装 不做过多介绍,自行去某度搜索 二、Centos6.5配置 1. 关闭防火墙 service iptables stop 关闭防火墙开机启动 ch…

windows下安装并启动hadoop2.7.2

64位windows安装hadoop没必要倒腾Cygwin,直接解压官网下载hadoop安装包到本地->最小化配置4个基本文件->执行1条启动命令->完事。一个…

hadoop搭建四个配置文件(core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml )的简单介绍

hadoop下载地址 https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.0.tar.gz…

CDH5(5.15.0)中修改spark的yarn.nodemanager.resource.memory-mb和yarn.scheduler.maximum-allocation-mb配置

CDH配置文件修改: 1、spark的yarn.nodemanager.resource.memory-mb和yarn.scheduler.maximum-al…

CDH5(5.15.0)升级jdk1.7到1.8,并且将spark1.6升级到spark2.3

严格来说不是将spark1.6升级到spark2.3,而是安装一个新的spark2.3 一、JDK1.7升级到JDK1.8 由于之前CDH中安装了spark1.…

python使用hdfs3模块对hdfs进行操作

之前一直使用hdfs的命令进行hdfs操作,比如: hdfs dfs -ls /user/spark/ hdfs dfs -get /user/spark/a.…