一、Spring核心知识
Spring是一个开源框架，Spring是于2003年兴起的一个轻量级的Java开发框架，由Rod Johnson在其著作Expert One-On-One J2EE Development and Design中阐述的部分理念和原型衍生而来。它是为了解决企业应用开发的复杂性而创建的。框架的主要优势之一就是其分层架构，分层架构允许使……继续阅读 »
admin
3年前 (2020-01-03) 1914浏览 0评论
4个赞
一、VMware中hadoop的镜像文件
链接：https://pan.baidu.com/s/1vmrC_ZzZ0xz5Z70-gE0QGw
提取码：xtgr
复制这段内容后打开百度网盘手机App，操作更方便哦
该连接中包含VMware-workstation-full-12.5.7.20721以及秘钥VMware12秘钥
1、下载hadoop镜像，大概9……继续阅读 »
admin
3年前 (2019-06-18) 1121浏览 0评论
0个赞
看到这个图片，很容易就联想到是内存溢出了，但是具体问题出现在哪里呢。
1、检查配置文件
hdfs-site.xml,core-site.xml,yarn-site.xml等配置文件，但是并未发现配置问题。
2、调整参数:
--num-executors 3
--driver-memory 4g
--executor-memory 2g
--execu……继续阅读 »
admin
4年前 (2019-01-20) 2350浏览 0评论
7个赞
特别注意：lzo的压缩比和压缩效率综合起来性价比是比较高的，但是lzo必须有索引才能进行split，以便多个map进行读取实现并行处理,在spark中也可以进行相同的操作，但并不是适合所有场景。比如集群负载已经很高，压缩需要额外的CPU，对性能产生影响
1、安装lzop压缩软件 native library
[root@hadoop000 package]#……继续阅读 »
admin
4年前 (2018-11-05) 1153浏览 0评论
0个赞
1、当前比较常见的离线处理/批处理框架：
hadoop/hive/spark/flink
2、通用的离线处理流程
流程中Batch到DB是可行的，但是在生产中我们通常只需要把最终结果写入关系库中
3、不同的压缩方式带来不一样的数据处理并行度
如上图中的介绍：
1）优点：
1G的文件通过压缩后减少为500M
更少的磁盘IO、更少的磁盘存储空间、更少的网络传输……继续阅读 »
admin
4年前 (2018-11-05) 1328浏览 0评论
0个赞
一、环境准备
1、JDK安装部署
详细安装地址：[JDK安装部署](https://www.codeobj.com/?p=302)
2、Maven安装
详细安装地址：[Maven安装部署](https://www.codeobj.com/?p=129)
二、安装编译hadoop
1、安装编译protobuf
1）下载：protobuf2.5.0
http……继续阅读 »
admin
4年前 (2018-11-03) 2441浏览 0评论
0个赞
一 完全分布式hadoop集群
Hadoop官方地址：https://hadoop.apache.org/
1 准备3台客户机
1.1防火墙,静态IP,主机名
https://www.codeobj.com/2018/10/%E3%80%90%E5%AE%8C%E5%85%A8%E5%88%86%E5%B8%83%E5%BC%8Fhadoop%E3%80%……继续阅读 »
admin
4年前 (2018-11-01) 3757浏览 0评论
0个赞
由于后边搭建HDFS和Yarn高可用需要用到Zookeeper，所以这里现在集群中搭建Zookeeper
一. 分布式安装部署
1.0 下载地址
官网首页： https://zookeeper.apache.org/
下载地址： https://archive.apache.org/dist/zookeeper/
1.1 集群规划
ZK配置规则:
HA ……继续阅读 »
admin
4年前 (2018-10-27) 3205浏览 0评论
0个赞
一、HDFS HA
1.1 HDFS HA架构
HA是为了解决单点问题，通过JournalNode集群共享状态，通过ZKFC 选举active，监控状态，自动备援。
DN会同时向active NN和 standby NN发送心跳。
流程：
当我们在Client使用hdfs进行上传、下载、删除、创建时，
active NN会将操作日志写入JN,standby……继续阅读 »
admin
4年前 (2018-10-27) 1255浏览 0评论
0个赞
MySQL简单使用一、条件查询
MySQL简单使用二、join使用
一、 下载MySQL5.7
先检查mysql是否已经存在：
ps -ef|grep mysqld
rpm -qa |grep -i mysql #如果有mysql-lib的rpm先不要卸载
查看系统是否有默认安装的mariadb，如果有，和前边的openjdk一样卸载掉
rpm -qa……继续阅读 »
admin
4年前 (2018-10-23) 1198浏览 0评论
0个赞
