CDH配置文件修改：
1、spark的yarn.nodemanager.resource.memory-mb和yarn.scheduler.maximum-allocation-mb配置
需要在yarn中进行修改
修改yarn.scheduler.maximum-allocation-mb为2G
修改yarn.nodemanager.resource.……继续阅读 »
admin
3年前 (2018-08-18) 1178浏览 0评论
9个赞
严格来说不是将spark1.6升级到spark2.3，而是安装一个新的spark2.3
一、JDK1.7升级到JDK1.8
由于之前CDH中安装了spark1.6，为了适配，我安装jdk1.7，但是在spark2.3中jdk1.7的支持已经被移除了，所以我们第一件事需要将jdk版本升级到jdk1.8
1、停掉所有节点的cloudera manager
/op……继续阅读 »
admin
3年前 (2018-08-18) 944浏览 0评论
0个赞
特别声明：LZ按照教程完整的走了一遍，最终所有组件都是正常的，中间遇到很多坑，做了一些修改，本文最后会将遇到的一些坑总结到一片新文章中
windows虚拟机安装CDH
cpu
16G内存
默认单核单线
DEV2
Server&&Agent
5G
默认单核单线
DEV3
Agent
1G
默认单核单线
DEV4
Age……继续阅读 »
admin
3年前 (2018-08-16) 1073浏览 0评论
0个赞
