蜗牛狂奔-编程技术博客分享 蜗牛狂奔-编程技术博客分享
  • 首页
  • 前端
    • Angular
    • uniapp
  • Docker
  • Hadoop
  • Spark
  • Hive
  • ElasticSearch
  • 大数据
    • Hadoop
    • Spark
    • HDFS
    • Flume
    • Zookeeper
    • CDH
    • Yarn
    • Sqoop
  • 数据(仓)库
    • MySQL
    • Hbase
    • Redis
    • Hive
  • 消息队列
    • Kafka
    • RabbitMQ
    • RocketMQ
  • 语言
    • Python
    • Scala
    • Java

CDH5(5.15.0)中修改spark的yarn.nodemanager.resource.memory-mb和yarn.scheduler.maximum-allocation-mb配置

CDH5(5.15.0)中修改spark的yarn.nodemanager.resource.memory-mb和yarn.scheduler.maximum-allocation-mb配置
CDH配置文件修改: 1、spark的yarn.nodemanager.resource.memory-mb和yarn.scheduler.maximum-allocation-mb配置 需要在yarn中进行修改 修改yarn.scheduler.maximum-allocation-mb为2G 修改yarn.nodemanager.resource.……继续阅读 »

admin 3年前 (2018-08-18) 457浏览 0评论 2个赞

CDH5(5.15.0)升级jdk1.7到1.8,并且将spark1.6升级到spark2.3

CDH5(5.15.0)升级jdk1.7到1.8,并且将spark1.6升级到spark2.3
严格来说不是将spark1.6升级到spark2.3,而是安装一个新的spark2.3 一、JDK1.7升级到JDK1.8 由于之前CDH中安装了spark1.6,为了适配,我安装jdk1.7,但是在spark2.3中jdk1.7的支持已经被移除了,所以我们第一件事需要将jdk版本升级到jdk1.8 1、停掉所有节点的cloudera manager /op……继续阅读 »

admin 3年前 (2018-08-18) 372浏览 0评论 0个赞

CENTOS 7.5离线安装Cloudera Manager 5和CDH5(5.15.0) 完全教程

CENTOS 7.5离线安装Cloudera Manager 5和CDH5(5.15.0) 完全教程
特别声明:LZ按照教程完整的走了一遍,最终所有组件都是正常的,中间遇到很多坑,做了一些修改,本文最后会将遇到的一些坑总结到一片新文章中 windows虚拟机安装CDH cpu 16G内存 默认单核单线 DEV2 Server&&Agent 5G 默认单核单线 DEV3 Agent 1G 默认单核单线 DEV4 Age……继续阅读 »

admin 3年前 (2018-08-16) 498浏览 0评论 0个赞

近期文章

  • 离线安装Python、Locust以及第三方依赖包 2020年11月24日
  • 配置ng-zerro的nz-date-picker时间选择组件 2020年11月9日
  • Angular短信模板校验代码 2020年9月21日
  • 性能测试-Locust分布式执行 2020年9月15日
  • 性能测试-Locust脚本加强篇(关联、检查点、集合点) 2020年9月11日
  • 性能测试-Locust参数篇 2020年9月7日
  • 性能测试-locust简介及使用 2020年9月5日
  • Java企业级权限管理介绍 2020年9月2日
  • 函数式编程-模拟常用的高阶函数 2020年9月1日
  • ES2015前端基础知识集锦 2020年8月24日
Copyright © 2020-2020 极客公园 | 关于网站 | 标签汇总 | 文章归档 | 友情链接 | 网站地图 | 由 Dogyun主机 & & 强力驱动 Theme by 云落