CDH配置文件修改：
1、spark的yarn.nodemanager.resource.memory-mb和yarn.scheduler.maximum-allocation-mb配置
需要在yarn中进行修改
修改yarn.scheduler.maximum-allocation-mb为2G
修改yarn.nodemanager.resource.……继续阅读 »
admin
3年前 (2018-08-18) 1178浏览 0评论
9个赞
严格来说不是将spark1.6升级到spark2.3，而是安装一个新的spark2.3
一、JDK1.7升级到JDK1.8
由于之前CDH中安装了spark1.6，为了适配，我安装jdk1.7，但是在spark2.3中jdk1.7的支持已经被移除了，所以我们第一件事需要将jdk版本升级到jdk1.8
1、停掉所有节点的cloudera manager
/op……继续阅读 »
admin
3年前 (2018-08-18) 944浏览 0评论
0个赞
之前一直使用hdfs的命令进行hdfs操作，比如：
hdfs dfs -ls /user/spark/
hdfs dfs -get /user/spark/a.txt /home/spark/a.txt #从HDFS获取数据到本地
hdfs dfs -put -f /home/spark/a.txt /user/spark/a.txt #从本地覆盖式上传
h……继续阅读 »
admin
3年前 (2018-08-17) 1262浏览 0评论
0个赞
Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。 Lucene 可能是目前存在的，不论开源还是私有的，拥有最先进，高性能和全功能搜索引擎功能的库。但是 Lucene 仅仅只是一个库。为了利用它，你需要编写 Java 程序，并在你的 java 程序里面直接集成 Lucene 包。 更坏的情况是……继续阅读 »
admin
3年前 (2018-08-16) 1607浏览 0评论
1个赞
特别声明：LZ按照教程完整的走了一遍，最终所有组件都是正常的，中间遇到很多坑，做了一些修改，本文最后会将遇到的一些坑总结到一片新文章中
windows虚拟机安装CDH
cpu
16G内存
默认单核单线
DEV2
Server&&Agent
5G
默认单核单线
DEV3
Agent
1G
默认单核单线
DEV4
Age……继续阅读 »
admin
3年前 (2018-08-16) 1073浏览 0评论
0个赞
以下是个人在工作中总结的一些简单的命令，有linux也有hadoop集群命令的操作，精力有限，肯定还有很多命令没有总结到，欢迎留言，我会定期添加新的内容
1. 查看当前目录是什么命令？怎么表示当前path
`pwd` `./`
2. 切换到上一次和上一层目录?切换到当前用户的目录。
`cd -`
`cd ..或者cd ../ 两层 cd ../../`……继续阅读 »
admin
3年前 (2018-08-10) 859浏览 0评论
0个赞
……继续阅读 »
admin
3年前 (2018-08-07) 689浏览 0评论
0个赞
1001、不使用List创建一个List
Nil 是一个空列表
……继续阅读 »
admin
3年前 (2018-08-07) 733浏览 0评论
0个赞
本文章内容不定时更新每一条内容都与隔壁Python进行对比
Python常用的基本操作
1、查看字符串类型
scala> val a = 22
a: Int = 22
scala> a.getClass
res0: Class[Int] = int
scala> a.getClass.getSimpleName
res1: String = int
2、字……继续阅读 »
admin
3年前 (2018-08-07) 791浏览 0评论
0个赞
本文章内容不定时更新每一条内容都与隔壁Scala进行对比
Scala常用的基本操作
1、查看字符串类型
>>> a = 22
>>> type(a)
2、字符串转json
import json
json.loads(contents)
json.dumps(dict,ensure_ascii=False) #是否转ASCII码，一般包含中文的时候需要……继续阅读 »
admin
3年前 (2018-08-07) 804浏览 0评论
0个赞
