CDH5(5.15.0)中修改spark的yarn.nodemanager.resource.memory-mb和yarn.scheduler.maximum-allocation-mb配置
CDH配置文件修改： 1、spark的yarn.nodemanager.resource.memory-mb和yarn.scheduler.maximum-al…
CDH5(5.15.0)升级jdk1.7到1.8，并且将spark1.6升级到spark2.3
严格来说不是将spark1.6升级到spark2.3，而是安装一个新的spark2.3 一、JDK1.7升级到JDK1.8 由于之前CDH中安装了spark1.…
python使用hdfs3模块对hdfs进行操作
之前一直使用hdfs的命令进行hdfs操作，比如： hdfs dfs -ls /user/spark/ hdfs dfs -get /user/spark/a.…
Python-ElasticSearch，python对ES进行写入、更新、删除、搜索
Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。 Lucene 可能是目前存在的，不论开源还…
CENTOS 7.5离线安装Cloudera Manager 5和CDH5(5.15.0) 完全教程
特别声明：LZ按照教程完整的走了一遍，最终所有组件都是正常的，中间遇到很多坑，做了一些修改，本文最后会将遇到的一些坑总结到一片新文章中 windows虚拟机安装…
大数据工作中你必须知道的基础命令集锦
以下是个人在工作中总结的一些简单的命令，有linux也有hadoop集群命令的操作，精力有限，肯定还有很多命令没有总结到，欢迎留言，我会定期添加新的内容 1. …
Scala常用代码
1001、不使用List创建一个List Nil 是一个空列表
Scala常用的基本操作（同Python对比）
本文章内容不定时更新每一条内容都与隔壁Python进行对比 Python常用的基本操作 1、查看字符串类型 scala> val a = 22 a: Int =…
Python常用的基本操作（同Scala对比）
本文章内容不定时更新每一条内容都与隔壁Scala进行对比 Scala常用的基本操作 1、查看字符串类型 >>> a = 22 >>> type(a) 2、字符串…
符合语言习惯的Python优雅编程技巧
Python最大的优点之一就是语法简洁，好的代码就像伪代码一样，干净、整洁、一目了然。要写出 Pythonic（优雅的、地道的、整洁的）代码，需要多看多学大牛们…
CentOS7.5编译python3
Linux下大部分系统默认自带python2.x的版本，最常见的是python2.6或python2.7版本，默认的python被系统很多程序所依赖，比如cen…