maven pom整理

1、hadoop=2.6.0-cdh5.12.0<>scalikejdbc=2.5.2<>hive-exec=1.1.0-cdh5.12.0 &lt…

Spark Streaming的maven配置pom.xml

不多说,直接查询相关的内容 https://mvnrepository.com/search?q=spark 我们可以看到很多常见的东西,spark-core,…

使用mvn的maven-assembly-plugin对项目进行全量打包

只需要在在中添加以下代码即可,编译时就会对项目进行全量打包 <plugin> <groupId>org.apache.maven.plu…

使用Scala制造数据,以便使用Spark进行数据分析

1、这里做了三个字段 URL 时间 流量 分别针三个字段做了不同的异常情况 数据内容 https://www.cnblogs.com/AK47Sonic/?us…

Scala隐式转换和偏函数

1、隐式转换 package com.study.bigdata.scala_task import java.io.File import scala.io.…

使用Scala实现WordCount的两种写法

1、这里使用了两种方式 WordCount.scala package com.study.bigdata.scala_task import scala.io…

Scala构造器(主构造器与附属构造器)

object ConstructorApp { def main(args: Array[String]): Unit = { val person = new…

Scala fastjosn字符串转json异常syntax error, expect {, actual [, pos 0 at

数据转换的是件比较费事的事情,数据之间相互解析和转换,只想说费时间,今天跟大家分享下,json格式转换成javaBean类报如下错误: syntax error…

使用java或者scala进行hdfs访问以及python访问hdfs的使用对比

1、python的hdfs3进行hdfs的操作 文章: python使用hdfs3模块对hdfs进行操作 2、idea配置source root和junit使用…

eclipse创建maven管理Spark的scala以及eclipse的Maven配置

说明,由于spark是用scala写的。因此,不管是在看源码还是在写spark有关的代码的时候,都最好是用scala。由于我个人以前是纯粹的Pythoner,一…

Scala常用代码

1001、不使用List创建一个List Nil 是一个空列表

Scala常用的基本操作(同Python对比)

本文章内容不定时更新每一条内容都与隔壁Python进行对比 Python常用的基本操作 1、查看字符串类型 scala> val a = 22 a: Int =…