1、hadoop=2.6.0-cdh5.12.0<>scalikejdbc=2.5.2<>hive-exec=1.1.0-cdh5.12.0
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-insta……继续阅读 »
admin
3年前 (2019-03-05) 798浏览 0评论
0个赞
不多说，直接查询相关的内容
https://mvnrepository.com/search?q=spark
我们可以看到很多常见的东西，spark-core,spark-sql,spark-streaming等等
点开这些链接进入到版本列表界面，选择自己需要的配置
spark-core
spark-streaming
这里就不一一说明了，下面我直接列……继续阅读 »
admin
3年前 (2019-01-12) 1203浏览 0评论
0个赞
只需要在在中添加以下代码即可，编译时就会对项目进行全量打包
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<conf……继续阅读 »
admin
3年前 (2018-12-24) 1166浏览 0评论
0个赞
1、这里做了三个字段
URL 时间 流量
分别针三个字段做了不同的异常情况
数据内容
https://www.cnblogs.com/AK47Sonic/?username=03985 [2018-12-16 16:41:49] 63
https://www.baidu.com/ [2018-12-16 17:46:34 21
http:/……继续阅读 »
admin
3年前 (2018-12-12) 915浏览 0评论
0个赞
1、隐式转换
package com.study.bigdata.scala_task
import java.io.File
import scala.io.Source
import ImplicitAspect._
object ImplicitApp {
def main(args: Array[String]) {
impli……继续阅读 »
admin
3年前 (2018-12-10) 813浏览 0评论
0个赞
1、这里使用了两种方式
WordCount.scala
package com.study.bigdata.scala_task
import scala.io.Source
object WordCount {
def main(args: Array[String]): Unit = {
val c = WordCountObj()
……继续阅读 »
admin
3年前 (2018-12-10) 911浏览 0评论
3个赞
object ConstructorApp {
def main(args: Array[String]): Unit = {
val person = new Person("zuoze",30)
//new 的时候其实就是调用的构造方法
println(person.name + "," + person.age + "," ……继续阅读 »
admin
3年前 (2018-12-08) 982浏览 0评论
0个赞
数据转换的是件比较费事的事情，数据之间相互解析和转换，只想说费时间，今天跟大家分享下，json格式转换成javaBean类报如下错误：
syntax error, expect {, actual [, pos 0
com.alibaba.fastjson.JSONException: syntax error, expect {, actual [, p……继续阅读 »
admin
3年前 (2018-11-21) 1797浏览 0评论
3个赞
1、python的hdfs3进行hdfs的操作
文章：
python使用hdfs3模块对hdfs进行操作
2、idea配置source root和junit使用
当我们在idea中创建一个package时，需要将package设置为source root
添加junit测试依赖
<dependency>
<groupId>j……继续阅读 »
admin
3年前 (2018-11-07) 666浏览 0评论
0个赞
说明，由于spark是用scala写的。因此，不管是在看源码还是在写spark有关的代码的时候，都最好是用scala。由于我个人以前是纯粹的Pythoner，一直使用的都是PyCharm，然而最近换了新工作后，由于各种原因，要么使用付费软件，要么使用免费软件，所以，我被迫选择了eclipse以及scala进行spark程序的开发。既然无法拒绝，那就好好享受，……继续阅读 »
admin
3年前 (2018-10-12) 1484浏览 1评论
0个赞
