maven pom整理

maven pom整理
1、hadoop=2.6.0-cdh5.12.0<>scalikejdbc=2.5.2<>hive-exec=1.1.0-cdh5.12.0 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-insta……继续阅读 »

admin 2年前 (2019-03-05) 147浏览 0评论 0个赞

Spark Streaming的maven配置pom.xml

Spark Streaming的maven配置pom.xml
不多说,直接查询相关的内容 https://mvnrepository.com/search?q=spark 我们可以看到很多常见的东西,spark-core,spark-sql,spark-streaming等等 点开这些链接进入到版本列表界面,选择自己需要的配置 spark-core spark-streaming 这里就不一一说明了,下面我直接列……继续阅读 »

admin 2年前 (2019-01-12) 264浏览 0评论 0个赞

eclipse创建maven管理Spark的scala以及eclipse的Maven配置

eclipse创建maven管理Spark的scala以及eclipse的Maven配置
说明,由于spark是用scala写的。因此,不管是在看源码还是在写spark有关的代码的时候,都最好是用scala。由于我个人以前是纯粹的Pythoner,一直使用的都是PyCharm,然而最近换了新工作后,由于各种原因,要么使用付费软件,要么使用免费软件,所以,我被迫选择了eclipse以及scala进行spark程序的开发。既然无法拒绝,那就好好享受,……继续阅读 »

admin 2年前 (2018-10-12) 260浏览 1评论 0个赞