eclipse创建maven管理Spark的scala以及eclipse的Maven配置

Scala admin 2年前 (2018-10-12) 473次浏览 1个评论 扫描二维码

说明,由于spark是用scala写的。因此,不管是在看源码还是在写spark有关的代码的时候,都最好是用scala。由于我个人以前是纯粹的Pythoner,一直使用的都是PyCharm,然而最近换了新工作后,由于各种原因,要么使用付费软件,要么使用免费软件,所以,我被迫选择了eclipse以及scala进行spark程序的开发。既然无法拒绝,那就好好享受,下面就为您介绍一下eclipse + Maven + Scala + Spark的开发以及编译。
首先,Maven的环境配置我就不多说了,很简单 Maven的安装以及配置,window以及linux

一、eclipse的下载安装

关于,java、scala之类的环境我就不做过多介绍了
做多了之后,你会发现,安装环境基本都是下载官方包,解压,然后配置环境变量。
由于是第一次使用eclipse,说实话不是特别熟悉,为了简化操作,我直接使用了scala官方的IDE,也是完全免费的
https://scala-ide.org/
直接下载Scala For Eclipse的IDE即可
这个工具,scala的插件都是设置好的,解压后直接使用就可以了

二、如何用maven工程写scala的代码

往往在创建maven工程的时候,会没有scala-archetype-simple的模型,因此需要手动添加自定义的catalog,添加的方法就是如下所示:

步骤:window-->preferences--->maven--->Archetype 接下来的操作如下图所示:

网址:https://repo1.maven.org/maven2/archetype-catalog.xml

接下来我们就来创建一个scala的maven项目

点击next之后,我们主要填写一下三个参数:

groupId

定义了项目属于哪个组,举个例子,如果你的公司是mycom,有一个项目为myapp,那么groupId就应该是com.mycom.myapp

artifacted
定义了当前maven项目在组中唯一的ID,比如,myapp-util,myapp-domain,myapp-web等。

version
指定了myapp项目的当前版本,SNAPSHOT意为快照,说明该项目还处于开发中,是不稳定的版本。

设置完毕之点击next,基本就看到Eclipse开始下载环境了,下载完毕我们就能看到如下的项目结构了,为了方便快速运行起来,我这里删除了test下的程序

同时也删除了pom.xml中的测试依赖

至此,我们已经可以运行scala程序了

三、配置本地Maven到Eclipse中

我们在第一步中配置了Archetype下的Catalog
1、配置Maven的安装目录到Eclipse上
在这一步中,我们要配置本地Maven到Eclipse中
步骤:window-->preferences--->maven--->Installations 接下来的操作如下图

2、配置Maven的settings.xml到Eclipse上
步骤:window-->preferences--->maven--->User Settings


codeobj , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:eclipse创建maven管理Spark的scala以及eclipse的Maven配置
喜欢 (0)
[a37free@163.com]
分享 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(1)个小伙伴在吐槽
  1. 好文章!666,学习了