eclipse创建maven管理Spark的scala以及eclipse的Maven配置

说明,由于spark是用scala写的。因此,不管是在看源码还是在写spark有关的代码的时候,都最好是用scala。由于我个人以前是纯粹的Pythoner,一直使用的都是PyCharm,然而最近换了新工作后,由于各种原因,要么使用付费软件,要么使用免费软件,所以,我被迫选择了eclipse以及scala进行spark程序的开发。既然无法拒绝,那就好好享受,下面就为您介绍一下eclipse + Maven + Scala + Spark的开发以及编译。
首先,Maven的环境配置我就不多说了,很简单 Maven的安装以及配置,window以及linux

一、eclipse的下载安装

关于,java、scala之类的环境我就不做过多介绍了
做多了之后,你会发现,安装环境基本都是下载官方包,解压,然后配置环境变量。
由于是第一次使用eclipse,说实话不是特别熟悉,为了简化操作,我直接使用了scala官方的IDE,也是完全免费的
https://scala-ide.org/
直接下载Scala For Eclipse的IDE即可
这个工具,scala的插件都是设置好的,解压后直接使用就可以了

二、如何用maven工程写scala的代码

往往在创建maven工程的时候,会没有scala-archetype-simple的模型,因此需要手动添加自定义的catalog,添加的方法就是如下所示:

步骤:window–>preferences—>maven—>Archetype 接下来的操作如下图所示:

网址:https://repo1.maven.org/maven2/archetype-catalog.xml

接下来我们就来创建一个scala的maven项目

点击next之后,我们主要填写一下三个参数:

groupId

定义了项目属于哪个组,举个例子,如果你的公司是mycom,有一个项目为myapp,那么groupId就应该是com.mycom.myapp

artifacted
定义了当前maven项目在组中唯一的ID,比如,myapp-util,myapp-domain,myapp-web等。

version
指定了myapp项目的当前版本,SNAPSHOT意为快照,说明该项目还处于开发中,是不稳定的版本。

设置完毕之点击next,基本就看到Eclipse开始下载环境了,下载完毕我们就能看到如下的项目结构了,为了方便快速运行起来,我这里删除了test下的程序

同时也删除了pom.xml中的测试依赖

至此,我们已经可以运行scala程序了

三、配置本地Maven到Eclipse中

我们在第一步中配置了Archetype下的Catalog
1、配置Maven的安装目录到Eclipse上
在这一步中,我们要配置本地Maven到Eclipse中
步骤:window–>preferences—>maven—>Installations 接下来的操作如下图

2、配置Maven的settings.xml到Eclipse上
步骤:window–>preferences—>maven—>User Settings

打赏 赞(0)

为您推荐

发表评论

电子邮件地址不会被公开。 必填项已用*标注

1条评论