eclipse搭建scala语言的spark环境

在eclipse上搭建使用Scala IDE 和 Maven 的 Spark 项目。

系统:OS X EI Capitan 10.11.4
Eclipse: Mars.2
要确定eclipse为Java环境 (JDK6,JDK7 or JDK8)

安装scala IDE plugin

最简单的方法直接在scala官网下载IDE,scala IDE

如果在现有的eclipse上加入scala插件,在这里找到最新的插件版本

eclipse->Help->Install New Software
在work with栏里输入路径:

1
http://download.scala-ide.org/sdk/lithium/e44/scala211/stable/site

选择全部安装

安装完成后会自动弹出或者通过菜单栏进入scala->Run Setup Diagnostics,勾选Use recommended default settings 并将 eclipse.ini中heap size 设置为1280M(-Xmx1280M)。如果不设置会出现outof memory 的报错。

这时已经可以运行scala的项目了。如果要运行spark项目还需要maven进行项目管理。

安装scala maven管理插件,不必须

默认的maven插件是不包括m2eclipse-scala的,若果没有,在eclipse->Help->Install New Software下输入:

1
http://alchim31.free.fr/m2e-scala/update-site/

安装全部

建立maven项目

新建maven项目,在pom中配置:

1
2
3
4
5
6
7
8
9
10
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.5.2</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.6.0</version>
</dependency>

注意由于要在EMR上运行程序,所以版本号选择与EMR上版本号一致。

右键项目->configure,选择引入scala环境,这时会看到编译错误
右键项目->properties->Scala Compiler->Use Project Settings->Fixe Scala Installation:2.10.6

这时scala语言的spark全部搭建完成,在src下新建scala对象便可以写自己的程序了。这时可以把java改为scala了。

视频资料:https://www.youtube.com/watch?v=aB4-RD_MMf0