程序员开发实例大全宝库

网站首页 > 编程文章 正文

数据分析开发平台搭建完整版:搭建数据分析平台第十八篇

zazugpt 2024-10-14 20:16:18 编程文章 17 ℃ 0 评论

(1)jdk,下载最新版本安装配置好环境变量即可。


(2)spring tool suite(也可以是eclipse 或 SBT)

下载后解压即可,找到STS可执行文件发送到桌面。

(3)加载IDE插件:编写mr或者spark的工程是需要有插件的

hadoop-eclipse-plugin-2.6.0

将jar包放到sts-bundle\sts-3.8.1.RELEASE\dropins目录下即可。

(4)maven安装配置,使用maven进行项目管理

maven3.3.3

解压后配置环境变量即可。

(5)hadoop包

可以用hadoop-2.6.0版本。

解压后配置环境变量即可

(6)hadoop插件,代码执行过程中依赖hadoop的jar插件,需要单独编译或者下载。

2.6.0版本插件

将hadoop.dll和winutils.ext放到hadoop的bin目录下即可

7)spark包的下载和配置,代码执行依赖spark的 运行环境。

spark-2.2.0-bin-hadoop2.6.tgz

解压后配置环境变量即可

(8)scala 环境安装和配置,代码执行需要依赖scala的配置环境。

scala 2.10.4

解压后配置环境变量即可

(9)scala IDE集成插件

IDE集成环境执行过程中依赖scala插件的相关jar包,需要单独下载相应版本的scala IDE。

将features和plugins目录下的文件放到STS的sts-bundle\sts-3.8.1.RELEASE下的相应目录下即可。

以上完成数据分析的windows开发环境搭建。后面会有专门文章附下载地址。

Tags:

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表