前期:已安装好hadoop集群和spark集群,hadoop2.6.5,spark2.3.1,jdk1.8. scala2.1.0


第一步:在idea编写scala程序,并且要打包(pom文件的build标签中配置好maven打包代码,可以定义主类也可以在提交的时候再定义){补充:可以在spark本地调试程序,新建一个application,添加代码主类,program
arguments可以添加传入的参数}

maven打包在:veiw-->Tool Windows-->Maven Projects打开窗口 点击clean,再点击package打好jar包

 

第二步:启动hadoop和spark集群,将数据传到hdfs上。

第三步:将打好的jar包上传到集群上,使用spark-submit提交任务

           
spark-submit --class wang.SparkWC --executor-memory 512m
--total-executor-cores 2 /root/Download/SparkTest-1.0-SNAPSHOT.jar
hdfs://wang-one/user/data/in.txt/ hdfs://wang-one/user/output
spark-submit    //提交

--class wang.SparkWC  //指定代码的主类入口 

--executor-memory 512m  //申请的内存大小

--total-executor-cores 2  //申请的cpu核数

/root/Download/SparkTest-1.0-SNAPSHOT.jar //指定提交代码jar包位置  

hdfs://wang-one/user/data/in.txt/ 
//数据存放位置。hdfs://wang-one/是在core-site.xml配置的,一般都会指定在9000端口。

hdfs://wang-one/user/output  //数据的输出位置。

第四步:使用hadoop fs -ls -R /查看hdfs文件目录  有user/output/_SUCCESS表示运行成功。可以使用hadoop fs
-cat /user/output/p*查看输出内容 

代码,jar包,数据和链接:https://download.csdn.net/download/cuicanxingchen123456/10754836
<https://download.csdn.net/download/cuicanxingchen123456/10754836>