Spark-submit提交任务到集群

2022年6月9日09:25:44

1 IDEA 打包

示例代码参考AMPCamp2015之SparkSQL,开发环境使用idea。首先需要将程序打包成jar
Spark-submit提交任务到集群

选择project structure --》artifacts ,由于集群已经有了运行依赖的jar包,打包时可以将这些jar包排除出去,以减小打包后的jar包的大小。
Spark-submit提交任务到集群

点击ok,然后选择build --》build artifacts,SparkSQLTest --》build,然后在工程目录的子目录下会生成j对应的jar文件:
Spark-submit提交任务到集群

2 提交任务

首先启动集群,然后客户端来到spark-submit目录:/app/hadoop/spark131/bin
Spark-submit提交任务到集群

spark-submit通过命令行的方式提交任务,具体参数信息如下参考
Spark-submit提交任务到集群

提交示例如下:
Spark-submit提交任务到集群

在命令行输入如下命令:
./spark-submit  --class SparkSQLTest --master spark:hadoop1:7077 --executor-memory 2g --num-executors 3  /home/kaiseu/MyProject/IdeaProjects/SparkProject/Saprk131/out/artifacts/SparkSQLTest_jar/SparkSQLTest.jar

Spark-submit提交任务到集群

在web监控界面可以看到:

Spark-submit提交任务到集群

3 运行结果

结果如下:
Spark-submit提交任务到集群


  • 作者:kaiseu
  • 原文链接:https://blog.csdn.net/Kinger0/article/details/46562473
    更新时间:2022年6月9日09:25:44 ,共 553 字。