Spark History Server配置、启动、spark运行环境优化分析

阿里 阅读:141 2021-11-06 11:06:49 评论:0
本文章主要介绍了Spark History Server配置、启动、spark运行环境优化,具有不错的的参考价值,希望对您有所帮助,如解说有误或未考虑完全的地方,请您留言指出,谢谢!

Spark History Server配置

(1)spark history server查看运行完成的作业信息和日志

(2)配置Hadoop的yarn-site.xml文件,所有节点配置文件同步,重启yarn

<property>

    <name>yarn.log.server.url</name>

    <value>http://node02:19888/jobhistory/logs</value>

    <description>Yarn JobHistoryServer访问地址</description>

</property>

(3)修改spark安装包conf目录下的spark-defaults.conf(如果没有该文件,通过spark-defaults.conf.template模板复制一个),spark history server在192.168.137.100节点启动,spark_logs这个目录需要在HDFS上提前创建

spark.yarn.historyServer.address=192.168.137.100:18080

spark.history.ui.port=18080

spark.eventLog.enabled=true

spark.eventLog.dir=hdfs://spark_logs

spark.history.fs.logDirectory=hdfs:///spark_logs

Spark History Server启动

(1)启动Spark History Server

sbin/start-history-server.sh

(2)Spark History Server访问地址

http://192.168.137.100:18080

(3)Spark History Server使用

Spark运行环境优化

将spark系统jar包上传到HDFS上,直接使用HDFS上的文件

(1)在spark安装目录下运行:jar cv0f spark-libs.jar -C jars/ .

(2)将spark安装目录下生成的spark-libs.jar上传到HDFS上的/system/spark(需要手动创建)目录下

hadoop fs -put spark-libs.jar /system/spark

(3)修改spark安装包conf目录下spark-defaults.conf配置文件添加spark-libs.jar在HDFS上的路径

spark.yarn.archive=hdfs:///system/spark/spark-libs.jar


标签:Spark
声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

发表评论
搜索
KIKK导航

KIKK导航

排行榜
关注我们

一个IT知识分享的公众号