Spark Driver与Executor端添加调试信息

2019年4月10日 0 条评论 586 次阅读 0 人点赞

前言

由于Spark应用程序本身运行在JVM上运行,因此--verbose和--verbose:class选项都是可用的。--verbose会在输出设备上显示Java虚拟机运行的相关信息和Spark配置的详细信息,——verbose:class选项显示Driver和Executor加载的类。这些调试选项可以帮助用户在Driver和Executor端识别某些class类路径冲突。

适用环境

Spark 2.0, Apache Spark, Spark 2.1, Spark 2.x

配置方法

如果想要列出运行Java程序时JVM加载类的详细信息可以使用——verbose选项,该选项将输出一个列表且列表中包含了类加载器加载的所有类。使用——verbose:class选项的示例代码如下:

登陆到YARN Web UI上,从Driver和Executor的stdout可以看到类加载的详细信息:

启动spark-shell或者使用spark-submit运行Spark程序时可以启用--verbose选项。--verbose选项添加以后将会输出细粒度的调试信息,例如Spark程序中各配置选项和相关class的加载位置。

命令行执行完毕后会打印出以下信息:

 

 

勇敢,和生活的艰难无关。

文章评论(0)