Listener EventLoggingListener threw an exception java.io.IOException

2018年7月11日 0 条评论 4.71k 次阅读 2 人点赞

问题来源

最近在做实时流计算,Coding过程中需要对写入到Redis中的数据进行Dump,经过综合考量决定采用Spark Core进行数据操作,并将结果数据Dump到HDFS上。Spark程序操作HDFS的工具类中,手动获取了FileSystem,执行完HDFS相关操作后对FileSystem进行close:

本来是标准资源释放流程,但是却抛出了一个大大的异常:

解决方法

由于Spark程序是以Spark-On-Yarn模式运行,Spark会把job日志是写在HDFS上。他们使用的是同一个FileSystem,从而导致异常。将fs.close()去掉就会恢复正常。

勇敢,和生活的艰难无关。

文章评论(0)