Listener EventLoggingListener threw an exception java.io.IOException

2018年7月11日 68 次阅读 0 条评论

问题来源

最近在做实时流计算,Coding过程中需要对写入到Redis中的数据进行Dump,经过综合考量决定采用Spark Core进行数据操作,并将结果数据Dump到HDFS上。Spark程序操作HDFS的工具类中,手动获取了FileSystem,执行完HDFS相关操作后对FileSystem进行close:

本来是标准资源释放流程,但是却抛出了一个大大的异常:

解决方法

由于Spark程序是以Spark-On-Yarn模式运行,Spark会把job日志是写在HDFS上。他们使用的是同一个FileSystem,从而导致异常。将fs.close()去掉就会恢复正常。

标签:
最后编辑:2018年7月11日

w3sun

We live, we love, we lie.......

发表评论

在发表评论前请确认您的言论中没有违反中国各项法律、法规和违背社会道德的内容。任何无意义的留言内容都会被直接删除。

This site uses Akismet to reduce spam. Learn how your comment data is processed.