- spark streaming 如果以local 模式运行，log日志非常清晰。
- 如果log 日志是运行在yarn 模式下，driver 的日志可以通过reource manager 日志看到。但是executor的日志却看不到，我们常常毛病都产生在executor里，比如典范的毛病：如果我们衔接hbase去存取数据的话，我们会在driver里初始化了衔接，缺疏忽的excutors里，致使程序出错。如果你的代码里有try cache，executor的 毛病不会影响driver 运行，但是成果却是毛病的。我们这须要查看executor的日志：由于executor运行在yarn 的模式下，我们从本地containner查看日志。 CDH 版本yarn container 的日志再以下路径下：如果log 日
阅读背景：
spark streaming 调试技巧
来源：互联网
分享到：
