logging之在 PySpark 中禁用 INFO 日志记录

我已经编辑了 log4j.properties 文件以设置 log4j.rootCategory=INFO, console 并且日志记录在 spark-shell 中停止但它在 pyspark 中是不屈不挠的.

下面的代码在 pyspark 中为我工作。但是我每次打开 pyspark 控制台时都需要设置它。

logger = sc._jvm.org.apache.log4j 
logger.LogManager.getLogger("org").setLevel( logger.Level.OFF ) 
logger.LogManager.getLogger("akka").setLevel( logger.Level.OFF ) 

我正在寻找此问题的永久修复方法，并想了解 pyspark 如何单独获取默认属性，而 spark-shell 却没有。我检查过this线程，但找不到解决方案。