pyspark.sql.utils.IllegalArgumentException: "Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder


如果碰到这个错误,请把你程序所在目录下的metastore_db和spark-warehouse文件夹删除,即可解决问题。


问题出现原因:

metastore_db和当前运行的spark,hadoop版本不一致,删除后运行你的pyspark程序会自动生成新的metastore_db和spark-warehouse

pyspark.sql.utils.IllegalArgumentExceptionError while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder