我想使用PySpark创建spark数据帧,为此我在PyCharm中运行了这段代码:
from pyspark.sql import SparkSession
Spark_Session:SparkSession.builder\
.enableHiveSupport()\
.master("local"\
.getOrCreate()
但是,它会返回此错误:
使用Spark的默认log4j配置文件:org / apache / spark / log4j-defaults.properties将默认日志级别设置为“WARN” . 要调整日志记录级别,请使用sc.setLogLevel(newLevel) . 对于SparkR,请使用setLogLevel(newLevel) . 18/01/08 10:17:55 WARN NativeCodeLoader:无法为你的平台加载native-hadoop库...使用builtin-java类适用18/01/08 10:18:14 WARN ObjectStore:无法获取数据库global_temp,返回NoSuchObjectException
我该如何解决这个问题?
1 回答
你在哪里运行这个?是否安装了Hadoop?好像Spark无法找到它:
Unable to load native-hadoop library for your platform... using builtin-java classes
. 您需要确保提供正确的库 . 在Spark UI中,您可以检查上下文 .尝试:
这应该工作 .