专业的编程技术博客社区

网站首页 > 博客文章 正文

生产Spark+Hive会遇见的拦路虎(sparkled是什么意思)

baijin 2024-08-16 11:55:28 博客文章 8 ℃ 0 评论

1.抛错: Unable to instantiate SparkSession with Hive support because Hive classes are not found.

需要先将hadoop的core-site.xml,hive的hive-site.xml拷贝到project中

1.1 测试代码

1.2 报错

1.3 查看源码

1.4 发现找不到HiveSessionStateBuilder

1.5 解决方法

将$HIVEHOME/lib下的spark-hive2.11-2.4.2.jar与spark-hive-thriftserver_2.11-2.4.2.jar添加到project中。

2.继续报错: java.lang.NoSuchFieldError: METASTORECLIENTSOCKET_LIFETIM

2.1 错误

2.2 查看源码

发现ConfVars中定义的变量并没有METASTORECLIENTSOCKET_LIFETIME,而HiveConf.java来自于hive-exec-1.1.0-cdh5.7.0.jar,即证明hive1.1.0中并没有假如该参数。

2.3 解决方法

3.继续报错: Could not connect to meta store

3.1 抛错

3.2 解决方法

这是因为远端没有启动hive造成的,启动hive时需要配置metastore。

$HIVE_HOME/bin/hive --service metastore &

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表