网站首页 > 博客文章 正文
hive版本hive-1.1.2
同事反馈一个客户端使用op无法正常插入数据,SQL如下
hive --hiveconf mapreduce.job.queuename=root.normal_queues.backstage.yfzx.op --hiveconf mapreduce.job.name="client_10.142.97.123:3000420211211:hql##pdwd.pdwd_pf_test2:1:dwarch:20210908_1:xiaoli" -e "insert overwrite table pdwd.pdwd_pf_test2 PARTITION (pt = '20211211')
select path from yfzx.hdfs_fsimage_analyze where dt = '20211212' and ns in ('ns3');"
yfzx.hdfs_fsimage_analyze表是创建在ns2,表pdwd.pdwd_pf_test2是创建在ns3,执行时抛出如下异常:
乍一看,以为是kerberos问题。他怀疑是两个表跨ns导致不能insert的。我做了如下一个测试
insert overwrite table pdwd.pdwd_pf_test2 PARTITION (pt = '20211211') select 'test_path';
执行也是抛出上面的异常,通过这个测试排除跨ns问题导致的。也就是当前op用户写入到ns3就是不行。于是去查看yarn的详细日志,看到的异常信息和上面差不多,但是info信息里发现了如下信息:
我们看到这个info里有ns3和ns4,于是去查看该节点的hive-site配置文件,发现了ns4的踪影,如下
因为这个表是写ns3的,于是把这些配置都改成写入ns3,重新执行上面SQL,SQL成功执行。通过这个问题我们发现,kerberos异常是表象,用kerberos知识去解决是解决不了的,我们要多留意有用的信息。这个确实是跨域导致无法写入,但是不是读表和写表跨域导致的,而是mr执行中间过程跨域导致的,也就是参数hive.exec.scratchdir导致
猜你喜欢
- 2024-10-07 Flink1.10集成Hive快速入门(flink集群)
- 2024-10-07 Spark源码阅读:SparkSession类之spark对象的使用
- 2024-10-07 存储过程转hivesql有哪些注意事项
- 2024-10-07 0277-Impala并发查询缓慢问题解决方案
- 2024-10-07 画像笔记25-用户画像应用(10)-用户行为分析
- 2024-10-07 CASE … WHEN和cast类型转换(日志案例分析应用)
- 2024-10-07 hbase和hive集成映射(hive与hbase集成)
- 2024-10-07 Hive 导数据的两种方案(hive导入)
- 2024-10-07 Hive SQL常用命令总结,大数据开发人员按需收藏
- 2024-10-07 手撕数据仓库之「HQL规范篇」(数据仓库 sql)
你 发表评论:
欢迎- 07-08Google Cloud Platform 加入支持 Docker 的容器引擎
- 07-08日本KDDI与Google Cloud 签署合作备忘录,共探AI未来
- 07-08美国Infoblox与Google Cloud合作推出云原生网络和安全解决方案
- 07-08GoogleCloud为Spanner数据库引入HDD层,将冷存储成本降低80%
- 07-08谷歌推出Cloud Dataproc,缩短集群启动时间
- 07-08Infovista与Google Cloud携手推进射频网络规划革新
- 07-08比利时Odoo与Google Cloud建立增强合作,扩大全球影响力
- 07-08BT 和 Google Cloud 通过 Global Fabric 加速 AI 网络
- 最近发表
-
- Google Cloud Platform 加入支持 Docker 的容器引擎
- 日本KDDI与Google Cloud 签署合作备忘录,共探AI未来
- 美国Infoblox与Google Cloud合作推出云原生网络和安全解决方案
- GoogleCloud为Spanner数据库引入HDD层,将冷存储成本降低80%
- 谷歌推出Cloud Dataproc,缩短集群启动时间
- Infovista与Google Cloud携手推进射频网络规划革新
- 比利时Odoo与Google Cloud建立增强合作,扩大全球影响力
- BT 和 Google Cloud 通过 Global Fabric 加速 AI 网络
- NCSA和Google Cloud合作开发AI驱动的网络防御系统,加强泰国网络空间的安全性
- SAP将在沙特阿拉伯 Google Cloud 上推出BTP服务
- 标签列表
-
- ifneq (61)
- 字符串长度在线 (61)
- googlecloud (64)
- messagesource (56)
- promise.race (63)
- 2019cad序列号和密钥激活码 (62)
- window.performance (66)
- qt删除文件夹 (72)
- mysqlcaching_sha2_password (64)
- ubuntu升级gcc (58)
- nacos启动失败 (64)
- ssh-add (70)
- jwt漏洞 (58)
- macos14下载 (58)
- yarnnode (62)
- abstractqueuedsynchronizer (64)
- source~/.bashrc没有那个文件或目录 (65)
- springboot整合activiti工作流 (70)
- jmeter插件下载 (61)
- 抓包分析 (60)
- idea创建mavenweb项目 (65)
- vue回到顶部 (57)
- qcombobox样式表 (68)
- tomcatundertow (58)
- pastemac (61)
本文暂时没有评论,来添加一个吧(●'◡'●)