python向hive插入数据遇到的坑

2023年1月21日08:25:50

python向hive插入数据遇到的坑

因项目需求,应用python建模需要通过hive取数,并将结果写入hive表。
尝试了以下几条坑爹路,仅做记录如下:

  1. 通过impyla库搭建hive与python桥梁
    1.1 环境配置的坑(回头放连接)
    注: 远程访问hive一定要记得配置账号密码!!!报错:。。。-4.。。
    1.2 一定不要用impyla中的executemany去批量插入数据,也不要用其他的方式向hive插入数据,都是坑!奇慢无比!找资料也都是说不建议这么做。

  2. 长途跋涉hdfs法
    2.1 先用python的pyhdfs库将结果写成hdfs文件,然后。。。尼玛!!根本没成功连上服务器的hdfs,本地hdfs到是可以的
    2.2 那既然写hdfs,我就直接将模型结果通过hadoop/hdfs命令上传至hdfs。然后, 通过hive命令load data将hdfs中的结果再导入hive。虽然有点绕,但是成功了!!!BUT!!!小兄弟,这个直接操作HDFS风险太高了,要不你还是另寻他法吧,不可以拒绝哦!!!
    2.3 好吧,根据建议,使用kafka,抱歉这个坑后面再来踩。
    2.4 临时处理方案:先将结果写入mysql,再转入hive,这个没有坑,具体我也只是写到mysql,无坑。。就是有点绕。。。

  • 作者:何宇凡
  • 原文链接:https://blog.csdn.net/hyf_c/article/details/82790989
    更新时间:2023年1月21日08:25:50 ,共 560 字。