spark-sql使用hive的自定函数配置

2022年9月16日09:14:27

1、spark-sql可以直接使用hive的自定义函数，而不需要重新写一套spark-sql的自定义函数，这里较大家一个简单的配置方式即可

2、将hive的自定义函数jar拷贝到/usr/lib/spark-current/jars，我们的jar是先存在oss，所以用下面的命令，

 osscmd get --host=oss-cn-hangzhou-internal.aliyuncs.com --id=accessid --key=accesskey  oss://bigdata-cps-test/hive-udx-0.2-jar-with-dependencies.jar  /usr/lib/spark-current/jars/hive-udx-0.2-jar-with-dependencies.jar

3、创建自定义函数

DROP FUNCTION IF EXISTS call_tree_pattern;
CREATE FUNCTION call_tree_pattern AS 'com.xx.gateway.elastic.udf.xxxUDF';

4、如果我们的项目从hsql迁移到spark-sql，就可以很平滑的把自定函数迁移过来了

  • 作者：明喆_sama
  • 原文链接：https://blog.csdn.net/u010848845/article/details/106768364
    更新时间：2022年9月16日09:14:27 ，共 507 字。