自定义UDF函数,从hive保存到mongodb

如题所述

第1个回答  2022-06-03

(可以通过idea工具调试UDF函数,第二步中会提供参考)

1、首先是pom.xml文件

2、关于mongo的Helper类

3、自定义函数MongoStorageHandler入口类

准备工作: 先将编写好的UDF函数jar包以及相关的依赖包上传服务器(windows下可选择WinSCP工具),比如:UDF函数上传到了/home/username/tmp目录下,依赖包在/home/username/tmp/lib下
1、在idea中配置Remote Configurations(如图一所示):

2、启用hive的debug模式:
hive --debug

3、此时正在监听8000端口(Listening for transport dt_socket at address: 8000),在idea中启动配置好的Remote的Debug模式;
4、输入以下命令,自定义函数名(sign_func):

5、调用自定义函数sign_func:

OK,去mongodb查询一下数据是否存入mongo库。