关于Dremio添加新数据源、扩展类型及JDBC连接Hive的技术问询
关于Dremio数据源的几个常见问题解答
1. 如何在Dremio中添加新数据源?
添加官方支持的数据源流程很清晰,跟着这几步走就行:
- 登录Dremio Web UI,从左侧导航栏找到「数据源」入口进入
- 点击页面右上角的
+ 添加数据源按钮,会弹出所有官方支持的数据源类型列表 - 选中你需要的类型(比如MySQL、AWS S3、Hive等),然后填写对应的连接参数:
- 关系型数据库需要提供主机地址、端口、目标数据库名、认证用的用户名和密码
- 对象存储类的话要填访问密钥、存储桶路径、区域信息这类
- 填完参数后记得点「测试连接」验证连通性,没问题就点「保存」完成添加
2. 如何添加列表外的新数据源类型?能否添加其他关系型数据库?
当然可以扩展,分两种情况处理:
- 对于支持JDBC的关系型数据库:
- 优先试试Dremio的「通用JDBC数据源」选项(在数据源列表里找),上传对应数据库的JDBC驱动JAR包,然后填写JDBC URL、用户名密码就能完成连接,这种方式不需要开发,适合快速接入
- 如果通用JDBC的性能或功能满足不了需求,比如需要优化查询推下逻辑,可以基于Dremio的插件开发框架自定义数据源插件,这需要一点Java开发基础,照着官方的插件开发指南来就行
- 非关系型或其他特殊数据源:可以找找社区有没有现成的第三方插件,或者自己基于Dremio的扩展API开发定制插件
3. 能否把Hive的metastore连接改为JDBC连接?
完全可以,Dremio支持两种连接Hive的方式:
- 如果你当前用的是Hive Metastore模式,想切换到JDBC的话,直接在添加数据源时选择「Hive JDBC」类型(不要选默认的Hive Metastore)
- 然后填写HiveServer2的JDBC URL(格式一般是
jdbc:hive2://<HiveServer2主机>:<端口>/)、认证信息,测试连接通过后保存即可 - 注意要确保HiveServer2服务处于运行状态,且Dremio服务器能访问到对应的端口
内容的提问来源于stack exchange,提问作者Rahul




