dask使用kerberos认证读取hive数据库
1、首先主机需要有KERBEROS客户端，测试kinit命令是否存在；
2、执行
kinit -kt xxx.keytab xxx/zzzz@EXAMPLE.COM
在此之前需要确认xxx.keytab 文件正确，以及/etc/krb5.conf配置文件配置正确
下面是krb5.conf, 以下的配置和代码中的Example需要替换为自己的目标配置
kerberos.example.com 这个配置是hive所在主机的映射名，可在/etc/hosts中配置映射
# Configuration snippets may be placed in this directory as well
includedir /etc/krb5.conf.d/
[logging]
default = FILE:/var/log/krb5libs.log
kdc = FILE:/var/log/krb5kdc.log
admin_server = FILE:/var/log/kadmind.log
[libdefaults]
dns_lookup_realm = false
ticket_lifetime = 24h
renew_lifetime = 7d
forwardable = true
rdns = false
pkinit_anchors = FILE:/etc/pki/tls/certs/ca-bundle.crt
# default_realm = EXAMPLE.COM
# default_ccache_name = KEYRING:persistent:%{uid}
[realms]
# EXAMPLE.COM = {
# kdc = kerberos.example.com
# admin_server = kerberos.example.com
# }
[domain_realm]
# .example.com = EXAMPLE.COM
# example.com = EXAMPLE.COM
3、
con = "hive://ipaddr:10000/database?auth=KERBEROS&kerberos_service_name=hive"
ipaddr是远程hive数据库主机地址，database是要连接的数据库名；
这里设置auth=KERBEROS 使用kerberos方式连接hive数据库，不需要密码，但是需要keytab认证文件，设置kerberos_service_name=hive
4、使用sqlalchemy构建sql查询语句
from sqlalchemy import Column, MetaData, Table, text
from sqlalchemy.sql import select
metadata = MetaData()
columns = "col1,col2,col3,col4"
li = [Column(col) for col in columns.split(",")]
print(*li)
t = Table('tableName', metadata,
*li,
schema='databaseName')
s = select([t]).where(text("col2>4"), text("col3>5")).limit(2)
dask的read_sql_table方法要么就是进行整表查询
5、使用krbcontext模块进行认证并进行数据读取
principal = "xxx/zzzz@EXAMPLE.COM"
keytab_path = "./xxx.keytab"
from krbcontext import krbcontext
with krbcontext(using_keytab=True, principal=principal, keytab_file=keytab_path):
df = dd.read_sql_table(s, con, index_col="col1")
有个依赖包需要sasl，这个包在linux上使用conda能够正常安装，在windows上可能会因为缺少一些不确定的东西而装不上，在linux上直接conda install sasl即可。
