1. 目标
- 通过hadoop hive或spark等数据计算框架完成数据清洗后的数据在HDFS上
- 爬虫和机器学习在Python中容易实现
- 在Linux环境下编写Python没有pyCharm便利
- 需要建立Python与HDFS的读写通道
2. 实现
- 安装Python模块pyhdfs
- 版本:Python3.6, hadoop 2.9
读文件代码如下
from pyhdfs import HdfsClient
client=HdfsClient(hosts='ghym:50070')
res=client.open('/sy.txt')
for r in res:
line=str(r,encoding='utf8')
print(line)
写文件代码如下
from pyhdfs import HdfsClient
client=HdfsClient(hosts='ghym:50070',user_name='hadoop')#只有hadoop用户拥有写权限
str='hello world'
client.create('/py.txt',str)#创建新文件并写入字符串
上传本地文件到HDFS
from pyhdfs import HdfsClient
client = HdfsClient(hosts='ghym:50070', user_name='hadoop')
client.copy_from_local('d:/pydemo.txt', '/pydemo')
3. 读取文本文件写入csv
- Python安装pandas模块
- 确认文本文件的分隔符
from pyhdfs import HdfsClient
client = HdfsClient(hosts='ghym:50070', user_name='hadoop')
inputfile=client.open('/int.txt')
import pandas as pd
df=pd.read_table(inputfile,encoding='gbk',sep=',')
df.to_csv('demo.csv',encoding='gbk',index=None)