Python向hdfs写入文件与hadoop命令向hdfs写入文件

首先需要安装pyhdfs，可用如下命令安装

pip install pyhdfs

首先我们如果先用hadoop原生命令来操作hdfs（分布式文件系统）上传文件。
命令如下

hadoop fs -put /home/hadoop1/software/data/two.txt /

其中-put上传，本地路径/home/hadoop1/software/data/two.txt，上传在HDFS的路径是 /

使用Python来操作hdfs写入文件的代码为

from pyhdfs import HdfsClient
client = HdfsClient(hosts='hadoop1:50070',user_name='root')
client.copy_from_local('/home/hadoop1/software/data/one.txt','/1')#本地文件绝对路径,HDFS目录必须不存在

其中hosts的参数为hdfs的url。user_name是本机的用户可以使用hadoop的用户。copy_from_local的第一个参数为本地路径。第二个参数为HDFS的路径，且这个路径不能已经存在。
Python读hdfs

from pyhdfs import HdfsClient
client=HdfsClient(hosts='hadoop1:50070')#hdfs的主机用户名和端口
res=client.open('/two.txt')#hdfs文件路径,从根目录计
for r in res:
 line=str(r,encoding='utf8')#open后是二进制,str()转换为字符串
 print(line)

Python创建新文件

from pyhdfs import HdfsClient
client = HdfsClient(hosts='hadoop1:50070',user_name='root')
str='666'
client.create('/py.txt',str)#创建新文件，写入字符串

部分参考Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作