pip install hdfs
python readhdfsディレクトリまたはファイル
import hdfs
client =hdfs.Client("http://10.10.1.4:50070")
fileDir="/user/hive/warehouse/house.db/dm_house/dt=201800909"try:
status=client.status(fileDir,False)if status:print(status)
rst=client.download(fileDir,"/home/dev/gewei")print(rst)
exception Exception as e:print(e)
**補足知識：python **でhdfsにアクセスすると、Webhdfsが見つかりません
webhdfsサービスがオンになっていない可能性があります
hdfs-site.xmlファイルに属性を追加します。
< property
< name dfs.webhdfs.enabled</name
< value true</value
< /property
次のコマンドを使用して、以下を検出できます。
ディレクトリのリストを取得します：
curl -i “http://Hadoop:50070/webhdfs/v1/?user.name=hadoop&op=LISTSTATUS”
上記のpythonaccess hdfsの操作は、エディターによって共有されるすべてのコンテンツです。参考にしてください。
Recommended Posts