Python读取HDFS Parquet文件及小文件合并指南

Alice

发布时间：2026-10-14 | 4人浏览过

原创

本文介绍Python读取HDFS上Parquet格式数据的多种方案，包括hdfs3、hdfs和pyhdfs库的使用及HA配置。同时提供PySpark中利用coalesce函数合并小文件、优化存储效率的实用代码示例。

Python读取HDFS Parquet文件环境准备

在利用Python进行大数据分析与机器学习建模时，首要步骤通常是获取HDFS中的数据。对于常规数据格式，读取过程较为直接，而Parquet格式因其列式存储特性，处理方式略有不同。除了将文件下载至本地再读取外，Python直接通过代码从HDFS获取Parquet数据也是一种可行方案。

首先，需要配置好Anaconda运行环境。

其次，安装hdfs3库以支持HDFS交互。

conda install hdfs3

接着，安装fastparquet库用于解析Parquet文件。

conda install fastparquet

此外，还需安装python-snappy库以支持数据压缩。

conda install python-snappy

完成上述依赖安装后，即可开始编写代码读取文件。


##namenode mode:
from hdfs3 import HDFileSystem
from fastparquet import ParquetFile
 
hdfs = HDFileSystem(host=IP, port=8020)
sc = hdfs.open
 
pf = ParquetFile(filename, open_with=sc)
df = pf.to_pandas()
 
##返回pandas的DataFrame类型
 
##HA mode:
from hdfs3 import HDFileSystem
from fastparquet import ParquetFile
 
host = "nameservice1"
conf = {
    "dfs.nameservices":"nameservice1",
    ......
}
hdfs = HDFileSystem(host = host, pars = conf)
......

Python访问HDFS的三种常用库

Python访问HDFS高可用（HA）集群有多种实现路径。

目前Python生态中常用于访问HDFS的库主要有三个，具体介绍如下。

第一种方案是使用hdfs3库。

尽管从安装便捷性和使用体验来看，hdfs3并非首选推荐，因为其系统依赖较多且对网络环境要求较高，但在某些特定场景下它仍能提供便利。官方文档提供了更多详细信息。例如，通过IP直接访问NameNode的代码示例如下。


from hdfs3 import HDFileSystem
hdfs = HDFileSystem(host=namenode, port=8020)
hdfs.ls('/tmp')

若需访问HA集群，配置方式有所不同，具体代码可见下方。


host = "nameservice1"
conf = {"dfs.nameservices": "nameservice1",
    "dfs.ha.namenodes.nameservice1": "namenode113,namenode188",
    "dfs.namenode.rpc-address.nameservice1.namenode113": "hostname_of_server1:8020",
    "dfs.namenode.rpc-address.nameservice1.namenode188": "hostname_of_server2:8020",
    "dfs.namenode.http-address.nameservice1.namenode188": "hostname_of_server1:50070",
    "dfs.namenode.http-address.nameservice1.namenode188": "hostname_of_server2:50070",
    "hadoop.security.authentication": "kerberos"
}
fs = HDFileSystem(host=host, pars=conf)
 
##或者下面这种配置
host = "ns1"
conf = {
    "dfs.nameservices":"ns1",
 "dfs.ha.namenodes.ns1":"namenode122,namenode115",
 "dfs.namenode.rpc-address.ns1.namenode122":"nnlab01:8020",
 "dfs.namenode.servicerpc-address.ns1.namenode122":"nnlab01:8022",
 "dfs.namenode.http-address.ns1.namenode122":"nnlab01:50070",
 "dfs.namenode.https-address.ns1.namenode122":"nnlab01:50470",
 "dfs.namenode.rpc-address.ns1.namenode115":"nnlab02:8020",
 "dfs.namenode.servicerpc-address.ns1.namenode115":"nnlab02:8022",
 "dfs.namenode.http-address.ns1.namenode115":"nnlab02:50070",
 "dfs.namenode.https-address.ns1.namenode115":"nnlab02:50470",
}
hdfs = HDFileSystem(host = host, pars = conf)

第二种方案是使用hdfs库。

该库的配置相对简单，且官方文档资料较为丰富。但需注意，该API允许模拟用户访问，因此权限控制较为宽松，使用时需谨慎。直接通过IP访问的代码示例如下。