如何使用gzip压缩后的parquet文件
今天我们来学习使用python读取parquet文件
背景
有一个parquet文件,而且还用gzip压缩了。
那该如何读取呢?
准备工作
安装
pandas和pyarrow
# 安装 pandas and pyarrow:
pip3 install pandas pyarrow
读取
# 使用 read_parquet 加载parquet文件
import pandas as pd
from pandas import read_parquet
data = read_parquet("myFile.parquet.gzip")
print(data.count())
data.head()