Cloud Storage 上の Parquet ファイルのスキーマ情報をメタデータのみで取得する

import io

import pyarrow.parquet as pq
from google.cloud import storage

def get_blob(bucket_name, blob_path):
    """指定したバケットとパスでオブジェクトを取得"""
    gcs_client = storage.Client()
    bucket = gcs_client.bucket(bucket_name)
    return bucket.blob(blob_path)

def get_parquet_metadata(blob):
    """Parquet ファイルのメタデータを取得"""
    footer_length = 8 # Parquetのフッターサイズ

    # Parquetのフッター情報を取得
    footer_bytes = blob.download_as_bytes(start=-footer_length)

    # フッターの最初の4バイトからメタデータのサイズを取得
    metadata_length = int.from_bytes(footer_bytes[:4], "little")

    # メタデータの開始位置からメタデータ部分のみ取得
    metadata_bytes = blob.download_as_bytes(start=-(metadata_length + footer_length), end=-footer_length)

    return io.BytesIO(metadata_bytes)

def main():
    bucket_name = "cm-hanzawa-parquet"
    blob_name = "hacker-news/000000000000.parquet"

    blob = get_blob(bucket_name, blob_name)
    metadata_stream = get_parquet_metadata(blob)

    # Parquetのメタデータを取得
    parquet_metadata = pq.read_metadata(metadata_stream)

    # 物理型 & 論理型の取得
    print("カラム名: 物理型, 論理型")
    for column in parquet_metadata.schema:
        print(f"{column.name}: {column.physical_type} ({column.logical_type})")

if __name__ == "__main__":
    main()

カラム名: 物理型, 論理型
title: BYTE_ARRAY, (String)
url: BYTE_ARRAY, (String)
text: BYTE_ARRAY, (String)
dead: BOOLEAN, (None)
by: BYTE_ARRAY, (String)
score: INT64, (None)
time: INT64, (None)
timestamp: INT64, (Timestamp(isAdjustedToUTC=false, timeUnit=microseconds, is_from_converted_type=false, force_set_converted_type=false))
type: BYTE_ARRAY, (String)
id: INT64, (None)
parent: INT64, (None)
descendants: INT64, (None)
ranking: INT64, (None)
deleted: BOOLEAN, (None)

import pyarrow.parquet as pq

parquet_file = pq.ParquetFile('hacker_news_full.parquet')

print("カラム名: 物理型, 論理型")
for column in parquet_file.metadata.schema:
    print(f"{column.name}: {column.physical_type}, ({column.logical_type})")

カラム名: 物理型, 論理型
title: BYTE_ARRAY, (String)
url: BYTE_ARRAY, (String)
text: BYTE_ARRAY, (String)
dead: BOOLEAN, (None)
by: BYTE_ARRAY, (String)
score: INT64, (None)
time: INT64, (None)
timestamp: INT64, (Timestamp(isAdjustedToUTC=false, timeUnit=microseconds, is_from_converted_type=false, force_set_converted_type=false))
type: BYTE_ARRAY, (String)
id: INT64, (None)
parent: INT64, (None)
descendants: INT64, (None)
ranking: INT64, (None)
deleted: BOOLEAN, (None)