认识 parquet 文件(二)

发表于2025-08-24|更新于2025-08-25

|浏览量:

认识 parquet 文件(二)

未完待续

文章作者: hsuwindow

文章链接: http://hsuwindow.vip/uncategorized/%E8%AE%A4%E8%AF%86%20parquet%20%E6%96%87%E4%BB%B6(%E4%BA%8C)/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 hsuwindowBlogs！

相关推荐

认识 parquet 文件(一)

认识 parquet 文件(一)Parquet 是一种开源的列式存储文件格式，专门设计用于大规模数据存储。它基于 Apache Arrow 库，并与 Hadoop 生态系统无缝集成。与传统的行式存储（如 CSV 和 JSON）不同，Parquet 使用列式存储数据，可以提高分析操作的性能，特别是在读取大量数据时。 Parquet 格式的基本特点：列式存储：数据按列而非按行进行存储，这使得在大数据分析中，查询只涉及到需要的列，大大提高了效率。压缩效率高：由于相同列的值通常是相似的，因此能够实现更高的压缩比，节省存储空间。支持复杂数据类型：Parquet 可以支持复杂的数据结构，如嵌套数据、数组、Map 等。支持分区和分布式存储：Parquet 格式特别适合在分布式计算框架（如 Hadoop 和 Spark）中处理大数据集。 Parquet 文件的内部结构Parquet 文件的结构由多个部分组成，以下是 Parquet 文件的主要组成部分： File Header：文件头，标识该文件是一个 Parquet 文件。 Row Groups：Parquet...