当前标签: Avro

Hive的几种常见压缩格式（ORC，Parquet，Sequencefile，RCfile，Avro）的读写查询性能测试

一.测试背景工作中想把历史的APP日志结构化到Hive中进行查询，由于数据较大，需要进行压缩，根据Hive官方提供的几种压缩格式分别进行写入，读取，OLAP计算的性能测试，以求找到最好的压缩格式。二.测试方法概述 * 数据来源：采用生产上数据抽样，大小为100G。原始日志格式为textfil...

2018-04-26 12:09 阅读(1464)

1