当前标签: Avro

Hive的几种常见压缩格式（ORC，Parquet，Sequencefile，RCfile，Avro）的读写查询性能测试

一.测试背景 工作中想把历史的APP日志结构化到Hive中进行查询，由于数据较大，需要进行压缩，根据Hive官方提供的几种压缩格式分别进行写入，读取，OLAP计算的性能测试，以求找到最好的压缩格式。   二.测试方法概述   * 数据来源：采用生产上数据抽样，大小为100G。原始日志格式为textfil...
2018-04-26 12:09 阅读(1568)
©2016-2019 MaTools All rights reserved, 粤ICP备17059708号, IP流:
56.***.214.50 121.***.114.23 113.***.27.133 14.***.70.109 49.***.40.58 81.***.25.209 109.***.29.100 100.***.51.53 92.***.105.54 31.***.50.235