当前标签: Avro

Hive的几种常见压缩格式（ORC，Parquet，Sequencefile，RCfile，Avro）的读写查询性能测试

一.测试背景 工作中想把历史的APP日志结构化到Hive中进行查询，由于数据较大，需要进行压缩，根据Hive官方提供的几种压缩格式分别进行写入，读取，OLAP计算的性能测试，以求找到最好的压缩格式。   二.测试方法概述   * 数据来源：采用生产上数据抽样，大小为100G。原始日志格式为textfil...
2018-04-26 12:09 阅读(1018)
©2016-2019 MaTools All rights reserved, 粤ICP备17059708号, IP流:
83.***.49.126 108.***.75.7 83.***.131.46 60.***.196.25 116.***.200.11 73.***.105.28 31.***.192.206 45.***.199.116 49.***.4.132 118.***.38.251