当前标签: Sequencefile

Hive的几种常见压缩格式（ORC，Parquet，Sequencefile，RCfile，Avro）的读写查询性能测试

一.测试背景 工作中想把历史的APP日志结构化到Hive中进行查询，由于数据较大，需要进行压缩，根据Hive官方提供的几种压缩格式分别进行写入，读取，OLAP计算的性能测试，以求找到最好的压缩格式。   二.测试方法概述   * 数据来源：采用生产上数据抽样，大小为100G。原始日志格式为textfil...
2018-04-26 12:09 阅读(1029)
©2016-2019 MaTools All rights reserved, 粤ICP备17059708号, IP流:
23.***.51.221 45.***.46.105 110.***.190.208 111.***.60.243 50.***.250.33 117.***.110.188 23.***.47.44 119.***.19.2 66.***.101.119 28.***.186.230