当前标签: spark
Apache Spark Delta Lake 写数据使用及实现原理代码解析
Apache Spark Delta Lake 写数据使用及实现原理代码解析 Delta Lake 写数据是其最基本的功能，而且其使用和现有的 Spark 写 Parquet 文件基本一致，在介绍 Delta Lake 实现原理之前先来看看如何使用它，具体使用如下： df.write.format("delta"...
2019-09-26 16:28
阅读(283)
深入理解 Apache Spark Delta Lake 的事务日志
深入理解 Apache Spark Delta Lake 的事务日志 事务日志是理解 Delta Lake 的关键，因为它是贯穿许多最重要功能的通用模块，包括 ACID 事务、可扩展的元数据处理、时间旅行（time travel）等。本文我们将探讨事务日志（Transaction Log）是什么，它在文件级别是...
2019-09-26 16:19
阅读(203)
Apache Spark中国技术交流社区历次直播回顾（持续更新）
8月28日【Spark Streaming SQL流式处理简介 <https://tianchi.aliyun.com/course/live?liveId=41084>】 主讲人：云魄，阿里云E-MapReduce 高级开发工程师，专注于流式计算，Spark Contributor，开源爱好者 简介：本次直播...
2019-09-19 11:39
阅读(238)
在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
在 Apache Spark 中利用 HyperLogLog 函数实现高级分析 预聚合是高性能分析中的常用技术，例如，每小时100亿条的网站访问数据可以通过对常用的查询纬度进行聚合，被降低到1000万条访问统计，这样就能降低1000倍的数据处理量，从而在查询时大幅减少计算量，提升响应速度。更高层的聚合可以带来进一...
2019-09-12 13:44
阅读(191)
Apache Spark3.0什么样？一文读懂Apache Spark最新技术发展与展望
2019阿里云峰会·上海开发者大会于7月24日盛大开幕，在本次峰会的开源大数据专场上，阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析，为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展，同时预测了Spark 3.0即将重磅发布的新功能。 ...
2019-08-02 15:24
阅读(202)
使用Spark Streaming SQL基于时间窗口进行数据统计
1.背景介绍 流式计算一个很常见的场景是基于事件时间进行处理，常用于检测、监控、根据时间进行统计等系统中。比如埋点日志中每条日志记录了埋点处操作的时间，或者业务系统中记录了用户操作时间，用于统计各种操作处理的频率等，或者根据规则匹配，进行异常行为检测或监控系统告警。这样的时间数据都会包含在事件数据中，需要提取时间...
2019-07-05 12:25
阅读(264)
.Net for Spark 实现 WordCount 应用及调试入坑详解
.Net for Spark 实现WordCount应用及调试入坑详解 1. 概述 iNeuOS <http://www.ineuos.net/> 云端操作系统现在具备物联网、视图业务建模、机器学习的功能，但是缺少一个计算平台产品。最近在调研使用什么语言进行开发，并且研究实现的技术路线。iNeu...
2019-06-29 19:55
阅读(608)
使用Spark SQL进行流式机器学习计算（上）
今天来和大家聊一下如何使用Spark SQL进行流式数据的机器学习处理。本文主要分为以下几个章节： * 什么是流式机器学习 * 机器学习模型获取途径 * 系统演示 1. 什么是流式机器学习 通常，当我们听到有人提到实时数据机器学习时，其实他们是讨论： * 他们希望有一个模型，这个模型利用最近历史信息来进...
2019-06-26 17:15
阅读(367)