当前标签: kafka
kafka概念扫盲
一、kafka概述 1.1、定义 Kakfa是一个分布式的基于发布/订阅模式的消息队列（message queue），主要应用于大数据的实时处理领域 1.2、消息队列 1.2.1、传统的消息队列&新式的消息队列的模式 上面是传统的消息队列，比如一个用户要注册信息，当用户信息写入数据库后...
2020-01-31 22:59
阅读(139)
kafka(一)-为什么选择kafka
作为开发人员，我们在选择一个框架或者工具时，我们都需要考虑些什么，我们不是头脑发热，一拍脑袋就它了，我们首先要认清这个框架或工具的作用是什么，能给我们带来什么样的好处，同时也要考虑带来什么样的负面结果，我们在使用时才能更好的扬其长避其短，kafka大家可能都不陌生，到底我们为什么选择kafka呢？ 1.首先kaf...
2020-01-22 11:41
阅读(166)
Kafka笔记—可靠性、幂等性和事务
这几天很忙，但是我现在给我的要求是一周至少要出一篇文章，所以先拿这篇笔记来做开胃菜，源码分析估计明后两天应该能写一篇。给自己加油~，即使没什么人看。 可靠性 如何保证消息不丢失 Kafka只对“已提交”的消息（committed message）做有限度的持久化保证。 已提交的消息 当Kafka的若干个Br...
2019-09-07 00:15
阅读(164)
Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL | 9月4号栖夜读
点击订阅云栖夜读日刊 <https://yq.aliyun.com/publication/5>，专业的技术干货，不容错过！ 阿里专家原创好文 1.Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL 上周六在深圳分享了《Flink SQL 1.9.0 技术内幕和最佳实践》，会后许多小伙...
2019-09-04 17:14
阅读(379)
Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL
上周六在深圳分享了《Flink SQL 1.9.0 技术内幕和最佳实践》，会后许多小伙伴对最后演示环节的 Demo 代码非常感兴趣，迫不及待地想尝试下，所以写了这篇文章分享下这份代码。希望对于 Flink SQL 的初学者能有所帮助。完整分享可以观看 Meetup 视频回顾 ：https://developer....
2019-09-03 14:25
阅读(626)
回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾（附PPT下载）
8 月最后一天，由 Apache Kafka 与 Apache Flink 联合举办的 Meetup 深圳站圆满落幕，现场站无虚席，来自 Confluent 、中国农业银行 、虎牙直播、数见科技以及阿里巴巴的五位技术专家带来了丰富精彩的分享，全场干货满满！ PPT下载链接： https://files.ali...
2019-09-03 11:28
阅读(235)
番茄日志发布1.0.3版本-增加Kafka支持
番茄日志（TomatoLog）能做什么 可能你是第一次听说TomatoLog，没关系，我可以从头告诉你，通过了解番茄日志，希望能帮助有需要的朋友，番茄日志处理将大大降低你采集、分析、处理日志的过程。 介绍 TomatoLog 是一个基于 .NETCore 平台的日志处理组件,包含客户端、服务端，非常容易使用...
2019-08-23 07:14
阅读(211)
Apache Kafka常用命令
1.查看topic详细信息 ./kafka-topics.sh -zookeeper ip:port -describe -topic topicname kafka/bin/kafka-topics.sh -zookeeper hostname:2181 -describe -topic topicname 2...
2019-07-26 11:19
阅读(107)