当前标签: offest

sparkstreaming消费kafka的数据手动维护offest实现exactly-once语义

最近在做实时流处理的一个项目,遇到N多问题,经过不断的调试,终于有点进展,记录一下,防止后人遇到同样的问题. 特别注意自己代码里面的版本一定要和集群上面的保持一致 1,sparkstreaming消费kafka有两种方法,这里我就不介绍了,网上关于这方面的资料很多,我就简单说一下两者的区别吧, (1) 基于re...

2018-06-23 21:30 阅读(468)

1