数字的背后是技术

根据阿里巴巴官方数据显示,2017淘宝双十一交易额达到1682.69亿元,刷新了2016年记录,去年双十一全天交易额为1207亿元,同比增速为39.36%。

2017天猫双11, 交易峰值32.5万/秒,支付峰值25.6万/秒,数据库处理峰值,4200万次/秒。

如此大的访问量背后究竟用了什么样的技术?

揭秘淘宝双11背后的技术



1.混合云弹性架构




双11当天的秒级交易峰值平时的近10多倍,要用3-4倍的机器去支撑。但大促过后这批机器的资源利用率不高,到次年的双11会形成较长时间的低效运行。试想一下,电商交易有大促峰值,而阿里云有售卖Buffer,如果能充分发挥云计算的弹性能力,让资源可以两边快速腾挪,就可以解决资源浪费的问题了。

2.在双11当天实现万亿级消息流转第三代分布式消息引擎



阿里中间件消息引擎发展到今日,前前后后经历了三代演进。

第一代,推模式,数据存储采用关系型数据库。在这种模式下,消息具有很低的延迟特性,尤其在阿里淘宝这种高频交易场景中,具有非常广泛地应用。


第二代,拉模式,自研的专有消息存储。能够媲美Kafka的吞吐性能,但考虑到淘宝的应用场景,尤其是其交易链路等高可靠场景,消息引擎并没有一位的追求吞吐,而是将稳定可靠放在首位。因为采用了长连接拉模式,在消息的实时方面丝毫不逊推模式。


在前两代经历了数年线上堪比工况的洗礼后,淘宝中间件团队于2011年研发了以拉模式为主,兼有推模式的高性能、低延迟消息引擎RocketMQ。并在2012年进行了开源,经历了6年双11核心交易链路检验,愈久弥坚。


目前已经捐赠给阿帕奇基金会(ASF),有望成为继ActiveMQ,Kafka之后,Apache社区第三个重量级分布式消息引擎。时至今日,RocketMQ很好的服务了阿里集团大大小小上千个应用,在双11当天,更有不可思议的万亿级消息流转,为集团大中台的稳定发挥了举足轻重的作用。

3.交易核心应用容器化


撑起双11交易下单峰值,充分解放资源的超大规模Docker化技术,在基础设施方面,从2016年开始双11最大的变化是支撑双11的所有交易核心应用都跑在了Docker容器中。

几十万Docker容器撑起了双11交易32.5万笔每秒的下单峰值。

4.大数据处理能力


支撑全球最大规模在线交易的数据实时和离线计算能力,包括承载阿里巴巴集团核心大数据的离线计算平台,以及双十一保证每秒处理亿条日志的计算能力、毫秒级的计算延迟的实时流计算平台。




TimeTunnel(TT)在阿里巴巴集团内部是一个有着超过6年历史的实时数据总线服务,它是前台在线业务和后端异步数据处理之间的桥梁。从宏观方面来看,开源界非常著名的Kafka+Flume的组合在一定程度上能够提供和TT类似的基础功能;不同的是,在阿里巴巴的业务体量和诉求下,有比较多的配置管控、资源调度、轨迹校验和血缘识别等方面的工作。

5.人工智能创新应用


阿里人工智能在搜索、推荐以及客服场景下的创新应用,包括人工智能赋能的数千家品牌商家店铺的个性化运营和粉丝会员的精准营销,基于深度强化学习和在线自适应学习的推荐算法创新,以智能+人工模式提供智能导购、服务、助理拟人交互的阿里小蜜。




淘宝的搜索引擎涉及对上亿商品的毫秒级处理响应,而淘宝的用户不仅数量巨大,其行为特点以及对商品的偏好也具有丰富性和多样性。因此,要让搜索引擎对不同特点的用户作出针对性的排序,并以此带动搜索引导的成交提升,是一个极具挑战性的问题。

6.VR技术

端对端的虚拟购物环境背后的VR技术,淘宝 GM
LAB在2016年3月成立,是一个旨在探索最新电商购物体验的实验室。在探索VR购物的过程中,有两个需要核心解决的问题:一个是VR购物的产品形态是什么,另一个是VR环境下的店铺和商品怎么来。



7.Weex实现双11会场

揭秘应对前端极限挑战的淘宝直播首屏秒开,以及应用世界级开源跨平台移动开发工具Weex实现双11会场几近全覆盖,实现全网首屏渲染完美践行“秒开”体验。



支撑住双11的业务需求,是 Weex 必须要迈过的坎,双11的会场结构大致为:会场框架(框架 +
主会场、全部会场、必抢、清单、我的双11)、分会场、其他会场(分分会场、人群会场等)。

8.智能化秒级监控

所有双11奇迹背后的、基于数据挖掘、机器学习等技术的智能化秒级监控。千万量级监控项,PB级监控数据,亿级报警通知背后的技术。



阿里的监控规模早已达到了千万量级的监控项,PB级的监控数据,亿级的报警通知,基于数据挖掘、机器学习等技术的智能化监控将会越来越重要。

9.物流菜鸟系统智能化


菜鸟作为一家平台型公司,坚持不拥有一辆车、一个快递员,希望通过数据和技术,建设一个社会化协同的物流和供应链公司。在这方面,菜鸟这几年不断探索,在物流全链路上做了大量的尝试和突破,比如通过海量数据精准的预测大促包裹量及流向、通过供应链预测计划合理入库及分仓铺货、以及做到“单未下、货先行”的货品下沉提前打包等。

菜鸟需要打通包裹预测、供应链入库、订单下沉、订单路由调度、电子面单及智能分单,以及末端小件员等。



淘宝双11未来的挑战

对于淘宝双11未来的挑战,主要还是更加精细化的分析和预测流量
模型及业务模型,技术变量的采集、分析、预测,通过数据分析驱动,自主决策处理等,最终在用户体验、成本控制和最大系统吞吐能力之间找到新的平衡点。

以下是我整理出来的架构学习方向,学java的,想走架构方向的都可以收藏一下

开源框架



 

微服务



 

高性能



 

以及一些学习资料



还有一些,由于篇幅会过长的原因,我就不一一例举了,如果需要的话,欢迎加入Java高级架构学习交流群:805685193
本群提供免费的学习指导 架构资料 以及免费的解答
不懂得问题都可以在本群提出来 之后还会有职业生涯规划以及面试指导 进群修改群备注:开发年限-地区-经验 方便架构师解答问题
免费领取架构师全套视频!!!!!!!!