大数据和云计算技术周报（第93期) - 好文

导语
“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：kylin、Kerberos、Griffin、Hbase、AI、SVD、实时计算、MongoDB。全是干货，希望大家喜欢！！！

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学，在技术的道路上一定会日益精进！
感谢编辑们的长期坚持！也请同学们继续打赏，支持社区，支持编辑们持续奉献高质量知识！

#大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学，欢迎扫描文末二维码联系（参与社区工作，收获知识和进步，还有红包哦）。

特别提醒，文末有惊喜！

以下是正文，限于众编辑水平有限，不保证大家都喜欢。（如果链接不能点开请用二维码谢谢）

1实时计算

有赞是一个商家服务公司，提供全行业全场景的电商解决方案。在有赞，大量的业务场景依赖对实时数据的处理，作为一类基础技术组件，服务着有赞内部几十个业务产品，几百个实时计算任务，其中包括交易数据大屏，商品实时统计分析，日志平台，调用链，风控等多个业务场景，本文将介绍有赞实时计算当前的发展历程和当前的实时计算技术架构。。

https://mp.weixin.qq.com/s/ZkVK9S-BSoQTo09ALBI9aA
<https://mp.weixin.qq.com/s?__biz=MzU1NDA4NjU2MA==&mid=2247495500&idx=1&sn=5ed1d8db97345419679d4aeafa6e1afc&scene=21#wechat_redirect>

2kylin

kylin通过sdk支持数据源快速接入

https://mp.weixin.qq.com/s/oRyTZNJQxAcZ3VwLeqxiVA
<https://mp.weixin.qq.com/s?__biz=MzAwODE3ODU5MA==&mid=2653079061&idx=1&sn=3ab9638359290be95875109b65131c5f&scene=21#wechat_redirect>

3Kerberos

本篇文章主要讲解了principal与keytab之间的关系，并详细讲解了Kerberos如何认证用户，并使用HDFS、Mapreduce、HBase、Hive、Spark服务。

https://mp.weixin.qq.com/s/JAmfKY9nZfxUwysJGIcERQ
<https://mp.weixin.qq.com/s?__biz=MzU3MTc1NzU0Mg==&mid=2247483839&idx=1&sn=6deca1e51c1673e5eb29e0aa0c1bf5ad&scene=21#wechat_redirect>

4Griffin

Apache Griffin 是开源的大数据数据质量解决方案，支持批处理和流模式，其是基于 Apache Hadoop 和 Apache Spark
构建，由 eBay 开发，并于 2016年12月07日进入 Apache 孵化。Griffin
提供了一个可以处理不同的任务，如定义数据质量模型，执行数据质量测量，自动化数据分析和验证，以及跨多个数据系统的统一数据质量可视化的全面的框架，旨在解决大数据应用中数据质量领域的挑战。

https://www.iteblog.com/archives/2492.html

5MongoDB

本文讲述了MongoDB的异常值模型的使用示例，对于一些字段可以存在值激增情况，异常值模型可谓是优选解决方案

http://www.mongoing.com/archives/24757

6AI

如何利用机器学习将海量的视频内容充分利用起来，成为 AI 领域研究人员和企业开发应用的重要课题。本文，我们将分享爱奇艺资深科学家王涛在 AICon
上的精彩演讲，介绍爱奇艺在大规模视频分析理解方面的实践探索。

https://mp.weixin.qq.com/s/jqICZ2nkv-1vF_XPCWRxiQ
<https://mp.weixin.qq.com/s?__biz=MzU1NDA4NjU2MA==&mid=2247495500&idx=2&sn=c95be5707176b827496cd2ed9f1b1e27&scene=21#wechat_redirect>

7TensorFlow

这篇文章介绍TensorFlow一些最基础的知识，浅显易懂，一文了解TF.。

https://mp.weixin.qq.com/s/gi-18SIn5_Rc7c5eFJpMnA
<https://mp.weixin.qq.com/s?__biz=MzI4Njg5MDA5NA==&mid=2247484954&idx=1&sn=378482d86bb800076f7add67d2091d55&scene=21#wechat_redirect>

8奇异值分解

奇异值分解（SVD）在降维，数据压缩，推荐系统等有广泛的应用，任何矩阵都可以进行奇异值分解，本文通过正交变换不改变基向量间的夹角循序渐进的推导SVD算法，以及用协方差含义去理解行降维和列降维，最后介绍了SVD的数据压缩原理
。

https://mp.weixin.qq.com/s/ESl7TxxfuYzjscyfJWLisw
<https://mp.weixin.qq.com/s?__biz=MzU0MDQ1NjAzNg==&mid=2247486061&idx=1&sn=e24855d2dc675c9e896fc85ea7477c58&scene=21#wechat_redirect>

9Kubernetes

本文主要介绍微博平台落地 Kubernetes 过程中的一些经验教训

https://mp.weixin.qq.com/s/sT_kG2VcPQzrhyYJFS9fEA
<https://mp.weixin.qq.com/s?__biz=MjM5ODI5Njc2MA==&mid=2655822968&idx=1&sn=b7483f7a10d4c2e5292f9d99e984f9a9&scene=21#wechat_redirect>

10HBase

HBase 是一个分布式，可扩展，面向列的适合存储海量数据的数据库，其最主要的功能是解决海量数据下的实时随机读写的问题。通常 HBase 依赖 HDFS
做为底层分布式文件系统，本文以此做前提并展开，详细介绍 HBase 的架构，读路径以及优化实践。

https://mp.weixin.qq.com/s/cj-HJNfZ2O7kCAFNL4l7Eg
<https://mp.weixin.qq.com/s?__biz=MzAxOTY5MDMxNA==&mid=2455759444&idx=1&sn=0debccdb2e6eed48001cbaec64c8a1be&scene=21#wechat_redirect>

11开心一刻

某公众号最近几天的文章，推荐你们好好看看：

《面向对象的优越性：从C到C++》
《JAVA比C++好的7大理由》
《数据时代：python才是主角》
《Golang：放弃python的九大理由》
《Julia：数据分析最好用的语言》
......
《高性能计算的胜者：C/C++》

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞

猜你喜欢

#大数据和云计算机技术社区#博客精选（2017）
<http://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663994491&idx=1&sn=95fe95ff6f9451b25d789a96d126ae57&chksm=847c6016b30be9001f03a2653897b4c1c6a1cf11ff285f4ffb72ed54be29cc2973bcb6cbc04f&scene=21#wechat_redirect>

NoSQL 还是 SQL ？这一篇讲清楚
<http://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663994350&idx=1&sn=13c264dd596408df24acfb4acfd1cbfc&chksm=847c6783b30bee959a9f5f58f1112de38cdb7ac6e5f097346911d6dd8ad6505e14b87f5e71a9&scene=21#wechat_redirect>

阿里的OceanBase解密
<http://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663994245&idx=1&sn=18985825170e51b5665390b2dabda326&chksm=847c67e8b30beefea82e331ba2c2a8bf077e7eef226356a74bc9b112736fe84527f1a6fa6830&scene=21#wechat_redirect>

#大数据和云计算技术#: "四有"社区介绍
<http://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663994424&idx=1&sn=5ce873e5b062c41d9d3feb169421de81&chksm=847c6055b30be94356ff5f6a7752af218a04a96ab915ff1bfad6b8c8a60078d953d4a9e36292&scene=21#wechat_redirect>

大数据和云计算技术周报（第56期）

新数仓系列：Hbase周边生态梳理（1）
<http://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663994281&idx=1&sn=3bf17f41fd00d5ff1bd74044ab61c6fc&chksm=847c67c4b30beed20a2b746511aeb029466ad7f40c5a92a8c39aba6812bdb46298a717bd7d25&scene=21#wechat_redirect>

《大数据架构详解》第2次修订说明
<http://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663994165&idx=1&sn=6fe5e33d5ab6ac7ca96e79f8d4e47b90&chksm=847c6758b30bee4e6eb784516668e7487a206bb88ab50aca2996968b9a994ceafa26769de478&scene=21#wechat_redirect>

简单梳理跨数据中心数据库
<http://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663994233&idx=1&sn=854040597998b707f7089bb303346a79&chksm=847c6714b30bee029af0e0ae09fc02fa2b4fea30af0c6f8f2fc5fd513455c5b3da9e477b2184&scene=21#wechat_redirect>

云观察系列：漫谈运营商公有云发展史
<http://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663994186&idx=1&sn=b056116636ee348c80d224a7efc7b0d9&chksm=847c6727b30bee310889ad2bc72a09cb26635ff801d5e31bc0c49e13d8c9f04ae583cb7ca7b4&scene=21#wechat_redirect>

云观察系列：百度云的一波三折
<http://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663994181&idx=1&sn=12a19f42d855361f6850ea4a5f7c5bb5&chksm=847c6728b30bee3e74830b458243b264ed8a4841e3c3e30fb89fc1f95d6bca3cc748ea1d5e12&scene=21#wechat_redirect>

云观察系列：阿里云战略观察
<http://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663994176&idx=1&sn=22293c8dca2bd0d59c79bddcc689379a&chksm=847c672db30bee3b83bfcff9d23e5e08c85b685f425d49bbcc3db02be80010f4f9848e95cb60&scene=21#wechat_redirect>

超融合方案分析系列（7）思科超融合方案分析
<http://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663994152&idx=1&sn=b5ee27c116f0ad80a0aabf7d2a1922eb&chksm=847c6745b30bee537f950387c63d1044ef413cb9795929ecb03bf56106c33da4cd363a659248&scene=21#wechat_redirect>

加入技术讨论群

《大数据和云计算技术》社区群人数已经6000+，欢迎大家加下面助手微信，拉大家进群，自由交流。

喜欢QQ群的，可以扫描下面二维码：

欢迎大家通过二维码打赏支持技术社区（英雄请留名，社区感谢您，打赏次数超过108+）：

热门工具换一换