Spark调优之JVM调优

今天给大家分享Spark调优相关的JVM调优，这个调优方法在开发中也很常见，他主要分为两种，一种是降低cache操作的内存占比，一种是调节executor堆外内存和降低连接等待时长。 在此之前，我们先来了解一下JVM的堆内存。 堆内存存放我们创建的一些对象，有老年代和年轻代。理想情况下，老年代都是放一些生命周期...
2018-11-19 22:59 阅读数 320

余弦距离、欧氏距离和杰卡德（Jaccard）相似性度量的比较

1、余弦距离 余弦距离，也称为余弦相似度，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。 向量，是多维空间中有方向的线段，如果两个向量的方向一致，即夹角接近零，那么这两个向量就相近。而要确定两个向量方向是否一致，这就要用到余弦定理计算向量的夹角。 余弦定理描述了三角形中任何一个夹角和三...
2018-05-09 09:51 阅读数 764

机器学习入门之主成分分析（及MATLAB实现）

本次学习使用MATLAB中的PCA函数对Yale人脸数据库进行降维，并观察前20个特征向量所对应的图像。欢迎大家一起讨论，进步。 设计思路 1.读取人脸数据：将165张图片保存在info中，每一行代表一张图片（100*100维），共165列 A. 设置图片路径 B. 根据路径读取图片 C. 将100*10...
2018-01-11 13:59 阅读数 273

k2刷机小小的流程记录

关于K2路由器V22.6.507.43以后版本刷潘多拉留记 本人撸了几个K2的路由器，因为有两个是只有购入的，然而斐讯的公司在22.6.507.43之后的版本不是直接刷入breed，所以需要先降级 到之后，在一番查找之后发现，K2_V22.6.507.43 可降级到 K2_V22.6.503.31之后的版本。所以理...
2018-02-26 00:06 阅读数 294

SVM算法实例

机器学习算法完整版见fenghaootong-github <https://github.com/fenghaotong/MachineLearning/tree/master/SVM> MINST for SVM 导入模块 from sklearn import svm import pandas as ...
2018-03-07 15:48 阅读数 972

CSS颜色代码大全

CSS颜色代码大全         FFFFFF #DDDDDD #AAAAAA #888888 #666666 #444444 #000000 #FFB7DD #FF88C2 #FF44AA  #FF0088  #C10066  #A20055  #8C0044  ...
2018-01-16 14:50 阅读数 400

小程序webview跳转页面后没有返回按钮完美解决方案

随着小程序越来越火爆，使一个产品如果只有公众号H5页面和APP 显得不怎么完美，总感觉不搭上小程序这趟流量车，就会少了点什么，心里别扭地很。在此驱动下，我所在公司也决定赶紧上车。 但是，如果要按照小程序的套路重新写一份的话，又感觉付出的时间成本太大了，非常的不划算。于是乎，脑子灵光一闪，想起了小程序貌似有个小弟叫w...
2018-09-22 00:33 阅读数 5343

mybatis讲解与配置

讲解 虎 mybatis是对ssm框架的解析与学习，包含sql映射，mybatis配置文件，resultType，resultMap等操作。 能动态组成sql语句，通过when,choose,trim,foreach,if等进行操作。 mybatis官方解释如下： MyBatis 是一款优秀的持久层框架，它支...
2019-01-01 20:19 阅读数 382

Spark1.x和2.x如何读取和写入csv文件

看很多资料，很少有讲怎么去操作读写csv文件的，我也查了一些。很多博客都是很老的方法，还有好多转来转去的，复制粘贴都不能看。下面我在这里归纳一下，以免以后用到时再费时间去查 <>通过sc.textFile val input = sc.textFile("test.csv") val result = inpu...
2019-01-01 21:28 阅读数 252

HTML/CSS学习总结

哈喽，各位新年快乐呀！今天是2019年的第一天，在这里祝愿大家新的一年能够身体健康、事事顺利，同时希望自己能够在新的一年里完成自己当初所定下的目标。 言归正传，很高兴我并没有经过多久继续更新博客，上一次发博还是在一周前的平安夜。在这一周的闲余时间里我抓紧时间学习，在W3School中文站把HTML/HTML5和C...
2019-01-01 23:01 阅读数 459
友情链接
KaDraw流程图
API参考文档
OK工具箱
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱：[email protected]
QQ群：637538335
关注微信
©2016-2025 Matools All rights reserved, 粤ICP备17059708号