当前标签: pyspark
如何在运行pyspark时加载本地jar包？
某内网项目需要测试spark和mongodb联调，因为不能连接外网，所以下载好了相应的jar包扔进去了。 官网给出的事例代码如下： ./bin/pyspark --conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.myCollection?readPr...
2019-03-14 13:31
阅读(492)
pyspark学习笔记: 一些环境配置问题
使用pyspark一些环境配置问题 <>基本配置 安装spark后，还需要修改Spark的配置文件spark-env.sh <http://xn--Sparkspark-env-p79vh7iw33jjfb468q9iubfh6bff3an9gg20b.sh> cd /usr/local/spark cp ....
2019-01-01 21:23
阅读(524)
使用PySpark将ElasticSearch的数据写入第三方存储（hdfs、mysql、本地文件）
使用PySpark将ElasticSearch的数据写入第三方存储（hdfs、mysql、本地文件） 环境： 首先今天是一年一度的程序员节，先祝给程序员节日快乐！！ Spark：2.2.0 ElasticSearch：5.6.1 Scala：2.11 使用pyspark读取ES（ElasticSearc...
2018-10-24 11:06
阅读(445)
python中安装配置pyspark库教程需要配合spark+hadoop使用
单独安装pyspark库在单机上是没法运行的，需要有相应的分布式软件，这里可以是spark+hadoop，配置安装教程链接： spark2.3在window10当中来搭建python3的使用环境pyspark <https://blog.csdn.net/shiheyingzhe/article/details/8...
2018-06-17 15:49
阅读(242)
spark2.3在Windows10当中来搭建python3的使用环境pyspark
在python中编写spark的程序，需要安装好Java、spark、hadoop、python这些环境才可以，spark、hadoop都是依赖Java的，spark的开发语言是Scala，支持用Java、Scala、python这些语言来编写spark程序，本文讲述python语言调用pyspark的安装配置过程...
2018-06-17 15:35
阅读(302)
PySpark学习笔记（4）——MLlib和ML介绍
Spark MLlib是Spark中专门用于处理机器学习任务的库，但在最新的Spark 2.0中，大部分机器学习相关的任务已经转移到Spark ML 包中。两者的区别在于MLlib是基于RDD源数据的，而ML是基于DataFrame的更抽象的概念，可以 创建包含从数据清洗到特征工程再到模型训练等一系列机器学习工作。所...
2018-03-23 18:23
阅读(2478)
PySpark学习笔记（1）
最近工作有需要用到PySpark，而自己对这方面还不太熟悉。有鉴于此，很有必要系统性的梳理下PySpark的基本语法和特性，以供以后参考。 1.Spark简介 Apache Spark是一个开源、强大的的分布式查询和处理引擎，最初由Matei Zaharia在UC Berkeley读博期间开发的[1]。最早的S...
2018-03-09 10:48
阅读(1036)
Jupyter与PySpark实现结合spark与python的notebook
Jupyter与PySpark实现结合spark与python的notebook * Jupyter与PySpark实现结合spark与python的notebook <https://blog.csdn.net/njzhujinhua/article/details/79441217#jupyter与py...
2018-03-05 00:11
阅读(486)