Zeppelin 是和Juppter 类似的笔记本工具,支持多种语言,支持spark,scala ,,,,







Zeppelin 界面:http://10.20.2.32:8181/#/notebook/2DP1QY3HA
<http://10.20.2.32:8181/#/notebook/2DP1QY3HA>



 

Juppter:



 

 

Zepplin 安装方法:

 

1. 下载安装 (和spark 的某个节点安装在一起)

/var/server/zeppelin

 

2.修改配置文件:

zeppelin/conf/

[spark@spark-test-node2 conf]$ ls

configuration.xsl interpreter-list log4j_yarn_cluster.properties
zeppelin-env.cmd.template zeppelin-env.sh.template zeppelin-site.xml.template

interpreter.json log4j.properties shiro.ini.template zeppelin-env.sh
zeppelin-site.xml

 

在zeppelin-env.sh 里必须设置

export SPARK_HOME=/var/server/spark

 

zeepelin-site.xml 修改端口为8181, 避免跟spark 冲突.

<property>

<name>zeppelin.server.port</name>

<value>8181</value>

<description>Server port.</description>

</property>

 

3.启动 /var/server/zeppelin/bin/zeppelin-daemon start

 

4. 用浏览器打开http://10.20.2.32:8181/ <http://10.20.2.32:8181/>

 

5.进入浏览器配置: 点击右上角菜单的 Interpreter



5.1先输入spark 设置



 

 




spark://10.20.2.31:7077,10.20.2.32:7077,10.20.2.33:7077,10.20.2.34:7077,10.20.2.35:7077
如上图 点击编辑

对应的地方填写,然后下面的 save 保存。

 

5.2 然后设置hadoop hdfs

下面同样的方式,填写 file 过滤,然后填写hdfs 地址,然后保存.







 

 

6. 输入spark 代码测试。





验证成功。

 

这样以后再也不用输入在命令行里 使用spark-shell 了。

 

非常方便学习和研究,提高学习效率。


友情链接
ioDraw流程图
API参考文档
OK工具箱
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱:ixiaoyang8@qq.com
QQ群:637538335
关注微信