juypter-notebook安装配置

1 jupyter notebook概述

Jupyter Notebook(此前被称为 IPython notebook)是一个交互式笔记本,支持运行 40 多种编程语言。
前端展现基于浏览器,可以远程使用(服务器上安装使用jupyter notebook)
跨平台 ipad就可以用?

通过内核支持语言扩展

jupyter kernelspec list

2 jupyter notebook安装

pip3 install jupyter
jupyter notebook

3 在jupyter notebook中运行pyspark

PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook" ~/run/spark-2.0.0-bin-hadoop2.7/bin/pyspark

4 在jupyter notebook中安装toree(scala for spark)

 

4.1 版本要求

scala: 2.10.4
spark: 1.6.2
高版本的安装包尚未正式发布,需要自己编译、安装(需要docker,没有走通)

4.2 配置环境变量

export SCALA_HOME=/usr/local/Cellar/scala/2.10.4
export PATH=$SCALA_HOME/bin:$PATH export SPARK_HOME="/Users/galaxy/run/spark-1.6.2-bin-hadoop2.6/"
export PATH=$SPARK_HOME/bin:$PATH

4.3 执行安装

pip3 install --pre toree
jupyter toree install

4.4 运行

jupyter notebook
New -> Apache Toree-scala

5 参考资料

Running Spark Applications Using IPython and Jupyter Notebooks
http://www.cloudera.com/documentation/enterprise/5-5-x/topics/spark_ipython.html#ipython__notebook_quickstart

Using IPython Notebook with Apache Spark - Hortonworks
http://zh.hortonworks.com/hadoop-tutorial/using-ipython-notebook-with-apache-spark/

27 Jupyter Notebook tips, tricks and shortcuts
https://www.dataquest.io/blog/jupyter-notebook-tips-tricks-shortcuts/

GitHub - tribbloid/ISpark: An Apache Spark-shell backend for IPython
https://github.com/tribbloid/ISpark

GitHub - alexarchambault/jupyter-scala: Lightweight Scala kernel for Jupyter / IPython 3
https://github.com/alexarchambault/jupyter-scala

GitHub - apache/incubator-toree: Mirror of Apache Toree (Incubating)
https://github.com/apache/incubator-toree

Hadoop Dev | How to install Jupyter Notebook for Spark - Hadoop Dev
https://developer.ibm.com/hadoop/2016/05/04/install-jupyter-notebook-spark/

How to install the Scala Spark (Apache Toree) Jupyter kernel with GeoMesa support - GeoMesa - Confluence
https://geomesa.atlassian.net/wiki/display/GEOMESA/How+to+install+the+Scala+Spark+(Apache+Toree)+Jupyter+kernel+with+GeoMesa+support

Tour of the Jupyter (IPython3) notebook — Computational Statistics in Python 0.1 documentation
http://people.duke.edu/~ccc14/sta-663/Jupyter.html
./jove-scala –kernel-spec

How it works
https://toree.incubator.apache.org/documentation/user/how-it-works.html

GitHub - andypetrella/spark-notebook: Interactive and Reactive Data Science using Scala and Spark.
https://github.com/andypetrella/spark-notebook/

jupyter与spark kernel结合的notebook安装及使用 - heng_2218的博客 - 博客频道 - CSDN.NET
http://blog.csdn.net/heng_2218/article/details/51006075

Author: galaxy

Created: 2016-10-24 Mon 09:49

Emacs 24.5.6 (Org mode 8.2.10)

Validate

juypter-notebook安装配置的更多相关文章

  1. anaconda+jupyter notebook 安装配置

    安装Anaconda 从清华大学开源软件镜像站选择合适自己的版本 wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda ...

  2. jupyter notebook 安装配置使用,+目录插件安装

    1.安装 pip3 install jupyter 2.配置 2.1. 生成一个 notebook 配置文件 jupyter notebook --generate-config /root/.jup ...

  3. jupyter notebook——安装配置

    本地登陆 cmd输入下面的命令,会进入用户主目录 jupyter notebook 在浏览器打开时,提示输入token,复制命令行上的token还是不能进入,其实浏览器上有提示的,按照提示操作即可,输 ...

  4. [Mac][Python][Jupyter Notebook]安装配置和使用

    Jupyter 项目(以前称为 IPython 项目),提供了一套使用功能强大的交互式 shell 进行科学计算的工具,实现了将代码执行与创建实时计算文档相结合. 这些 Notebook 文件可以包含 ...

  5. 全真教程:Windows环境Jupyter Notebook安装、运行和工作文件夹配置

    全真教程:Windows环境Jupyter Notebook安装.运行和工作文件夹配置 @ 目录 全真教程:Windows环境Jupyter Notebook安装.运行和工作文件夹配置 一.Jupyt ...

  6. TensorFlow Jupyter Notebook 和matplotlib安装配置

    Jupyter Notebook 和matplotlib Jupyter Notebook安装 Python 3 : python3 -m pip install --upgrade pip pyth ...

  7. Windows下的Jupyter Notebook 安装与自定义启动(图文详解)

    不多说,直接上干货! 前期博客 Windows下的Python 3.6.1的下载与安装(适合32bits和64bits)(图文详解) 这是我自定义的Python 的安装目录 (D:\SoftWare\ ...

  8. Windows下的Jupyter Notebook 安装与自定义启动

    1.Jupyter Notebook 和 pip 为了更加方便地写 Python 代码,还需要安装 Jupyter notebook. 利用 pip 安装 Jupyter notebook. 为什么要 ...

  9. Hive安装配置指北(含Hive Metastore详解)

    个人主页: http://www.linbingdong.com 本文介绍Hive安装配置的整个过程,包括MySQL.Hive及Metastore的安装配置,并分析了Metastore三种配置方式的区 ...

随机推荐

  1. map-reduce的八个流程

    下面讲解这八个流程  Inputformat-->map-->(combine)-->partition-->copy&merge-->sort-->red ...

  2. storm定时器timer源码分析-timer.clj

    storm定时器与java.util.Timer定时器比较相似.java.util.Timer定时器实际上是个线程,定时调度所拥有的TimerTasks:storm定时器也有一个线程负责调度所拥有的& ...

  3. [CentOS7] iconv编程转换

    声明:本文主要总结自:鸟哥的Linux私房菜-第九章.vim 程式編輯器,如有侵权,请通知博主 (-- 源自鸟哥的私房菜) 首先用Notepad++新建个文件来做这个实验,在Windows平台下新建个 ...

  4. Codeforces Round #507 (Div. 2)C(贪心,逆向遍历,构造)

    #include<bits/stdc++.h>using namespace std;int order[300007];long long t[300007],ans[300007];i ...

  5. HDP3.1 中 YRAN 和 MR2 的内存大小配置的计算方式

    Container 是 YARN 中基本的处理单元,它是对内存.CPU等计算的封装.总的来说,每个core每块硬盘 分配2个 container,能获得较好的集群利用率. 1. 确定可用内存大小. 对 ...

  6. 2017-10-17 NOIP模拟赛

    Reverse #include<iostream> #include<cstdio> #include<cstring> using namespace std; ...

  7. 【NOIP模拟赛】收银员(一道差分约束好题)

    /* s[]表示最优方案的序列中的前缀和,那么s[23]就是最优方案 由题意我们可以列出这样一些式子: s[i]+s[23]-s[16+i]>=a[i] (i-8<0) s[i]-s[i- ...

  8. Ruby中如何识别13位的时间戳

    由于13位的时间戳在Ruby中是比较另类的,以为Ruby中默认的时间戳都是10位的.而Time和Date是Ruby中常用的处理时间的模块. 由于最初遇到问题的时候网上搜了好久都没找到合适的,因此就自己 ...

  9. Python中print()函数不换行的方法

    一.让print()函数不换行 在Python中,print()函数默认是换行的.但是,在很多情况下,我们需要不换行的输出(比如在算法竞赛中).那么,在Python中如何做到这一点呢? 其实很简单.只 ...

  10. 转载 jQuery 整理的很详细,基本都在里面

    jQuery 函数     CSS 函数 $(a).css(name)     获取name属性值 $(a). css(name,value)      设置name的属性值 $(a).css({}) ...