数据库是mongdb 数据是58同城上发的转手记录 一 为了保证数据安全,对需要进行处理的数据进行拷贝. > db.createCollection('test') { } > show collections base_url detail_info detail_url test > db.detail_info.copyTo('test') WARNING: db.eval is deprecated 二  对数据库中的数据进行处理 不要想着将数据拿出来,处理完后,在一一对应放到数…

Jupyter Notebook Jupyter Notebook 以前被称为IPython notebook.Jupyter Notebook是一款能集各种分析包括代码.图片.注释.公式及自己画的图一体的灵活工具. Jupyter 具有可扩展性.它支持多种语言,能容易的部署到自己的计算机或远程服务器上.用户只要通过ssh或http就能访问远程的Jupyter.更赞的是Jupyter完全免费. Jupyter接口 1 快捷键 正如大神所知,使用快捷键能省很多时间.在菜单Help→Keyboard…

如何在Python中快速画图--使用Jupyter notebook的魔法函数(magic function)matplotlib inline 先展示一段相关的代码: #we test the accuracy of knn and find the k which makes the biggest accuracy k_range=list(range(1,26))#[1,25] scores=[] for k in k_range: knn=KNeighborsClassifier(n_…

安装并启动jupyter 安装 Anaconda 后, 再安装 jupyter pip install jupyter 设置环境 ipython --ipython-dir= # override the default IPYTHONDIR directory, ~/.ipython/ by default ipython profile create foo # create the profile foo ipython profile locate foo # find foo prof…

还是打算选择python学习spark编程 因为java写函数式比较复杂,scala学习曲线比较陡峭,而且sbt和eclipse和maven的结合实在是让人崩溃,经常找不到主类去执行 python以前没用过但是名声在外,可以很方便的进行数据处理 在eclipse中集成pydev插件去编写python程序已经学习过了 今天使用了一下anaconda集成一起的python开发环境,感觉很不错 尤其是ipython notebook或者称为jupyter notebook很方便的进行可视化 但是如何在…

Jupyter notebook入门 [TOC] Jupyter notebook 是一种 Web 应用,能让用户将说明文本.数学方程.代码和可视化内容全部组合到一个易于共享的文档中. Jupyter Notebook 已迅速成为处理数据的必备工具.其用途包括数据清理和探索.可视化.机器学习和大数据分析. 安装 Jupyter notebook 目前,安装 Jupyter 的最简单方法是使用 Anaconda.该发行版附带了 Jupyter notebook.你能够在默认环境下使用 notebo…

每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- 安装完anaconda,就相当于安装了Python.IPython.集成开发环境Spyder.一些包等等.是一个IDE.安装包的大杂烩,很好很强大,官方下载链接:https://www.continuum.io/downloads 下载后,直接安装即可,炒鸡方便. ----------------------------------------…

最近项目需要改写jupyter notebook的内核,由于内功不够,英语过差,读文档真的是心痛,然后各种搜索找到了一篇不错的讲解. 转自:http://blog.just4fun.site/jupyter-notebook-architecture.html 在jupyter主页上,官方有对其做个简要说明: The Jupyter Notebook is based on a set of open standards for interactive computing. Think HTML…

1.快捷键 Jupyter Notebook 有两种键盘输入模式.编辑模式,允许你往单元中键入代码或文本:这时的单元框线是绿色的.命令模式,键盘输入运行程序命令:这时的单元框线是灰色. 命令模式 (按键 Esc 开启) Enter : 转入编辑模式 Shift-Enter : 运行本单元,选中下个单元 Ctrl-Enter : 运行本单元 Alt-Enter : 运行本单元,在其下插入新单元 Y : 单元转入代码状态 M :单元转入markdown状态 R : 单元转入raw状态 1 : 设定…

一.Jupyter Notebook 介绍 文学编程 在介绍 Jupyter Notebook 之前,让我们先来看一个概念:文学编程 ( Literate programming ),这是由 Donald Knuth 提出的编程方法.传统的结构化编程,人们需要按计算机的逻辑顺序来编写代码:与此相反,文学编程则可以让人们按照自己的思维逻辑来开发程序. 简单来说,文学编程的读者不是机器,而是人. 我们从写出让机器读懂的代码,过渡到向人们解说如何让机器实现我们的想法,其中除了代码,更多的是叙述性的文字…