本文作者:hhh5460 大数据分析,内存不够用怎么办? 当然,你可以升级你的电脑为超级电脑. 另外,你也可以采用硬盘操作. 本文示范了硬盘操作的一种可能的方式. 本文基于:win10(64) + py3.5 本人电脑配置:4G内存 说明: 数据大小:5.6G 数据描述:自2010年以来,纽约的311投诉 数据来源:纽约开放数据官网(NYC's open data portal) 数据下载:https://data.cityofnewyork.us/api/views/erm2-nwe9/row…

<零起点,python大数据与量化交易>,这应该是国内第一部,关于python量化交易的书籍. 有出版社约稿,写本量化交易与大数据的书籍,因为好几年没写书了,再加上近期"前海智库·zw大数据"项目,刚刚启动. 因为时间紧,只花了半天时间,整理框架和目录. 说是v0.1版,但核心框架已经ok:从项目角度而言,完成度,已经超过70%,剩下的只是体力活. 完成全本书,需要半年以上连续时间,本人没空,大家不要再问:"什么时间可以完成." 配合zwPython,这…

零起点Python大数据与量化交易 第1章 从故事开始学量化 1 1.1 亿万富翁的“神奇公式” 2 1.1.1 案例1-1:亿万富翁的“神奇公式” 2 1.1.2 案例分析:Python图表 5 1.1.3 matplotlib绘图模块库 7 1.1.4 案例分析:style绘图风格 10 1.1.5 案例分析:colormap颜色表 12 1.1.6 案例分析:颜色表关键词 14 1.1.7 深入浅出 17 1.2 股市“一月效应” 18 1.2.1 案例1-2:股市“一月效应” 18 1.…

学习量化交易推荐学习国内关于Python大数据与量化交易的原创图书<零起点Python大数据与量化交易>. 配合zwPython开发平台和zwQuant开源量化软件学习,是一套完整的大数据分析.量化交易的学习教材,可直接用于实盘交易.有三大特色:第一,以实盘个案分析为主,全程配有Python代码:第二,包含大量的图文案例和Python源码,无须专业编程基础,懂Excel即可开始学习:第三,配有专业的zwPython集成开发平台.zwQuant量化软件和zwDat数据包. 学习推荐: <零…

本文是Python大数据与机器学习系列文章中的第6篇,将介绍学习Python大数据与机器学习所必须的NumPy库. 通过本文系列文章您将能够学到的知识如下: 应用Python进行大数据与机器学习 应用Spark进行大数据分析 实现机器学习算法 学习使用NumPy库处理数值数据 学习使用Pandas库进行数据分析 学习使用Matplotlib库进行Python绘图 学习使用Seaborn库进行统计绘图 使用Plotly库进行动态可视化 使用SciKit-learn处理机器学习任务 K-Means聚…

Day37 Cookie&Seesion会话 1.1.1 什么是cookie 当用户通过浏览器访问Web服务器时,服务器会给客户端发送一些信息,这些信息都保存在Cookie中.这样,当该浏览器再次访问服务器时,都会在请求头中将Cookie发送给服务器,方便服务器对浏览器做出正确的响应. 1.1.2   1.1.3   1.1.4   1.1.5 会话技术 l 概念: 用户打开浏览器,点击多个超链接访问服务器的web资源,然后关闭浏览器,整个过程称之为一次会话.(打电话) l 作用: 每个用户与服…

在这里还是要推荐下我自己建的Python开发学习群:483546416,群里都是学Python开发的,如果你正在学习Python ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有Python软件开发相关的),包括我自己整理的一份2018最新的Python进阶资料和高级开发教程,欢迎进阶中和进想深入Python的小伙伴. 同时还要大数据学习群:784557197 实战练习 在Jupyter Notebook上执行以下代码: import pandas as pd df = pd.Data…

http://blog.csdn.net/xnby/article/details/50782913 一句话总结:spark是一个基于内存的大数据计算框架, 上层包括了:Spark SQL类似HiveQL, Spark Streaming 实时数据流计算,MLlib 机器学习算法包,GraphX 图算法包 底层 SparkCore 实现了基本功能:任务调度,内存管理,错误恢复,存储交互等,SparkCore还包含了对RDD(弹性分布式数据集)的API定义 RDD是Spark对计算任务封装,现在不…

一.三国演义人物出场统计 先检查安装包 1.jieba库基本介绍 (1)jieba库概述 jieba是优秀的中文分词第三方库 中文文本需要通过分词获得单个的词语 jieba是优秀的中文分词第三方库,需要额外安装 jieba库提供三种分词模式,最简单只需掌握一个函数 (2)jieba分词的原理 jieba分词依靠中文词库 利用一个中文词库,确定汉字之间的关联概率 汉字间概率大的组成词组,形成分词结果 除了分词,用户还可以添加自定义的词组 (3)jieba库使用说明 三种模式 :精确模式.全模式.搜…

最近研究seo和python如何结合,参考网上的一些资料,写的这个程序. 目的:分析某个行业(例如:圆柱模板)用户最关心的一些词,根据需求去自动调整TDK,以及栏目,内容页的规划 使用方法: 1.下载安装cygwin:http://www.cygwin.com/ 2.cygwin安装时别忘记安装curl,wget,iconv,lynx,dos2unix,Python等常用工具,特别是Python,这次主要就是用它了. 3.去下载jieba中文分词组件: 首选:https://github.com…