要做量化投资,数据是基础,正所谓"巧妇难为无米之炊" 在免费数据方面,各大网站的财经板块其实已提供相应的api,如新浪.雅虎.搜狐...可以通过urlopen相应格式的网址获取数据 而TuShare正是这么一个免费.开源的python财经数据接口包,已将各类数据整理为dataframe类型供我们使用. 主要用到的函数: 1.实时行情获取 tushare.get_today_all() 一次性获取当前交易所有股票的行情数据(如果是节假日,即为上一交易日,结果显示速度取决于网速) 2.历史

首先我们来安装python 1.首先进入网站下载:点击打开链接(或自己输入网址https://www.python.org/downloads/),进入之后如下图,选择图中红色圈中区域进行下载. 

第一:静态页面和动态页面 上一篇博客介绍了HTTP后,我们知道一个web server的本质就是 浏览器发送一个HTTP请求: 服务器收到请求,生成一个HTML文档: 服务器把HTML文档作为HTTP响应的Body发送给浏览器: 浏览器收到HTTP响应,从HTTP Body取出HTML文档并显示. 用户的请求的结果可分为静态页面和动态页面两种 静态页面:是实实在在保存在服务器上写死了的html代码,每个网页都是一个独立的文件,所有的访问者看到的内容都一样 动态页面:动态的概念意味着变,程序中体现

變量 變量主要是用來存東西,是存在內存裡 Python 變量寫法: name = "Nobody One" Shell Script 變量寫法: name="Nobody One" 依照上面的代碼來看,語言的不同,變量使用的寫法也會不同 #!/usr/bin/env python3 # -*- coding:utf-8 -*- name = "Nobody One" name2 = name print("My name is:&quo

python通过代理刷网页点击量 更新异常处理情况 @time 2013-0803 更新循环里计数问题和随机等待时间问题 #!/usr/bin/python #-*- coding:utf-8 -*- ''' 此脚本主要实现网页的点击量,除了实现次功能点外,还有三个知识点: 1.随机获取代理ip,通过代理ip访问指定站点,其目的是防止ip被封 2.访问一个页面后,随机休息几秒,再访问,其目的是防止网站前面有4-7层过滤设备拦截 3.修改http的user agent字段,有些网站和4-7层设备会

功能 自己主动获取CSDN文章列表,并对每篇文章添加点击量. 源代码 import urllib.request import re import time import random from bs4 import BeautifulSoup p = re.compile('/a359680405/article/details/........') #自己的博客主页 url = "http://blog.csdn.net/a359680405" #使用build_opener()是

两个不起眼但是比较重要的设定 Python str类型的字面量解释器 当反斜杠及其紧接字符无法构成一个具有特殊含义的序列('recognized escape sequences')时,Python选择保留全部字符.直接看例子: >>> '\c' '\\c' >>> '\d' '\\d' 官方管'\c'这种序列叫'unrecognized escape sequences'.官方文档相应部分: Unlike Standard C, all unrecognized es

哈哈,今天的话题有点那什么了哈.咱们应该秉承学习技术的角度来看,那么就开始今天的话题吧. 思路来源 今天很偶然的一个机会,听到别人在谈论现在的"刷量"行为,于是就激发了我的好奇心.然后看了下requests模块正好对我有用,就写了一个简单的测试用例.神奇的发现这一招竟然是管用的.那还等什么,开刷咯. 前奏 思路很简单,就是一个发送请求的实现,就可以了.代码如下: headers = { 'referer':'http://blog.csdn.net/', 'User-Agent':'M

#!/user/bin/env python # @Time :2018/6/6 10:10 # @Author :PGIDYSQ #@File :FileBackup2.py import os import filecmp import shutil import sys import time,sched '''定时任务备份,增量备份''' schedule = sched.scheduler(time.time, time.sleep) def autoBackup(scrDir,dst

一.变量 变量就是将一些运算的中间结果暂存到内存中,以便后续代码块调用. 规范: 1.必须由数字.字母.下划线任意组合,且不能数字开头. 2.不能是python中的关键字.如:‘print’ 'and' 'or' 'break' 3.变量具有可描述性 4.不能是中文(看着很捞) 二.常量 一直不变的量. 如 派 π 在python里面所有的变量都是可变的,所以用全部大写的变量名来代表次变 量为常量 如 BIR_OF_CHINA =1949 三.基础数据类型初始 1.整形:int 2.字符串:st

变量的作用: 1.保存信息  方便日后被调用 操作 2. 更改 代表描述性的意思 让人明白是什么意思 行业命名规则: 1.student_number 2.studentNumber 驼峰体 不要以大写开头 以上两者都可以 常量: 不变的量  python里面所有的量都是变量 为了区分常量和变量  所以大写开头的量代表这是个常量 变量命名规则: 1.只能是数字  字母组成  不可以特殊字符. 2.有描述性 3.不能以中文为变量名 但是python中支持以中文作为变量名. 4.不能以数字 空格 开

變量 *args 和 **kwargs ( *和**為本體,名稱為通俗的名稱約定 ) *args 用於函式定義. 可將不定數量的參數傳遞給一個函數,傳入函式的引數,會先以Tuple物件收集,再設定給參數 def test_var_args(f_arg, *arg): print("first normal arg:", f_arg) for arg1 in arg: print("another arg through *argv:", arg1) test_var

Timer定时任务 下面是Timer函数的官方doc介绍信息 """ Call a function after a specified number of seconds: t = Timer(30.0, f, args=None, kwargs=None) t.start() t.cancel() # stop the timer's action if it's still waiting """ 第一个参数时指定多长时间之后执行这个函数,

目标: 1.传入3个参数:源文件路径,目标文件路径,md5文件 2.每周一实现全量备份,其余时间增量备份 1.通过传入的路径,获取该路径下面的所有目录和文件(递归) 方法一:使用os.listdir 代码如下: #!/usr/bin/env python #coding:utf8 import os,sys def lsdir(folder): contents = os.listdir(folder) print "%s\n%s\n" % (folder, contents) for

python从数据库获取全量数据的方法 学习了:https://blog.csdn.net/lom9357bye/article/details/79503658 原文膜拜: import psycopg2.pool from datetime import datetime # 批量查询大小 batch_size = 1000 def cursor_query(): # 使用数据库连接池,使用普通的连接方法运行貌似也会内存飙升,因此改为了连接池 simple_conn_pool = psyco

為何 Python 變量沒有 Data Type 概念 ? 可以與任意 Data Type 綁定? Python 變量 Variable 與其他程式語言不同之處在於: > variable 不是對內存地址 ram address 的引用,而是對 data 的引用 > variable 被重新 assign 新値時,Python 新分配此data 存儲空間,而 variable 指向此新的地址 例如: 啟動 Python時,其 name space 如下: >>> global

Python程序文件如下: # -*- coding: utf-8 # File : start.py # Author : baoshan import json import pymysql import cx_Oracle import pandas as pd def main(): dataSum = [] connInfo = "connInfo.json" # 配置文件名称 connFile = open(connInfo, 'r', encoding='utf8') c

Python 适合大数据量的处理吗? python 能处理数据库中百万行级的数据吗? 处理大规模数据时有那些常用的python库,他们有什么优缺点?适用范围如何? 需要澄清两点之后才可以比较全面的看这个问题: 1. 百万行级不算大数据量,以目前的互联网应用来看,大数据量的起点是10亿条以上. 2. 处理的具体含义,如果是数据载入和分发,用python是很高效的:如果是求一些常用的统计量和求一些基本算法的结果,python也有现成的高效的库,C实现的和并行化的:如果是纯粹自己写的算法,没有任何其他

工作需要使用 python 处理 mongodb 数据库两亿数据量去重复,需要在大数据量下快速判断数据是否存在 参考资料:https://segmentfault.com/q/1010000000613729 网上了解到 Bloom Filter ,Bloom filter 是由 Howard Bloom 在 1970 年提出的二进制向量数据结构,它具有很好的空间和时间效率,被用来检测一个元素是不是集合中的一个成员. 关于 Bloom Filter 的详细介绍请参考:百度百科 使用Python可

作为一个博客新人,对自己博客的访问量也是很在意的,刚好在学python爬虫,所以正好利用一下,写一个python程序来监控博客文章访问量 效果 代码会自动爬取文章列表,并且获取标题和访问量,写入excel,并且对新加入的文章也有作用 解析HTML html通过beautifulsoup来解析,由于是静态的网页,数据直接在网页中,而不是生成的,所以直接提取出来就可以 提取文章标题和访问量 通过观察HTML 我们发现每一个文章都存储在一个类名为'article-item-box csdn-track

lambda是Python编程语言中使用频率较高的一个关键字.那么,什么是lambda?它有哪些用法?网上的文章汗牛充栋,可是把这个讲透的文章却不多.这里,我们通过阅读各方资料,总结了关于Python中的lambda的"一个语法,三个特性,四个用法,一个争论".欢迎阅读和沟通(个人微信: slxiaozju). 由于文章是从我的公众号上复制过来的,因此排版不整齐,但是内容绝对充实,欢迎关注公众号阅读原文 一个语法 在Python中,lambda的语法是唯一的.其形式如下:  lambd