tushare获取股票每日重要的基本面指标数据，并存入Elasticsearch

tushare是一个开放的，免费的金融数据平台,包含沪深股票数据，指数数据，基金数据，期货数据，期权数据，债券数据，外汇数据，港股数据，行业经济数据，宏观经济数据以及新闻快讯等特色数据。其中以沪深股票数据最为丰富，包含了有：

• 基础数据
  • 股票列表
  • 交易日历
  • 股票曾用名
  • 沪深股通成分股
  • 上市公司基本信息
  • 上市公司管理层
  • 管理层薪酬和持股
  • IPO新股上市
• 行情数据
  • 日线行情
  • 周线行情
  • 月线行情
  • 复权行情
  • 复权因子
  • 停复牌信息
  • 每日指标
  • 通用行情接口
  • 个股资金流向
  • 每日涨跌停价格
  • 每日涨跌停统计
  • 沪深港通资金流向
  • 沪深股通十大成交股
  • 沪深股通持股明细
  • 港股通每日成交统计
  • 港股通每月成交统计
• 财务数据
  • 利润表
  • 资产负债表
  • 现金流量表
  • 业绩预告
  • 业绩快报
  • 分红送股数据
  • 财务指标数据
  • 财务审计意见
  • 主营业务构成
  • 财报披露日期表
• 市场参考数据
  • 港股通十大成交股
  • 融资融券交易汇总
  • 融资融券交易明细
  • 前十大股东
  • 前十大流通股东
  • 龙虎榜每日明细
  • 龙虎榜机构交易明细
  • 股权质押统计数据
  • 股权质押明细数据
  • 股票回购
  • 概念股分类表
  • 概念股明细列表
  • 限售股解禁
  • 大宗交易
  • 股票开户数据
  • 股票开户数据（旧）
  • 股东人数
  • 股东增减持

基本包含了沪深股票全部常用数据。

tushare 目前提供了四种获取数据的方式，分别为 http, Python SDK, Matlab SDK, R SDK。

这里介绍如何用Python SDK获取股票的每日指标数据。

(1)注册tushare用户，获取 token

注册网页链接为 https://tushare.pro/register?reg=369571

注册完成后可以在个人主页的接口TOKEN下看到自己的token

(2)安装 tushare

个人使用的python开发的IDE为 pycharm

pip install tushare -i https://pypi.tuna.tsinghua.edu.cn/simple

tushare依赖了numpy,pandas等一些库，安装完之后可能需要根据报错提示安装对应的库

（4）安装Elasticsearch

pip3 install elasticsearch -i https://pypi.tuna.tsinghua.edu.cn/simple

（5）调用tushare

这里把调用tushare的函数都封装在了一个文件里面，代码如下

import datetime
import time
import numpy as np
import tushare as ts

ts.set_token('b15148f5ca285bd0e85bbc3f659daefff549ade3bba06fae6a037f03')
pro = ts.pro_api()

# 股票列表
def get_all_stock():
    stocks = pro.stock_basic(exchange='', list_status='L', fields='ts_code,symbol,name,fullname,area,industry,list_date')
    return stocks

# 每日指标
def get_daily_basic(share_code, start_date, end_date):
    while 1:
        try:
            df = pro.daily_basic(ts_code=share_code, start_date=start_date, end_date=end_date, timeout=60)
            return df
        except:
            print("get_daily_basic 获取失败，参数为：", share_code, start_date, end_date)
            time.sleep(0.5)

stock_basic接口用于获取股票列表，本接口文档网址：https://tushare.pro/document/2?doc_id=25

daily_basic接口用于获取每日指标，网址：https://tushare.pro/document/2?doc_id=32。 这里用一个循环来获取，因为tushare对每分钟调用次数有限制（这也是为啥我要把数据保存到本地）,超过次数限制时会报错，所以我这里用一个except获取异常，等待0.5s后重新再试。

（6）保存到elasticsearch

保存到elasticsearch之前当然需要本机已经启动了elasticsearch。

关于elasticsearch的安装配置见我的另一篇博客https://www.cnblogs.com/betterwgo/p/11240821.html

python 调用 tushare，并将数据保存到elasticsearch的代码如下：

# 每日指标
import configparser
import logging

import numpy as np
from elasticsearch import Elasticsearch
from elasticsearch import helpers

import stock_parser as parser

logger = logging.getLogger(__name__)
logger.setLevel(level=logging.INFO)
handler = logging.FileHandler("log_daily_basic.txt")
handler.setLevel(logging.INFO)
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)
logger.addHandler(handler)
logger.info("Start print log")

config = configparser.ConfigParser()
config.read("config.ini")
latest_daily_basic_tscode = config.get("daily", "latest_daily_basic_tscode")

es = Elasticsearch([{'host': '127.0.0.1', 'port': 9200}])

# ts_code                str    TS股票代码
# trade_date            str    交易日期
# close                    float    当日收盘价
# turnover_rate            float    换手率（%）
# turnover_rate_f        float    换手率（自由流通股）
# volume_ratio            float    量比
# pe                    float    市盈率（总市值/净利润）
# pe_ttm                float    市盈率（TTM）
# pb                    float    市净率（总市值/净资产）
# ps                    float    市销率
# ps_ttm                float    市销率（TTM）
# total_share            float    总股本 （万股）
# float_share            float    流通股本 （万股）
# free_share            float    自由流通股本 （万）
# total_mv                float    总市值 （万元）
# circ_mv                float    流通市值（万元）
body = {
    "mappings": {
        "properties": {
            "ts_code": {
                "type": "keyword"
            },
            "trade_date": {
                "type": "integer"
            },
            "close": {
                "type": "float"
            },
            "turnover_rate": {
                "type": "float"
            },
            "turnover_rate_f": {
                "type": "float"
            },
            "volume_ratio": {
                "type": "float"
            },
            "pe": {
                "type": "float"
            },
            "pe_ttm": {
                "type": "float"
            },
            "pb": {
                "type": "float"
            },
            "ps": {
                "type": "float"
            },
            "ps_ttm": {
                "type": "float"
            },
            "total_share": {
                "type": "float"
            },
            "float_share": {
                "type": "float"
            },
            "free_share": {
                "type": "float"
            },
            "total_mv": {
                "type": "float"
            },
            "circ_mv": {
                "type": "float"
            }
        }
    }
}
index = 'index_daily_basic'
es.indices.create(index=index, body=body, ignore=400)

def check_float(item, x_name):
    x = item[x_name]
    if x is None or np.isnan(x):
        x = 0.0
        logger.info("%s %s %s is None or nan" % (item['ts_code'], item['trade_date'], x_name))
    return x

def es_insert_daily_basic(df):
    actions = []
    for i in range(len(df)):
        df_item = df.iloc[i]
        tscode = df_item['ts_code']
        trade_date = int(df_item['trade_date'])
        x = tscode.split('.', 1)
        col_name = x[1] + x[0]
        _id = col_name + df_item['trade_date']

        close = check_float(df_item, 'close')
        turnover_rate = check_float(df_item, 'turnover_rate')
        turnover_rate_f = check_float(df_item, 'turnover_rate_f')
        volume_ratio = check_float(df_item, 'volume_ratio')
        pe = check_float(df_item, 'pe')
        pe_ttm = check_float(df_item, 'pe_ttm')
        pb = check_float(df_item, 'pb')
        ps = check_float(df_item, 'ps')
        ps_ttm = check_float(df_item, 'ps_ttm')
        total_share = check_float(df_item, 'total_share')
        float_share = check_float(df_item, 'float_share')
        free_share = check_float(df_item, 'free_share')
        total_mv = check_float(df_item, 'total_mv')
        circ_mv = check_float(df_item, 'circ_mv')
        action = {
            "_index": index,
            "_type": "_doc",
            "_id": _id,
            "_source": {
                "ts_code": ts_code,
                "trade_date": trade_date,
                "close": close,
                "turnover_rate": turnover_rate,
                "turnover_rate_f": turnover_rate_f,
                "volume_ratio": volume_ratio,
                "pe": pe,
                "pe_ttm": pe_ttm,
                "pb": pb,
                "ps": ps,
                "ps_ttm": ps_ttm,
                "total_share": total_share,
                "float_share": float_share,
                "free_share": free_share,
                "total_mv": total_mv,
                "circ_mv": circ_mv
            }
        }
        # 形成一个长度与查询结果数量相等的列表
        actions.append(action)
        if i % 1000 == 0 or i == (len(df) - 1):
            helpers.bulk(client=es, actions=actions)
            actions.clear()
    actions.clear()

def update_latest_daily_basic_tscode(tscode):
    config.set("daily", "latest_daily_basic_tscode", tscode)
    # write to file
    with open("config.ini", "w+") as f:
        config.write(f)

# 更新单只股票
def update_daily_basic(tscode, start_date, end_date):
    df = parser.get_daily_basic(tscode, start_date, end_date)
    es_insert_daily_basic(df)
    return len(df)

if __name__ == "__main__":
    # 获取全部上市股票代码
    stocks = parser.get_all_stock()
    bIn = True
    for i in range(len(stocks)):
        stock = stocks.iloc[i]
        ts_code = stock['ts_code']
        if latest_daily_basic_tscode == ts_code:
            bIn = False
        if not bIn:
            count = update_daily_basic(ts_code, '20000101', '')
            print(i, ts_code, count)
            update_latest_daily_basic_tscode(ts_code)
        else:
            print(i, ts_code)

这里日志用的logging，没具体研究一股脑全搬上来了，反正我只需要打印个错误日志就行。

然后还用了一个  configparser 来解析 ini 配置文件，config.ini文件中配置如下信息：

[daily]
latest_daily_basic_tscode = 000001.SZ

配置文件的目的是再程序中断后重新启动不用从第一个开始，直接从配置文件中的开始。获取股票列表的接口的第一条是 000001.SZ，所以这里初始配置为它，这里其实可以优化一下。

数据保存到elasticsearch用的是 helps中的bulk函数，做批量索引

看一下保存的结果情况：

tushare注册: https://tushare.pro/register?reg=369571

---