[ES]Python查询ES导出数据为Excel
版本
elasticsearch5.5.0
python3.7
说明
用python查询es上存储的状态数据,将查询到的数据用pandas处理成excel
code
# -*- coding: utf-8 -*-
# @Time : 2019/7/22 10:41
# @Author : Skyell Wang
# @FileName: es_data_get.py
from elasticsearch import Elasticsearch
import pandas as pd
import os
def elastic_data(vin):
"""
:param vin:
:return:
"""
# 连接es集群
es = Elasticsearch(["ip"],
http_auth=('elastic', 'password'),
port=9200)
# 根据特定条件获取数据
body = {
"query": {
"term": {
"vin": vin
}
}
}
# 取出vin odometer
para = {
"_source": "vin,odometer"
}
# 获取数据
query = es.search(index=ddfsdfd', doc_type='dfsf',
size=1000, body=body, params=para)
results = query['hits']['hits']
# 判断数据是否为空
if results == []:
print('vin数据不存在', vin)
else:
try:
# 存储逻辑:如果总里程数据存储,则正常存储,否则置为'null'
if 'odometer' not in results[0]['_source']:
results[0]['_source']['odometer'] = 0
print(results[0]['_source'])
else:
print(results[0]['_source'])
except NameError as e:
print(e)
return results[0]['_source']
if __name__ == "__main__":
path = "E:\MyCode\ML_InAction\data_analysis\data_do"
gc5_vin = "GC5_vin.csv"
gc5_vin_path = os.path.join(path, gc5_vin)
excel_file_name = 'GC5_data.xlsx'
excel_path = os.path.join(path, excel_file_name)
# 获取csv文件中固定列(vehicle_identifier)
df_data = pd.read_csv(gc5_vin_path, usecols=['vehicle_identifier'])
vin_data_list = []
for i in range(len(df_data)):
data_gc5 = elastic_data(df_data['vehicle_identifier'][i])
# 判断是否为字典类型,如果是则存入list中
is_dict = isinstance(data_gc5, dict)
if is_dict:
vin_data_list.append(data_gc5)
# 转成dateframe类型,并存入excel
vin_data_df = pd.DataFrame(vin_data_list)
vin_data_df.to_excel(excel_path, index=False)
print("任务已完成!")
[ES]Python查询ES导出数据为Excel的更多相关文章
- [Python]查询mysql导出结果至Excel并发送邮件
环境:Linux +python2.7+mysql5.6 1.提前安装xlwt(excel写入操作模块),MySQLdb(mysql操作模块) 2.脚本如下: #!/usr/bin/python #c ...
- [Python]查询oracle导出结果至Excel并发送邮件
环境:Linux +python2.7+oracle11g 1.提前安装xlwt(excel写入操作模块),cx_Oracle(oracle操作模块) cx_Oracle的安装步骤详见链接:https ...
- 使用python脚本从数据库导出数据到excel
python从数据库导出数据到excel 最近需要从数据库里导出一些数据到excel,刚开始我是使用下面的命令 select * from xxx where xxx into outfile 'xx ...
- python 导出数据到excel 中,一个好用的导出数据到excel模块,XlsxWriter
最近公司有项目需要导出数据到excel,首先想到了,tablib,xlwt,xlrd,xlwings,win32com[还可以操作word],openpyxl,等模块但是 实际操作中tablib 写入 ...
- Python导出数据到Excel表格-NotImplementedError: formatting_info=True not yet implemented
在使用Python写入数据到Excel表格中时出现报错信息记录:“NotImplementedError: formatting_info=True not yet implemented” 报错分析 ...
- ASP.NET导出数据到Excel 实例介绍
ASP.NET导出数据到Excel 该方法只是把asp.net页面保存成html页面只是把后缀改为xlc不过excel可以读取,接下连我看看还有别的方式能导出数据,并利用模版生成. 下面是代码 新建 ...
- 一个方便且通用的导出数据到 Excel 的类库
一个方便且通用的导出数据到 Excel 的类库 起源: 之前在做一个项目时,客户提出了许多的导出数据的需求: 导出用户信息 导出业务实体信息 各种查询都要能导出 导出的数据要和界面上看到的一致 可以分 ...
- Delphi 导出数据至Excel的7种方法【转】
一; delphi 快速导出excel uses ComObj,clipbrd; function ToExcel(sfilename:string; ADOQuery:TADOQuery): ...
- pl/sql developer导出数据到excel的方法
http://yedward.net/?id=92 问题说明:使用pl/sql developer导出数据到excel表格中是非常有必要的,一般的可能直接在导出的时候选择csv格式即可,因为该格式可以 ...
随机推荐
- spring boot项目下application.properties中使用logging.path和logging.file时的细节
logging.path仅仅用于指定日志输出的目录,且不能指定输出的文件名,且默认名为spring.log 若指定的是相对目录,则会生成在当前总项目的目录下 idea中新建sprnig boot项目 ...
- iptables详解之filter
iptables详解之filter iptables令很多小伙伴脑阔疼,下面我们来说说如何使用iptables. 一.iptables格式 1.1.iptables 帮助 通过iptables --h ...
- Java 的基本程序设计结构
从Hello Word入手 public class HelloWorld { /* 第一个Java程序 */ public static void main(String[] args) { Sys ...
- AWVS安全渗透扫描
1.打开软件,点击New Scan 2.在website url中输入被扫描的网址,点击next 3.在scanning profile中选择测试的漏洞类型,默认选择default(默认) 在scan ...
- Ubuntu分区方案
swap: 4G(跟你自己内存一样大):主分区:空间起始位置:用于交换空间 /boot: 300M(太小会导致软件无法升级):逻辑分区:空间起始位置:EXT4:/boot /: 30G:主分区:空间起 ...
- “零基础”如何快速掌握web前端核心技术?
前端开发要学的知识内容涉及的会很宽泛,虽然说主要是HTML.CSS和JavaScript这些基础知识点,今天想强调一下,学前端开发除了要学这些基础知识外,学员还要在这之上进行延伸和深入的去学,而且互联 ...
- Ubunut18 安装docker环境&&AWD攻防平台部署
docker:有两个版本:docker-ce(社区版)和docker-ee(企业版). 参考官网地址:https://docs.docker.com/engine/installation/linux ...
- [JZOJ5459]【NOIP2017提高A组冲刺11.7】密室
Description 小X 正困在一个密室里,他希望尽快逃出密室.密室中有N 个房间,初始时,小X 在1 号房间,而出口在N 号房间.密室的每一个房间中可能有着一些钥匙和一些传送门,一个传送门会单向 ...
- POJ 3020 Antenna Placement(二分图 匈牙利算法)
题目网址: http://poj.org/problem?id=3020 题意: 用椭圆形去覆盖给出所有环(即图上的小圆点),有两种类型的椭圆形,左右朝向和上下朝向的,一个椭圆形最多可以覆盖相邻的两 ...
- 盘点那些适配Linux的国产常用软件
前几天,10月24日,在这个程序员的节日里,腾讯时隔十一年,更新了QQ for Linux.瞬间,各大技术论坛,群聊,关于Linux的新QQ的话题不断.为什么QQ这么多年不更新QQ for Linux ...