如果要求你进行一个表数据的导出,如果使用shell的话,很容易做到,即执行一下 select 语句就可以拿到返回结果了!

如下:

/usr/bin/mysql -u"${username}" -p"${password}" --host=${host} -D"${database}" <  ${sql_script_path} > ${export_data_full_path1};

  如上执行完成之后,数据就被导出到 export_data_full_path1 指定的文件位置去了。

  如果想要使用 excel 格式来打开,有一个很简单的方法,即把后缀名命名为: .xls 就可以了。唯一的缺点是,此时你可能看到一个提示,即:文件名后缀与具体的格式不匹配等等!但是你仍然可以正常打开!

  但是对于有中文一类的导出操作,则又是,另一番景象了!不过我们可以通过一个简单的编码转换来解决这个问题!

iconv -futf8 -tgb2312 -o ${export_data_full_path1} ${export_data_full_path1};

  转换之后,即使有中文也能正常查看了!

  至于使用 shell 进行发送邮件,则也是简单的一比!

echo "yesterday report infomation, FYI ." | mail -s "$yesterday_format report" -a ${export_data_full_path1} ${mail_receivers} 

完整的汇总数据sql 加 发送邮件 shell , 区区几行代码如下:

#!/bin/bash

sql_script_path="/scripts/report/report.sql";

# data sync target configs
host="127.0.0.1";
username="test";
password='';
database='test'; export_data_path_prefix="/data/report/export_datas";
mail_receivers="test@163.com"; yesterday_format=`date '+%Y-%m-%d' -d '-1 day'`;
export_data_full_path1="${export_data_path_prefix}/${yesterday_format}-Report.xls"; /usr/bin/mysql -u"${username}" -p"${password}" --host=${host} -D"${database}" < ${sql_script_path} > ${export_data_full_path1}; iconv -futf8 -tgb2312 -o ${export_data_full_path1} ${export_data_full_path1}; # todo: send mail begin
echo '$yesterday_format report infomation, FYI .' | mail -s "$yesterday_format report" -a ${export_data_full_path1} ${mail_receivers} echo `date '+%Y-%m-%d %H:%I:%S'` "over!"

如上,完成了使用 shell 进行汇总数据,并导出 excel 发送邮件的功能了!优缺点如下:

  优点: 1. 简单!

  缺点: 1. 不能支持复杂格式的指定! 2. 需要安装 mysql-client 包!

所以,针对上面问题,尤其是不支持复杂格式的指定问题,注定我们需要一个更完善的方式来实现!即使用 python 等一类强大语言支持!

  同样,我们对这类操作有两大要求: 1. 简单; 2. 支持复杂操作; 很明显,python 在这种场景下很得心应手!

  我们先来看一下完整实现:

#!/usr/bin/env python
# -*- coding: utf-8 -*- # need install components: openpyxl, pymysql
from openpyxl import Workbook
import pymysql
import time
import sys
from email.mime.application import MIMEApplication
from email.mime.multipart import MIMEMultipart
from email.header import Header
from email.utils import formataddr
import smtplib
import random class MysqlClient:
# create connection to mysql
def __init__(self, db_host, user, password, database, port=10000, authMechanism="PLAIN"):
self.conn = pymysql.connect(host=db_host,
port=port,
user=user,
password=password,
database=database,
)
def query(self, sql):
with self.conn.cursor() as cursor:
cursor.execute(sql)
return cursor.fetchall()
def close(self):
self.conn.close() class MailClient:
# initial account info
def __init__(self, sender_account, sender_pass, report_date):
self.sender_account = sender_account
self.sender_pass = sender_pass
self.report_date = report_date
def send_mail(self, receivers, subject, msg_content, xls_file_path):
try:
msg = MIMEMultipart()
attach = MIMEApplication(open(xls_file_path, 'rb').read())
attach.add_header('Content-Disposition', 'attachment', filename=self.report_date + '-Reprot.xlsx')
msg.attach(attach)
body = MIMEText(msg_content, 'html', 'utf-8')
msg.attach(body)
msg['From'] = self.sender_account
msg['To'] = ','.join(receivers)
msg['Subject'] = Header(subject, 'utf-8')
server = smtplib.SMTP_SSL("smtp.exmail.qq.com", 465)
server.login(mail_sender, sender_pass)
server.sendmail(mail_sender, receivers, msg.as_string())
server.quit()
print(self.report_date + '-----success')
except Exception as e:
print(self.report_date + '-----failed')
print(e) def create_xsls(info_report, xls_file_path):
mysql_client = MysqlClient(db_host='127.0.0.1', port=3306, user='test', password='test', database='testdb')
wb = Workbook()
inx_rep = 0
for report in info_report:
result = mysql_client.query(report.get('report_sql'))
if inx_rep == 0:
ws = wb.worksheets[0]
ws.title = report.get('rep_name')
else:
ws = wb.create_sheet(title=report.get('rep_name'))
titleidx = 0
titlenames = report.get('rep_title')
for titlename in titlenames.split(","):
if chr(ord('A') + titleidx) <= 'Z':
title_name = chr(ord('A') + titleidx)
else:
title_name = "A" + chr(ord('A') + titleidx - 26) ws[title_name + ""] = titlename
titleidx = titleidx + 1
row_num = 2
for line in result:
titleidx = 0
for titlename in titlenames.split(","):
if chr(ord('A') + titleidx) <= 'Z':
title_name = chr(ord('A') + titleidx)
else:
title_name = "A" + chr(ord('A') + titleidx - 26) ws[title_name + str(row_num)] = line[titleidx]
titleidx = titleidx + 1
row_num = row_num + 1
inx_rep = inx_rep + 1
wb.save(xls_file_path) def main(argv):
if(argv[1] == 'user_reg'):
test_sql = '''SELECT DATE(create_time) AS 日期, user_flag AS 用户类型,
FROM t_user s
WHERE create_time>='2019-01-01' AND repay_time<=DATE_ADD(NOW(),INTERVAL 1 DAY)
GROUP BY DATE(create_time),user_flag
LIMIT 1000;
'''
info_report = [{"rep_name":"测试工单","rep_title":"日期,用户类型,注册来源","report_sql":test_sql}]
receivers = ['test2@163.com']
else:
pass; report_date = time.strftime('%Y%m%d', time.localtime())
rep_rand = random.randint(100, 999)
xls_file_path = '/mnt/data/report/data/' + argv[1] + '-' + report_date + '-Reprot' + str(rep_rand) + '.xlsx';
create_xsls(info_report, xls_file_path)
mail_client = MailClient(sender_account='test@163.cn', sender_pass='', report_date=report_date)
mail_client.send_mail(receivers, subject='测试主题', msg_content='测试body', xls_file_path=xls_file_path) if __name__ == "__main__":
main(sys.argv)

如上代码,代码本身很短,实际逻辑也很简单!

  1. 定义好各种参数,如 文件名,数据库连接参数信息,邮件主题等信息;

  2. 调用mysql模块进行数据查询;

  3. 调用 workbook excel 模块进行 excel 文件内容填充;

  4. 调用邮件发送模块进行邮件发送,包括附件;

最后,对于报表类,处理,我们一般要求每天进行汇总,对于这类请求,我们可以简单地使用 crontab 进行定时调度实现即可!

其中,稍微有几点要注意下的就是:

  1. 必须先安装 openpyxl, pymysql 两个基础模块的依赖;

pip install openpyxl pymysql

  2. 进行表单数据填充时,注意标题与数据的对位问题;

  3. smtp 默认是25端口进行邮件发送,但是在某些情况无法使用 25 端口,如阿里云服务器环境,所以可以使用465端口进行发送;

  4. 当需要进行附件的发送时,需要使用  MIMEMultipart 进行封装;

虽然也有些事项注意起来让我们感觉很烦,但是已经很简单了,这也 python 会这么流行的原因吧!

  可作参考!

使用 shell / python 进行sql的excel报表导出的更多相关文章

  1. Java Excel报表导出Demo

    /** * 一级权限数据导出 * @return */ @RequestMapping(value = "/getExportData", method = RequestMeth ...

  2. 如何将jsp页面的table报表转换到excel报表导出

    假设这就是你的jsp页面: 我们会添加一个“导出到excel”的超链接,它会把页面内容导出到excel文件中.那么这个页面会变成这个样子 在此,强调一下搜索时关键词的重要性,这样一下子可以定位到文章, ...

  3. Java 复杂excel报表导出

    MyExcel,是一个可直接使用Html文件,或者使用内置的Freemarker.Groovy.Beetl等模板引擎Excel构建器生成的Html文件,以Html文件中的Table作为Excel模板来 ...

  4. python自动生成excel报表

    1.将SQL语句查询的内容,直接写入到excel报表中,以下为全部脚本.要求:此版本必须运维在windows平台,并且安装了excel程序,excel版本不限. python版本为2.7 if b 判 ...

  5. Python 实现自动化 Excel 报表

    Py 实现自动化Excel报表 好几个月没有写笔记了, 并非没有积累, 而是有点懒了. 想想还是要续上, 作为工作成长的一部分哦. 最近有做一些报表, 但一直找不到一个合适的报表工具, 又实在不想写前 ...

  6. Flex导出excel报表

    sheetToExcel.java 1 package tree; 2 import java.io.BufferedInputStream; 3 import java.io.File; 4 imp ...

  7. Excel报表

    Excel报表 1.Excel报表导入到GridView protected void Page_Load(object sender, EventArgs e) { string path = Se ...

  8. 根据模板导出Excel报表并生成多个Sheet页

    因为最近用报表导出比较多,所有就提成了一个工具类,本工具类使用的场景为  根据提供的模板来导出Excel报表 并且可根据提供的模板Sheet页进行复制 从而实现多个Sheet页的需求, 使用本工具类时 ...

  9. 根据模板导出Excel报表并复制模板生成多个Sheet页

    因为最近用报表导出比较多,所有就提成了一个工具类,本工具类使用的场景为  根据提供的模板来导出Excel报表 并且可根据提供的模板Sheet页进行复制 从而实现多个Sheet页的需求, 使用本工具类时 ...

随机推荐

  1. Spring Boot + Websocket + Thymeleaf + Lombok

    https://github.com/guillermoherrero/websocket 验证错误消息文件名字:是默认名ValidationMessages.properties,编译后存放在cla ...

  2. 在JavaWeb项目中URL中字符串加密解密方案

    URL由来: 一般来说,URL只能使用英文字母.阿拉伯数字和某些标点符号,不能使用其他文字和符号.比如,世界上有英文字母的网址 “http://www.abc.com”,但是没有希腊字母的网址“htt ...

  3. web优化(一)

    今天读完了<高性能网站建设进阶指南>,记得博客园的某位前辈说,关于前端方面的书,带指南两个字的一般都是比较牛逼的,上一本看到的好书是<javascript权威指南>是淘宝前段团 ...

  4. python之@property

    在绑定属性时,如果我们直接把属性暴露出去,虽然写起来很简单,但是,没办法检查参数,导致可以把成绩随便改: s = Student() s.score = 9999 这显然不合逻辑.为了限制score的 ...

  5. python3 os模块的常用功能及方法总结

    1.os.getcwd()     #显示当前工作路径 2.os.listdir('dirname')    #返回指定目录下的所有文件和目录名 3.os.remove('filename')     ...

  6. SSIS 调试和故障排除

    SSIS内置的调试工具是非常完备的,主要是设置断点和查看变量值,这是在Package的设计阶段可以使用的工具,在Package部署到服务器之后,用户还可以使用事件处理程序以实现Package出错的自我 ...

  7. [NOI赛前训练]——专项测试3·数学

    由于并不想写T1和T2的题解……所有只有T3的题解了. T3 由于内部题就只写题解了. 好吧,我是一点都不想写…… 说一下这zz题解哪里写错了吧…… ……不想写…… 就说一个吧…… $n-\frac{ ...

  8. 【树形dp】Bzoj3391 [Usaco2004 Dec]Tree Cutting网络破坏

    Description     约翰意识到贝茜建设网络花费了他巨额的经费,就把她解雇了.贝茜很愤怒,打算狠狠报 复.她打算破坏刚建成的约翰的网络.    约翰的网络是树形的,连接着N(1≤N≤1000 ...

  9. bzoj 3195 奇怪的道路 状压dp

    看范围,状压没毛病 但是如果随便连的话给开1<<16,乘上n,m就爆了 所以规定转移时只向回连边 于是想状态数组:f[i][j]表示到i这里i前K位的状态为j(表示奇偶) 发现有条数限制, ...

  10. 【实战小项目】python开发自动化运维工具--批量操作主机

    有很多开源自动化运维工具都很好用如ansible/salt stack等,完全不用重复造轮子.只不过,很多运维同学学习Python之后,苦于没小项目训练.本篇就演示用Python写一个批量操作主机的工 ...