通过python操作GeoLite2-City.mmdb库将nginx日志访问IP转换为城市写入数据库

【通过python操作GeoLite2-City.mmdb库将nginx日志访问IP转换为城市写入数据库】的更多相关文章

通过python操作GeoLite2-City.mmdb库将nginx日志访问IP转换为城市写入数据库

通过python操作GeoLite2-City.mmdb库将nginx日志写入数据库 # 创建存放nginx日志的表accesslog2 CREATE TABLE `accesslog2` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `logtime` datetime DEFAULT NULL, `ip` varchar(128) DEFAULT NULL, `url` text, `status` int(11) DEFAULT NULL, `lat…

python 操作excle 之第三方库 openpyxl学习

目录 python 操作excle 之第三方库 openpyxl学习安装 pip install openpyxl 英文文档链接 : 点击这里~ 1,定位excel 2,读取excle中的内容 3,写入,修改内容 4,文件保存 python 操作excle 之第三方库 openpyxl学习安装 pip install openpyxl 英文文档链接 : 点击这里~ 1,定位excel 新建excel和打开现有的excel import openpyxl wb1 = openpyxl.load…

操作文件-取出一个60s内log日志中ip访问次数超过100次的ip

import timea=0while True: d={} f = open(r"/Users/**juan/Downloads/access.log",encoding="utf-8") f.seek(a) for line in f: if line.split() !="": f1=line.split(" ")[0] if f1 not in d: d[f1]=1 else: d[f1] += 1 a=f.tell(…

数据库之redis篇（3）—— Python操作redis

虽然前面两篇已经说了redis的一些配置安装什么的,篇幅有点长,可能看完了也不知道怎么操作,这里再浓缩一下: 什么是redis redis完全开源免费的,遵守BSD协议,是一个高性能的非关系型key-value数据库, redis特点: redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用,相比memcache,redis可以持久化存储,这是memcache没有的. redis支持五种数据类型. redis支持数据库备份. redis优势: redis性能极…

【踩坑记录】记录一次使用Python logging库多进程打印日志的填坑过程

背景: 项目使用Python自带的logging库来打印日志项目部署在一台Centos7的机器上项目采用gunicorn多进程部署过程: 1.LOG日志代码封装: 采用logging库,并设置when='MIDNIGHT',以天为单位,进行日志分割,前一天的日志会自动加上前一天的日期,最新日志始终会打印到mock-service.log文件中,以下为log打印的封装 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2019/8…

学会用Python操作Mongodb

在linux下,用pip导包. pip install pymongo python操作基本步骤: 导包建立连接,建立客户端. 获取数据库获取集合对数据操作 import pymongo #建立连接并创建客户端 client = pymongo.MongoClient('127.0.1',27017) #获取数据库 db = client['mydb'] #获取集合 col = db['stu'] 数据操作基本方法增:分一次增一条和多条 #插入数据 col.insert_one({'na…

利用python分析nginx日志

最近在学习python,写了个脚本分析nginx日志,练练手.写得比较粗糙,但基本功能可以实现. 脚本功能:查找出当天访问次数前十位的IP,并获取该IP来源,并将分析结果发送邮件到指定邮箱. 实现前两项功能的脚本内容如下: #!/usr/bin/env python # coding:utf-8 # date:2015-12-10 # author:eivll0m import urllib import json url = 'http://ip.taobao.com/service/getI…