python 通过线上API查询ip归属地

API为国外API,频率限制1分钟45个ip 脚本如下 1 #!/usr/bin/env python3 2 #-*-coding:utf-8-*- 3 4 import requests,re,json,time,os 5 6 base_dir = os.path.dirname(os.path.abspath(__file__)) 7 filename= base_dir + '/ipinfo' 8 with open(base_dir+'/ipaddress','r') as e: 9 i…

[Ubuntu] geoip-bin 程序包 - 查询 IP 归属地

简述:在Linux命令行下查询IP归属地. 对Ubuntu/Debian系统,使用APT命令进行安装: $ sudo apt-get install geoip-bin 该包由MaxMind提供,它同时提供了国家.城市和自治系统号(ASN)查询. 自治系统号(ASN)是什么? ASN - Autonomous System Number:自治系统号. AS - Autonomous System:自治系统. 自治系统是指在互联网中,有权自主决定本地网络系统采取何种路由协议的小型单位. 这里所称的…

填坑！线上Presto查询Hudi表异常排查

1. 引入线上用户反馈使用Presto查询Hudi表出现错误,而将Hudi表的文件单独创建parquet类型表时查询无任何问题,关键报错信息如下 40931f6e-3422-4ffd-a692-6c70f75c9380-0_0-384-2545_20200513165135.parquet, start=0, length=67108864, fileSize=67108864, hosts=[], forceLocalScheduling=false, partitionName=dt=20…

任何快速查询IP归属地

最近公司项目需要做一个IP归属地查询的功能,想着如果用现成的API就可以大大提高开发效率,所以在网上的API商店搜索了一番,发现了 APISpace,它里面的IP归属地API非常符合我的开发需求. IP归属地API,根据IP地址查询归属地信息,包含国家.省.市.区县和运营商等信息. APISpace 有很多免费通用的API接口,利用这些接口可以帮你实现去开发出很多功能丰富,服务稳定的网页.APP还有小程序,无论是练手还是实战都是不错的选择. 接下来和大家分享一下接口的一些信息. IP…

Linux shell查询ip归属地

起因有的时候写脚本需要能够在脚本中获取到ip的归属地,比如分析登录日志列出攻击者的相关信息等. 可以使用whois来查询ip的详细信息,但是whois并不是每台机器预装的,而且我想看中文的结果,所以找到了一个个人认为设计的很棒的网站:https://ip.cn/index.php. 可以直接使用curl发请求查询,比如查某个攻击者的ip归属地: 哈,这就是我认为它设计的很棒的原因,同一个地址,用网页打开是一个效果,在命令行下请求返回结果又是另一个效果,命令行的返回结果很简洁,用过curl请求网…

python的线上环境配置

1.安装python 2.7 http://www.cnblogs.com/strikebone/p/3970512.html 2.安装相关前置工具 pip, Django http://www.cnblogs.com/strikebone/p/3958897.html 3.安装mysql的组件 http://www.cnblogs.com/strikebone/p/3975372.html 4.安装apxs, mod_wsgi yum install httpd-devel.x86_64…

python 利用cip.cc查询IP归属地

def ipinfocip(ip): # 获得输入框中的信息 url = "http://www.cip.cc/%s" % ip # 模拟浏览器请求网络 headers={'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0 request = url…

python 利用淘宝IP库查询IP归属地

#coding:utf-8 from django.test import TestCase import json import urllib ip = "114.114.114.114" url = "http://ip.taobao.com/service/getIpInfo.php?ip="+ ip #返回数据 jsondata = json.loads(urllib.urlopen(url).read()) print jsondata #省份 regio…

利用纯真ip地址库查询 ip所属地

1. 首先下周数据源,选择是纯真数据库:http://www.cz88.net/ 2. 安装后,打开软件,将数据导出为txt格式. 3. 处理数据,参照网上的文章(http://www.jb51.net/article/20511.htm),用vi打开,执行如下命令::%s/\s\+/;/ 执行3次. %s代表全局搜索替换,\s 代表空格 , \+ 代表尽可能多的匹配前面的字符,;代表替换成';'(我再实际操作的时候将:替换为tab了) 4. 创建表ip2 startip varchar 255…

JS 新浪API获取IP归属地

http://int.dpool.sina.com.cn/iplookup/iplookup.php?format=js 返回值数据格式:var remote_ip_info = {“ret”:1,”start”:”59.37.164.179″,”end”:”59.37.165.17″,”country”:”\u4e2d\u56fd”,”province”:”\u5e7f\u4e1c”,”city”:”\u6c5f\u95e8″,”district”:””,”isp”:”\u7535\u4fe1…

jquery 查询IP归属地

根据ip查询ip归属地

http://www.oschina.net/code/snippet_944819_33978 http://www.jb51.net/article/54287.htm public String getAddressByIP(String strIP) { try { //String strIP = "61.132.31.61"; URL url = new URL( "http://int.dpool.sina.com.cn/iplookup/iplookup.ph…

分布式存储 FastDFS-5.0.5线上搭建

前言: 由于公司项目需要,最近开始学习一下分布式存储相关知识,确定使用FastDFS这个开源工具.学习之初,自己利用VMware虚拟机搭建了一个5台机器的集群,摸清了安装过程中可能出现的问题和解决方案(http://www.cnblogs.com/PurpleDream/p/4510279.html ).后来在正式环境搭建的时候,自己安装的还是很顺利的,但是因为是线上环境,所以安装的时候就要注意集群设计等方面的问题. 如果您是第一次安装FastDFS5.0.5,建议先仔细…

svn利用钩子post-commit自动更新到线上测试服务器(测试中未验证)

创建一个新的版本库: [root@centos03 svn]# pwd /home/svn [root@centos03 svn]# svnadmin create webtest [root@centos03 svn]# tree webtest/ webtest/ ├── conf │ ├── authz │ ├── passwd │ └── svnserve.conf ├── db │ ├── current │ ├── format │ ├── fsfs.conf…

使用tcpcopy导入线上流量进行功能和压力测试

- 假设我们要上线一个两年内不会宕机的先进架构.在上线前,免不了单元测试,功能测试,还有使用ab,webbench等等进行压力测试. 但这些步骤非生产环境下正式用户的行为.或许你会想到灰度上线,但毕竟可能会影响到部分用户,这怎么对得起我们两年内不宕机的承诺呢? 好在网易的王斌开发了tcpcopy, 可以导入线上流量进行功能和压力测试. tcpcopy介绍 tcpcopy是一种请求复制工具.可以将线上流量拷贝到测试机器,实时的模拟线上环境.在不影响线上用户的情况下,使用线上流量进行测试,以尽早…

Vue 2.x 3.x 配置项目开发环境跟线上环境

先找到package.json (这是nuxt版的vue 可能会跟一般vue不一样当然总体上差不多的) "scripts": { "dev": "cross-env NODE_ENV=development nuxt", "pro": "cross-env NODE_ENV=production nuxt", "pre": "cross-env NODE_ENV=prer…

Python 实现批量查询IP并解析为归属地

一.背景: 最近工作中做了一个小功能,目的是为了分析注册用户区域分布和订单的区域分布情况.所以需要将其对应的IP信息解析为归属地,并同步每天同步更新.线上跑起来效率还是有优化的空间,优化的方向:在调用IP查询API过程可以调整为多线程并行解析IP.后续会更新这方便的调整.技术: Pyhton3 postgreSQL env配置文件附加信息:iP地址查询(iP138官方企业版):https://market.aliyun.com/products/56928004/cmapi015606.htm…

【源码】Python3使用Requests抓取和检测电光代理API,并查询ip代理是否成功

电光代理成立后,做一篇笔记,记录我使用Requests抓取和测试电光代理的方法很多人学习python,不知道从何学起.很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手.很多已经做案例的人,却不知道如何去学习更加高深的知识.那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!QQ群:1097524789 首先点击获取电光代理(需要支付少量费用,总体质量处于市面上开放代理第一梯队) 请获取一个属于您的代理API,如我的是 https:/…

关于解决python线上问题的几种有效技术

工作后好久没上博客园了,虽然不是很忙,但也没学生时代闲了.今天上博客园,发现好多的文章都是年终总结,想想是不是自己也应该总结下,不过现在还没想好,等想好了再写吧.今天写写自己在工作后用到的技术干货,争取以后多上博客园写写总结吧,真是怀念学生时代啊!!! 背景项目组开发的游戏客户端使用的脚本是python,服务器也是python.之所以选择python,主要还是基于开发效率的考虑,毕竟这是脚本语言天生的优势:其次就是有很多库,不用自己再造轮子了.可能使用过python的同学都会认为python比…

Linux基本命令（6）线上查询的命令

线上查询的命令命令功能 man 查询和解释一个命令的使用方法,以及这个命令的说明事项 locate 定位文件和目录 whatis 寻找某个命令的含义 6.1 man命令 man命令用来查询和解释一个命令的使用方法和这个命令的注意事项.这个查询查询在每个Linux上都有.通常,使用者只要输入命令man和这个命令的名称shell就会列出一份完整的说明.标准用法: man 命令的名称要查询ls命令的说明书页,输入命令: man ls 要翻阅说明书页,可以使用Page Up和Page Down键,…

Shell命令-线上查询及帮助之man、help

线上查询及帮助 - man.help 1.man:获取命令的帮助信息 man命令的简单介绍 man命令是Linux系统中最核心的命令之一 ,因为通过它可以查看其它Linux命令的使用信息.当然了 ,man命令不仅可以查看命令的使用帮助 ,还可以查看软件服务配置文件.系统调用.库函数等的帮助信息. man命令的功能说明 man命令用于查看命令的帮助信息. man命令的语法格式 man [参数选项] 命令/文件 man命令的选项说明 man 选项不常用,此处省略. man命令的实践操作范例1:使…

python docker 多进程提供稳定tensorflow gpu 线上服务

尝试了太多的python多进程的服务,在tensorflow 的线上GPU服务中总是不理想.tensorlfow serving docker服务这些也有些不便. 今天抽空给大家分享一个成功的经验.失败的坑就太多了,不扯了.包括mutiprocess 和gevent,都不太理想. 1.使用gunicorn.怎么使用的自己查一下. 2.gunicorn --bind 0.0.0.0:10010 -w 3 app_×××:app 3.在docker里这样启动后,虽然是多进程,但是速度并没有加快.怎…

《Python自动化测试修炼宝典》线上课程已经成功入驻网易云课堂......

<Python自动化测试修炼宝典>线上课程已经成功入驻网易云课堂...... IT测试老兵利用工作之余,亲自录制的<Python自动化测试修炼宝典>线上课程已经成功入驻网易云课堂,想要提高测试技术的小伙伴可以线上购买课程进行学习. 课程背景测试人员进阶实战课程.本套课程以作者多年测试实战经验为背景,结合大量测试案例深入浅出讲解目前主流web端.app端自动化测试框架以及使用Python如何从0到1实现接口测试框架的搭建. 课程特色系统教学+实战案例+开放源码.涵盖Python3…

150命令之线上查询及帮助命令 man hellp

150命令之线上查询及帮助命令 man 查询命令的帮助 man + 命令 NAME ls - list directory contents 命令+命令简单说明 SYNOPSIS ls [OPTION]... [FILE]... 命令如何使用名的格式 DESCRIPTION 命令的详细说明 List information about the FILEs (the current directory by default). Sort entr…

python查询IP地址所属地

1.linux命令行版 #!/usr/bin/python #-*- coding: utf-8 -*- import json import urllib import sys def get_data(ip): API = "http://ip.taobao.com/service/getIpInfo.php?ip=" url = API + sys.argv[1] jsondata = json.loads(urllib.urlopen(url).read()) if jsond…

线上MySQL慢查询现象案例--Impossible WHERE noticed after reading const tables

前言:2012年的笔记整理而得,发布个人博客,做备忘录使用. 背景:线上慢查询日志监控,得到如下的语句: 发现:select doc_text from t_wiki_doc_text where doc_title = '谢泽源'; 这条语句昨天执行特别的慢 1.查看上述语句的执行计划: mysql> explain select doc_text from t_wiki_doc_text where doc_title = '谢泽源'; +----+-------------+…

获取客户端IP地址-----以及--------线上开启redis扩展

/** * 获取客户端IP地址 * @param integer $type 返回类型 0 返回IP地址 1 返回IPV4地址数字 * @return mixed */ function get_client_ip($type = 0) { $type = $type ? 1 : 0; static $ip = NULL; if ($ip !== NULL) return $ip[$type]; if (isset($_SERVER['HTTP_X_FORWARDED_FOR'])) { $ar…