Python3+selenium+BaiduAI识别并下载花瓣网高颜值妹子图片

一.说明 1.1 背景说明上周在“Python3使用百度人脸识别接口识别高颜值妹子图片”中自己说到在成功判断颜值后,下截图片并不是什么难点. 直观感觉上确实如此,你判断的这个url适不适合下载,适合我就去下不适合就不去下,这算什么难点呢. 但事实经常没有想象的那么简单,所以决定去验证一下.结果再次证实自己想简单了,程序的编写和调试花了一周的业余时间,好在总算完成了. 1.2 程序编写过程说明我以花瓣网http://huaban.com/favorite/beauty/入手,首先确定从beau…

Python3+BaiduAI识别高颜值妹子图片

一.在百度云平台创建应用为什么要到百度云平台创建应用,首先来说是为了获取获取access_token时需要的API Key和Secret Key 至于为什么需要API Key和Secret Key才能获取access_token,应该一是为了推广一下百度云二是为了获取一些统计数据.微信苹果要你们搞得,度娘就不能要你们搞得?不要纠结 1.访问百度AI开放平台:http://ai.baidu.com/ 2.“产品服务”----“人脸检测” 3. “立即使用” 4. 使用自己的百度账号登录(就手机…

Js批量下载花瓣网及堆糖网专辑图片

插件作者:SaintIC 文章地址:https://blog.saintic.com/blog/256.html 一.安装 1. 安装Tampermonkey扩展,不同浏览器的支持,参见官网:http://tampermonkey.net/ 以谷歌浏览器为例(需FQ),打开Chrome网上应用店,添加/tampermonkey扩展程序,https://chrome.google.com/webstore/search/tampermonkey 2. 进入用户脚本源,点击进入"花瓣网下载"…

python使用selenium，webdriver自动下载百度网盘内容

想实现一个自动下载微信公众号分享百度网盘图片链接的爬虫,使用selenium和火狐的webdriver进行完成 1.首先根据自己的浏览器下载相应的webdriver驱动器,python中导入selenium包.webdriver下载好后,放在浏览器的默认安装地址中, 然后再在自己的python默认安装地址中也加入一份webdriver,并且添加环境变量path,加入浏览器的安装地址,即:webdriver放置的目录 2.获取自己浏览器的默认配置,也可以不用,即去掉 propath = r"C:\…

Python抓取花瓣网高清美图

一:前言嘀嘀嘀,上车请刷卡.昨天看到了不错的图片分享网——花瓣,里面的图片质量还不错,所以利用selenium+xpath我把它的妹子的栏目下爬取了下来,以图片栏目名称给文件夹命名分类保存到电脑中.这个妹子主页http://huaban.com/boards/favorite/beauty 是动态加载的,如果想获取更多内容可以模拟下拉,这样就可以更多的图片资源.这种之前爬虫中也做过,但是因为网速不够快所以我就抓了19个栏目,一共500多张美图,也已经很满意了. 先看看效果: Paste_Ima…

async 异步抓取花瓣网高清大图 30s爬取500张

废话不多说,直接上代码,不懂得看注释先安装 pip install aiohttp "异步抓取花瓣网图片" # pip install aiohttp import requests import aiohttp import asyncio import time import os headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, li…

python3+selenium入门14-上传下载文件

上传文件一种方式是通过定位input标签,然后使用send_keys()方法传入需要上传文件的路径.另一种是使用第三方插件去上传文件.下面看下imput标签的方式.工具可以自己查下. <!DOCTYPE html> <html> <head> </head> <body> <form action="demo_form.php"> <input type="file" name="…

Python3 urllib 爬取花瓣网图片

点我去我的github上看源码 **花瓣网是动态的,所以要抓包分析,,但我真的累的不行,不想写教程了,我源码里有注释…

python3+selenium入门01-环境搭建

作为一个测试,在最近两年应该有明显的感觉.那就是工作变的难找,要求变的高了,自动化测试,性能测试等.没有自动化测试能力,只会点点点工作难找不说,工资也不高.所以还是要学习一些技术.首先要学习一门编程语言.然后自动化入门可以学习selenium.有java基础可以使用java.没有语言基础的推荐学习python3.网上的教程很多,推荐廖雪峰的python教程. selenium的学习更多是个入门,过渡的作用.感觉其实ui自动化很少用.而且能测试到的东西较少.之后可以继续去学习接口自动化相关的东西.…

python3+dlib人脸识别及情绪分析

一.介绍我想做的是基于人脸识别的表情(情绪)分析.看到网上也是有很多的开源库提供使用,为开发提供了很大的方便.我选择目前用的比较多的dlib库进行人脸识别与特征标定.使用python也缩短了开发周期. 官网对于dlib的介绍是:Dlib包含广泛的机器学习算法.所有的设计都是高度模块化的,快速执行,并且通过一个干净而现代的C ++ API,使用起来非常简单.它用于各种应用,包括机器人技术,嵌入式设备,手机和大型高性能计算环境. 虽然应用都比较高大上,但是自己在PC上做个情绪分析的小软件还是挺有意…

Python3 Selenium多窗口切换

Python3 Selenium多窗口切换以腾讯网(http://www.qq.com/)为例,打开腾讯网,点击新闻,打开腾讯新闻,点击新闻中第一个新闻链接. 在WebDriver中封装了获取当前窗口句柄方法和获取所有窗口句柄的方法以及切换指定句柄窗口的方法: (句柄:英文handle,窗口的唯一识别码) 方法: 1). driver.current_window_handle --> 获取当前窗口句柄 2). driver.window_handles --> 获取所有窗口句柄 3). d…

Python 爬虫: 抓取花瓣网图片

接触Python也好长时间了,一直没什么机会使用,没有机会那就自己创造机会!呐,就先从爬虫开始吧,抓点美女图片下来. 废话不多说了,讲讲我是怎么做的. 1. 分析网站想要下载图片,只要知道图片的地址就可以了,So,现在的问题是如何找到这些图片的地址. 首先,直接访问http://huaban.com/favorite/beauty/会看到页面有20张所要抓取的图片还有一些其他干扰的图片信息(用户的头像.页面的一些图标之类的).当点击一张美女图片时,页面会跳转到一个新的页面,在这个页面里,是之前…

Python3 Selenium定位不到元素常见原因及解决办法

Python3 Selenium定位不到元素常见原因及解决办法一.问题描述在做web应用的自动化测试时,定位元素是必不可少的,这个过程经常会碰到定位不到元素的情况: 报错信息: no such element: Unable to locate element: {"method":"xpath","selector":"xpath"} 二.分析以及解决方案 1,原因一以及解决方案 (1)原因: Frame/Iframe原…

Python3 Selenium WebDriver网页的前进、后退、刷新、最大化、获取窗口位置、设置窗口大小、获取页面title、获取网页源码、获取Url等基本操作

Python3 Selenium WebDriver网页的前进.后退.刷新.最大化.获取窗口位置.设置窗口大小.获取页面title.获取网页源码.获取Url等基本操作通过selenium webdriver操作网页前进.后退.刷新.最大化.获取窗口位置.设置窗口大小.获取页面title.获取网页源码.获取Url等基本操作: from selenium import webdriver #打开浏览器 driver = webdriver.Ie(executable_path = "e:\\IED…

Python3 Selenium自动化测试赋值出现：WebDriverException: Message: unknown error: call function result missing 'value'

Python3 Selenium自动化测试赋值出现:WebDriverException: Message: unknown error: call function result missing 'value' 问题: 在给予文本框赋值的时候出现错误信息: seleniumn.common.exceptios.WebDriverException: Message: unknown error: call function result missing 'value' 解决方案: (1)下载和…

关于花瓣网header条的思考

最近忙着俱乐部招新的事情,每一次培训都会给学员布置作业,但是作业积累在手上并没有长久的保存价值,于是萌生了一个创建俱乐部网站平台的想法.为了充当好PM这个角色,学习了Axure软件的用法,并且首次制作页面的交互原型.也算是体验了一回ID角色. 我们的平台应该是一个展示型的网站,将来功能可以类似花瓣网,蘑菇街的首页瀑布流展示学员的作品. 前不久刚刚温习了web语义化的知识,今天看到了花瓣网的顶部header条,根据最近所学提出一点改进: 1.根据web语义化知识,行内元素是不建议嵌套块级元素的:…

Python3 + selenium + Chrome浏览器（webdriver.Chrome()报错）

Python3 + selenium + Chrome浏览器 Error: selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH.Please see https://sites.google.com/a/chromium.org/chromedriver/home 这是因为调用 webdriver.Chrome() 需要设置参数 executab…

Centos7安装python3+Selenium+chrome+chromedriver

Centos7安装python3+Selenium+chrome+chromedriver详细python2和python3共存,Selenium错误的处理更新Centos源 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo或者curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/C…

极速下载百度网盘-吴水成老师的-dubbo课程

极速下载百度网盘-吴水成老师的-dubbo课程,极速下载百度网盘-吴水成老师的-dubbo课程,极速下载百度网盘-吴水成老师的-dubbo课程,极速下载百度网盘-吴水成老师的-dubbo课程先看主目录: 继续往下看再继续再继续再继续有需要的可以加我qq:905679027,视频没有加密,可以正常看...另外还有一些其他视频教程请看下图有需要的可以加我qq:905679027,百度网盘下载速度简直就是龟速,建议使用proxyee-down-2.44下载工具…

spring原理案例-基本项目搭建 01 spring framework 下载官网下载spring jar包

下载spring http://spring.io/ 最重要是在特征下面的这段话,需要注意: All avaible features and modules are described in the Modules section of the reference documentation. Their maven/gradle coordinates are also described there. 这段话很清晰的告诉我们点击这段话上的链接,专门有关于所有特征和模块以及各模块之间关系的介…

安装使用aria2下载百度网盘内容（转）

原文地址:https://blog.csdn.net/wudi1107/article/details/80728891 安装使用aria2下载百度网盘内容目前在Linux中没有好用的百度网盘客户端,使用aira2下载十分方便,直接可以通过插件在浏览器中下载,免去了单独安装客户端的麻烦. 1.aria2简介 aria2 本是命令行下的一个多线程下载工具,属于后端,通过在浏览器中安装插件,将百度网盘中的下载地址导出到aria2中下载,具体有以下优点: • 多线程下载.aria2可以从通过多种协…

CentOS 7 (Linux) 下载百度网盘大文件

这个方法不仅适合下载 "百度网盘" 中的文件,还可以下载磁链之类的,总之,就是能够加快下载速度的方法. (参考了网上的多篇文章,自行实践,成功下载度盘大文件,并且提升了下载速度) 百度网盘客户端没有 Linux 版本 , Web版无法下载大文件 . 以下使用 chrome插件 (BaiduExporter.crx) + aria2 的方式解决. 1. 安装chrome插件 (BaiduExporter.crx): 下载地址 : https://github.com/acgot…

python3+selenium框架设计02-自动化测试框架需要什么

什么是自动化测试框架自动化测试框架能够提供便利给用户高效完成一些事情,比如,结构清晰开发脚本,多种方式.平台执行脚本,良好的日志和报告去跟踪脚本执行结果. 关于自动化测试框架的定义有很多,在我大致理解下就是把能实现不同功能的软件组合在一起,实现特定的目的,这就是一个简单的自动化测试框架. 界面自动化测试框架核心是选择一个用来编写脚本的语言,一个用来web界面的库,管理脚本的执行工具.这里选择python,web界面库用的selenium,脚本管理工具可以用unittest单元测试框架.测试报…

Python3 Selenium自动化-select下拉框

Python3 Selenium自动化-select下拉框 selenium介绍select下拉框相关的操作方法:…

golang包管理工具及环境管理工具;如何下载外网的依赖包

简介: golang的包管理工具类似于java的maven.python的pip.js的npm,可以实现依赖包的统一管理:有很多:govendor.godep.glide,挑一个自己喜欢的用吧.mac安装的话都可以使用brew Install godep/govendor/glide go的环境管理类似于python的virtualenv:用来实现多个go版本并行运行的goenv:https://bitbucket.org/ymotongpoo/goenv go的包管理工具对比:https://…

Python3.x：将数据下载到xls时候用xml格式保存一份读取内容

Python3.x:将数据下载到xls时候用xml格式保存一份读取内容核心代码: import json import xml.dom.minidom from urllib import request, parse from sqlalchemy import func dataDate = "2018-01-24" url = 'http://********/ShowReport.szse?SHOWTYPE=xml&CATALOGID=1804&ENCODE=…

Android Studio最新稳定版下载 - 百度网盘（更新于2017年7月14日）

Android Studio是一个为Android平台开发程序的集成开发环境,其包含用于构建Android应用所需的所有工具.Android Studio 2.3.3为最新稳定版(截止到2017年7月1日),发布时间是2017年6月8日.下面为官网文本,我只是把各个平台的下载链接更改为百度网盘. 最新稳定版 Android Studio 2.3.3 June 8, 2017 Installers Windows IDE bundle with SDK (64-bit): android-stud…

打造百度网盘备份利器:自动备份Linux VPS文件和多线程下载百度网盘资源

前一段时间国内的各大网盘百度云盘,金山快盘,360云盘,华为网盘为争夺用户上演空间容量博弈,网盘商们还固执地以为中国的网民都不懂网络技术,可以像某公司那样用一些数字的手段来忽悠用户,参与到网盘商的数字游戏中的公司都心知肚明. 在不需要增加任何网盘上传下载带宽和硬件设备投入的情况下,又可以用TB级别网盘这样的字眼来夺人眼球,在网络上大肆炒作一番,这比用钱买广告来推广网盘有效得多了.在这场网盘炒作中,率先“挑起事非”的两家百度网盘和360网盘获利最多. 尤其是百度网盘,应该算正式成长为国内网盘界中老…

GoLang爬取花瓣网美女图片

由于之前一直想爬取花瓣网(http://huaban.com/partner/uc/aimeinv/pins/) 的图片,又迫于没时间,所以拖了很久. 鉴于最近在学go语言,就刚好用这个练手了. 预览进入网站后,首页大概是这个样子分析网站采用的流式布局,动态加载.未经渲染的初始页面源代码中包含有20张图片的相关信息. 每张图片有它的pin_id和key, pin_id差不多就是id,而key应该是文件的特性码,由此key拼接url可以直接得到图片的地址. 使用了动态加载,鉴于这个比较简单,…

python3+selenium获取列表某一列的值

python3+selenium获取列表某一列的值我们在坐自动化测试时,我们可能不想单纯的想验证一个选项卡,我们让脚本随机选择一个选项进行接下来的操作.例如我们想获取列表某一列的某一个数据(随机的)进行操作时,我们该怎么操作? 请看下面的列表,获取列表的所有运单号 html代码我们可以选择xpath通过进行定位,当然这个方法只能定位到一个单号,但是我们要获取的是当前列表的所有单号. 我们复制下来的小path 的内容是 …

【Python3+selenium+BaiduAI识别并下载花瓣网高颜值妹子图片】的更多相关文章