1.mysql数据库用于存储大量数据. 2.Navicat for MySQL以图形和表格等形式管理数据库工具. 3.编程语言python3与环境配置 4.pythcharm集成开发环境(社区版)不需要激活 5.Python包管理器Anaconda3(爬虫主要用到两个包requests,pymysql)与环境配置(网上可找安装教程). 链接:https://pan.baidu.com/s/1Zef6oPmtNZ4sWBXyAMBSgA 提取码:am9q 应用: 1.正则表达式提取猫眼top100…

  由于最近正在放暑假,所以就自己开始学习python中有关爬虫的技术,因为发现其中需要安装许多库与软件所以就在这里记录一下以避免大家在安装时遇到一些不必要的坑. 一. 相关软件的安装:   1. homebrew: homebrew 是mac os系统下的包管理器由于功能齐全所以在这里比较推荐大家安装,安装及使用教程在我的另一篇博客中,在此附上链接 homebrew的安装.    2. anaconda:anaconda是python下的包管理器,支持创建虚拟环境等功能,个人认为比自带的pip…

目录 爬虫三步 请求库 Requests:阻塞式请求库 Requests是什么 Requests安装 selenium:浏览器自动化测试 selenium安装 PhantomJS:隐藏浏览器窗口 PhantomJS是什么 PhantomJS安装 PhantomJS使用 aiohttp:异步请求库 aiohttp是什么 aiohttp安装 解析库 lxml:解析HTML和XML,支持XPath lxml是什么 lxml安装 BeautifulSoup:解析HTML和XML BeautifulSou…

一键安装python爬虫库 pip3 install requests selenium beautifulsoup4 pyquery pymysql pymongo redis flask django jupyter…

一.Python re模块的基本用法: https://blog.csdn.net/chenmozhe22/article/details/80601971 二.爬取网页图片 https://www.cnblogs.com/jiayongji/p/7118934.html        爬取百度贴吧图片 其中指定爬虫的下载图片位置,注意为反斜杠, def batchDownloadJPGs(imgUrls, path='D:/test/'): 爬取百度搜索图片 https://blog.csdn…

什么是爬虫 爬虫就是通过编写程序模拟浏览器上网,然后让其去互联网上抓取数据的过程. 哪些语言可以实现爬虫 1.php:可以实现爬虫.但是php在实现爬虫中支持多线程和多进程方面做得不好. 2.java:可以实现爬虫.java可以非常好的处理和实现爬虫,是唯一可以与python并驾齐驱的.但是java实现爬虫代码较为臃肿,重构成本较大. 3.c.c++:可以实现爬虫.相比较来说难度比较大. 4.python:可以实现爬虫.python实现和处理爬虫语法简单,代码优美学习成本低,支持的模块比较多,具…

windows 64位操作系统下,用 Python 抓取网页,并用 pyQuery 解析网页 pyQuery是jQuery在python中的实现,能够以jQuery的语法来操作解析HTML文档,十分方便.使用前需要安装,easy_install pyquery即可,或者Ubuntu下详情参考:http://blog.csdn.net/zhaoyl03/article/details/8631645 但是用pip命令安装pyquey的时候,报错了 pip install pyquery 提示需要先…

1.从酷狗网站爬取 新歌首发的新歌名字.播放时长.链接等 from bs4 import BeautifulSoup as BS import requests import re import json class StockCrawler(): def __init__(self): pass def get_stockinfo(self,url): res=requests.get(url) res.encoding='utf-8' soup=BS(res.text,'html.parse…

1.下载MongoDB 官网下载:https://www.mongodb.com/download-center#community 上面这张图选择第二个按钮 上面这张图直接Next 把bin路径添加到path中,如下图: 在安装路径下自己创建一个文件mongo.conf,配置内容如下: #数据库路径dbpath=E:\mongodb\data#日志输出文件路径logpath=E:\mongodb\log\mongo.log#错误日志采用追加模式logappend=true#启用日志文件,默认启…

MongoDB安装配置: 在安装配置MongoDB的过程中遇到了很多问题,现在重新梳理一遍安装流程.遇到的问题及其解决方法 系统版本:Windows 10 MongoDB版本:4.2.1 1.下载地址:https://www.mongodb.com/download-center/community 2.安装流程: 在遇到这一步时,点击custom,选择自己想要的安装目录,点击下一步 直到遇见下面安装情景,MongoDB Compass为MongoDB自带的MongoDB可视化 工具,如果想要安…