写在前面 因为之前的爬虫环境一直是部署在我自己本地的电脑上的,最近,写了一个监控别人空间的爬虫,需要一直线上24小时运行,所有就打算云服务器上部署环境,也捣鼓了好一会才弄好,还是有一些坑,这里先记录一下,方便以后复习... 一.替换pyhton2版本为python3 1.我这里的云服务器是Centos7系统,默认安装的是python2.7的版本,但是,我个人也是不喜欢老的东西,而且好像python2的版本到2020年就不再维护了,所以,我这里也推荐大家使用python3的版本 2.下载安装 wg…

系列文章列表: scrapy爬虫学习系列一:scrapy爬虫环境的准备:      http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_007_scrapy01.html scrapy爬虫学习系列二:scrapy简单爬虫样例学习: http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_007_scrapy02.html scrapy爬虫学习系列三:scrapy部署到scrapyh…

安装Python 下载地址:http://www.python.org/, Python 有 Python 2 和 Python 3 两个版本, 语法有些区别,ubuntu上自带了python2.7.6,所以在 ubuntu上暂时不需额外安装. 安装JAVA JDK 下载地址:http://www.oracle.com/technetwork/java/javase/downloads,下载与具体机器 对应的版本,我这里由于是ubuntu64位,所以下载了jdk-8u77-linux-x64.t…

适用于python 2.7 64位安装 一.操作系统:WIN7 64位 二.python版本:2.7 64位(scrapy目前不支持3.x) 不确定位数的,看图…

终于将mysql+php环境搭建成功,将之前的整理一下,环境:centos7,本机IP:192.168.1.24,数据库用户名及密码都设为root,测试文件路径:/var/www/html 1.取消centos7的两层防护 关闭防火墙 # systemctl stop firewalld.service 然后查看状态: # systemctl status firewalld.service 关闭selinux: # vim /etc/selinux/config 将其中的SELINUX=enf…

scrapy-redis简介 scrapy-redis是scrapy框架基于redis数据库的组件,用于scrapy项目的分布式开发和部署. 有如下特征:  分布式爬取 您可以启动多个spider工程,相互之间共享单个redis的requests队列.最适合广泛的多个域名网站的内容爬取.  分布式数据处理 爬取到的scrapy的item数据可以推入到redis队列中,这意味着你可以根据需求启动尽可能多的处理程序来共享item的队列,进行item数据持久化处理  Scrapy即插即用组件 S…

scrapy-redis 简介 scrapy-redis 是 scrapy 框架基于 redis 数据库的组件,用于 scraoy 项目的分布式开发和部署. 有如下特征: 分布式爬取: 你可以启动多个 spider 工程,相互之间共享单个的 requests 队列,最适合广泛的多个域名的内容的抓取. 分布式数据处理: 爬取到的 scrapy 的 item 数据可以推入到 redis 队列中,着意味着你可以根据需求启动尽可能多的处理程序来共享 item 队列,进行 item 数据持久化处理 scr…

开发环境介绍 1.操作系统:Windows Server 2008 R2 Enterprise 2.IDE:VisualStudio2017 3..Net Core 2.0 SDK 本文假设你已经满足上述条件.且会自行创建.net core2.0项目并发布成功. 下载.Net Core 2.0 SDK 1.准备一台装了centos7的机器,IP设置为:192.168.1.10 2.下载适合centos7的.Net Core 2.0 SDK 下载地址:https://www.microsoft.c…

阿里云Centos搭建lnmp(php7.1+nginx+mysql5.7) https://jingyan.baidu.com/article/215817f7a10bfb1eda14238b.html 工具/原料   阿里云Centos7.x服务器 msyql官网文档说明:https://dev.mysql.com/doc/refman/5.7/en/linux-installation-yum-repo.html php71的源及安装说明:https://webtatic.com/pack…

1.安装jdk1.8配置环境变量 参考:https://www.cnblogs.com/jxd283465/p/11541506.html 2.安装git yum -y install git 3.安装python2.7 默认自带2.7 4.安装pip 参考:https://www.cnblogs.com/jxd283465/p/11572471.html 5.安装go 参考:https://www.cnblogs.com/jxd283465/p/11576882.html 6.安装docker…