scrapy的调试和环境安装技巧
1,先在settings中把ROBOTSTXT_OBEY = False
在主目录下面新建main文件
__autor__ = 'zhouli'
__date__ = '2018/11/3 22:39' from scrapy.cmdline import execute # 可以执行scrapy的脚本
import sys
import os sys.path.append(
os.path.dirname(os.path.abspath(__file__))) # os.path.abspath(__file__)获取到main.py的路径,os.path.dirname()获取到父目录
execute(['scrapy', 'crawl', 'project_name']) # 该方法是讲命令的三个字符传递进来
也就是说需要调试什么命令就这样传输即可
单击鼠标右键debug
2,虚拟环境
安装 pip install -i http://pypi.douban.com/simple/ virtualenv (这个是使用豆瓣源安装)
测试安装 virtualenv --version
让虚拟的python环境可以使用系统的python第三方库 virtualenv --always-copy --system-site-packages venv
cd my_project
virtualenv my_project_env
让我们从头捋一遍:
# 1,新建虚拟环境
virtualenv scrapytest
# 2,进入虚拟环境
cd scrapytest
cs Scripts
activate.bat # 运行这个activate.bat文件即可进入虚拟环境(前面有括号的)
deactivate.bat # 退出虚拟环境(前面括号消失)
# 如何选择python版本?
virtualenv -p C:\\*** # -p后面是python的路径
当需要改变python的版本时候需要在虚拟环境下运行!
但是比较蛋疼的是每一次都需要找到路径,然后运行命令,比较繁琐,如何解决呢?
虚拟环境管理包:
pip install virtualenvwrapper
# 安装完成之后使用workon
workon # 列出所有虚拟环境
mkvirtualenv py3scrapy # 新建一个虚拟环境py3scrapy,然后自动进入虚拟环境
# 注意默认位置
workon py3scrapy # 进入虚拟环境py3scrapy
这样就能够保证环境是独立的
scrapy的调试和环境安装技巧的更多相关文章
- scrapy之环境安装
scrapy之环境安装 在之前我安装了scrapy,但是在pycharm中却无法使用. 具体情况是: 我的电脑上存在多个python,有python2,python3,anaconda,其中anaco ...
- iOS崩溃调试的使用和技巧总结
在iOS开发调试过程中以及上线之后,程序经常会出现崩溃的问题.简单的崩溃还好说,复杂的崩溃就需要我们通过解析Crash文件来分析了,解析Crash文件在iOS开发中是比较常见的. 现在网上有很多关于解 ...
- iOS中崩溃调试的使用和技巧总结 韩俊强的博客
每日更新关注:http://weibo.com/hanjunqiang 新浪微博 在iOS开发调试过程中以及上线之后,程序经常会出现崩溃的问题.简单的崩溃还好说,复杂的崩溃就需要我们通过解析Cras ...
- scrapy爬虫笔记(一)------环境配置
前言: 本系列文章是对爬虫的简单介绍,以及教你如何用简单的方法爬取网站上的内容. 需要阅读者对html语言及python语言有基本的了解. (本系列文章也是我在学习爬虫过程中的学习笔记,随着学习的深入 ...
- Delphi IOS环境安装
RAD Delphi XE/10 Seattle 安装IOS.OSX环境安装,IOS模拟器,MAC X 真机可以调试 http://community.embarcadero.com/blogs/en ...
- 第1章 开发环境安装和配置(二)安装JDK、SDK、NDK
原文 第1章 开发环境安装和配置(二)安装JDK.SDK.NDK 无论是用C#和VS2015开发Androd App还是用Java和Eclipse开发Androd App,都需要先安装JDK和Andr ...
- 《全栈营销之如何制作个人博客》之二:php环境安装及个人博客后台搭建 让你的博客跑起来
上一节我们讲了个人博客用什么开发语言,用什么CMS系统,从这一节我们就开始真正的干货,这一节我们讨论一下PHP环境的安装,及个人博客后台的搭建,让你的博客在正常的PHP环境中运行起来,你就可以进行后台 ...
- Linux 下的各种环境安装
Linux 下的各种环境安装 1.安装 python Centos7 安装 python 2.7 : https://www.cnblogs.com/Jomini/p/10507077.html ...
- python3爬虫_环境安装
一.环境安装 1.python3安装 官网:https://www.python.org/downloads/ 64 位系统可以下载 Windows x86-64 executable install ...
随机推荐
- vue 踩坑-事件修饰符
(1).stop // 阻止事件继续传播 即阻止冒泡过程 (2).prevent //阻止默认事件发生 即event.preventdefault(): 实例: 阻止了a标签的默认刷新 (3).cap ...
- es6初级之解构----之二 及 键值反转实现
1.解构: 不定参数,扩展表达式 let arr = [100, 201, 303, 911]; let [one, ...others] = arr; console.log(others.leng ...
- RESET MASTER和RESET SLAVE使用场景和说明,以及清除主从同步关系
mysql主从复制中,需要将从库提升为主库,需要取消其从库角色,这可通过执行RESET SLAVE ALL清除从库的同步复制信息.包括连接信息和二进制文件名.位置.从库上执行这个命令后,使用show ...
- where后一个条件和多个条件的查询速度
如果记录中有两个都是 唯一标识的 ,那是都where and 还是只写一个比较快 ---- 一个快
- Spark安装过程纪录
1 Scala安装 1.1 master 机器 修改 scala 目录所属用户和用户组. sudo chown -R hadoop:hadoop scala 修改环境变量文件 .bashrc , 添加 ...
- Linux 创建用户 限制SFTP用户只能访问某个目录
Linux 限制SFTP用户只能访问某个目录 1. 新建用户并设置密码 > useradd suser > passwd suser // 输入密码 2. 设置sshd配置文件 > ...
- windows下搭建vue
1.windows https://nodejs.org/en/download/ 下载安装包2.点击安装 安装完成3.进入cmd npm -v4.安装淘宝镜像cnpm npm下载速度过慢因为安装完n ...
- mui-顶部选项卡-第一个选项卡内容不显示
<div id="item1" class="mui-control-content mui-active"> <div id="s ...
- webpack-manifest-plugin
[webpack-manifest-plugin] Webpack plugin for generating an asset manifest. This will generate a mani ...
- XSSExcelUtil
package com.numa.util; import org.apache.poi.hssf.usermodel.*;import org.apache.poi.hssf.util.HSSFCo ...