Python的虚拟机安装已经如何配置Scrapy for Mac
时间:2018年2月21日
因为时间问题,以下笔记就粗略记录。仅作为个人笔记为用
安装virtualenv和virtualenvwrapper
如何安装的细节下面这篇也有介绍,包括如何使用切换虚拟机也有介绍
http://blog.csdn.net/xshalk/article/details/47301339
其中如何找 .bash_profile文件
在Finder用快捷键command+shift+G输入打开目录~/
再快捷键:shift+comman+. 显示隐藏文件即可找到这个文件
修改保存之后,再在终端命令行运行 source ~/.bash_profile,就会执行这个文件
后来在安装过程遇到一些问题,再经过百度,下面这篇可以解决python路径的问题
https://www.jianshu.com/p/2999e258cbf9
另外,创建不需要任何包的虚拟环境 mkvirtualenv --no-site-packages venv
接着步骤就是:workon虚拟环境,pip3 install 一系列包,
然后cd进入到需要创建项目的目录下创建项目,
再cd进入项目根目录创建一个爬虫的py文件,
注意,这里下面截图有个小错误:scrapy genspider name url,这里的url不需要“http://”:
然后就是用pycharm来open这个项目,并且要记得重新选择虚拟环境配置,直接就选前面workon选中的虚拟环境。
然后是调试技巧,在scrapy.cfg同级目录下新建main.py文件
然后代码如下:
# 通过这个文件来调试,可以提高开发效率 from scrapy.cmdline import execute import sys
import os '''
设置工程的目录
os.path.abspath(__file__) 获取当前文件的目录 os.path.dirname(file的全路径) 获取当前file的父目录 打印测试
print(os.path.abspath(__file__))
print(os.path.dirname(os.path.abspath(__file__))) ''' # print(os.path.abspath(__file__))
# print(os.path.dirname(os.path.abspath(__file__)))
sys.path.append(os.path.dirname(os.path.abspath(__file__))) # path = os.path.dirname(os.path.abspath(__file__))+"/ArticleSpider"
# sys.path.append(path)
# print(sys.path) '''执行命令的方法 —— 查询股票名字代码列表'''
# execute("scrapy crawl quote_eastmoney_com".split()) '''执行命令的方法 —— 查询股票名字代码列表'''
execute("scrapy crawl data_eastmoney_com_hsgtcg".split())
Python的虚拟机安装已经如何配置Scrapy for Mac的更多相关文章
- Windows+Python+anaconda机器学习安装及环境配置步骤
Windows+Python+anaconda机器学习安装及环境配置步骤 1. 下载安装python3.6以上版本(包含pip,不用自己安装)2. 直接下载安装pycharm安装包(用于编写pytho ...
- Linux 虚拟机安装后的配置和一些命令符笔记
一.安装后的配置 1.设在终端的字体为等宽字体 比如:DejaVu Sans Mono 2.将当前的普通用户加入到sudo用户组adduser en sudochmod +w /etc/sudoers ...
- Vmware虚拟机安装及相关配置流程
1.Vmware虚拟软件安装 1.1下载地址 vmware 12 pro 的版本稳定性较好,所有我们最好选择该版本 下载地址:https://www.onlinedown.net/soft/10053 ...
- Xamarin+Prism开发详解四:简单Mac OS 虚拟机安装方法与Visual Studio for Mac 初体验
Mac OS 虚拟机安装方法 最近把自己的电脑升级了一下SSD固态硬盘,总算是有容量安装Mac 虚拟机了!经过心碎的安装探索,尝试了国内外的各种安装方法,最后在youtube上找到了一个好方法. 简单 ...
- 虚拟机安装centOs+网络配置(完整说明)
1.新建虚拟机(标准) 选择 (我以后下安装操作系统) 选择Linux 操作系统 版本为CentOS(32位) 虚拟机的名称和位置任意 磁盘容量如下即可 设 ...
- Python+selenium+webdriver 安装与环境配置
1.python安装:访问python.org/download,下载最新版本,安装过程与其他windows软件类似.记得下载后设置path环境变量,然后Windows命令行就可以调用: 2.Sele ...
- hadoop3自学入门笔记(1)——虚拟机安装和网络配置
前言 年过30惶惶不安,又逢疫情,还是不断学习,强化自己的能力.hadoop的视频和书籍在15年的时候就看过,但是一直没动手实践过,要知道技术不经过实战,一点提升也没有.因此下定决心边学边做,希望能有 ...
- kali虚拟机安装后操作[配置ssh,安装vmtools,更新源]
更新源 # 打开控制台, 输入以下命令打开编辑器修改配置文件 $ leafpad /etc/apt/sources.list #kali官方源 deb http://http.kali.org/kal ...
- 虚拟机安装LINUX网络配置注意的问题
1.如果你配置本地IP,不上网,网卡选项可以选择仅主机模式,如果要上网,就直接选择桥接模式,复制物理网络这个选项 2.将NET1网卡(仅主机模式)选中,然后进入下面这个配置选项 上面方框内的IP段 ...
随机推荐
- Codeforces 852G Bathroom terminal 【Trie树】
<题目链接> 题目大意: 现在给定出n个字符串,并且进行m此询问,每次询问给出一个匹配串,每次询问都给出该匹配串能够匹配的字符串个数(题目只出现字符'a'~'e').'?'可以看成任意字符 ...
- Django基础(三)
知识预览 Ajax前戏:json Ajax简介 jquery实现的ajax JS实现的ajax 回到顶部 Ajax前戏:json 什么是json? 定义: JSON(JavaScript Object ...
- C# SQLiteHelper
using System; using System.Data; using System.Data.Common; using System.Data.SQLite; using System.IO ...
- 用户体验—微软Edge浏览器
我现在使用的浏览器是win10自带的Edge浏览器 用户界面: 首先整体界面的话是清晰,一目了然,而且记住用户选择: 1.微软必应搜索的主题分类明确,查询简洁方便.查询语句简单: 2 .信息覆盖程度非 ...
- word表分页表头
选中表,右键-表格属性. 调出表格属性对话框. 选择行,在各页顶端以标题行形式重复出现划上钩确定.
- SpringIOC和DI
1.Spring的概念 Spring的绿草丛(一) Spring轻量级框架, Java EE的春天,当前主流框架目标使现有技术更加易用,推进编码最佳实践内容IoC容器AOP实现数据访问支持简化JDBC ...
- 南方IT学校期末PCB结课项目考试(实操)说明书
南方IT学校期末结课项目考试(实操)说明书(一) 课程:<印制电路板设计技术>(二) 项目:笔记本电脑电源适配器的印制电路板设计(三) 背景说明:如今笔记本已经进入千家万户,作为给电脑充电 ...
- ReactNative用指定的真机/模拟器运行项目
使用模拟器运行项目: 命令行中React native项目目录下键入react-native run-ios会启动iOS模拟器, 默认是使用iPhone6,如果想要试用其他版本的模拟器则需要在reac ...
- BZOJ4081 : [Wf2014]Skiing
首先将目标点按$y$坐标从小到大排序. 如果加速度为$0$,那么只要贪心走一遍即可. 否则考虑DP,设$f[i][j]$表示从$i$点以速度$j$出发最多能经过多少个点. 注意到将DP值相同的合并可以 ...
- python网络编程(十)
select版-TCP服务器 1. select 原理 在多路复用的模型中,比较常用的有select模型和epoll模型.这两个都是系统接口,由操作系统提供.当然,Python的select模块进行了 ...