Python的虚拟机安装已经如何配置Scrapy for Mac
时间:2018年2月21日
因为时间问题,以下笔记就粗略记录。仅作为个人笔记为用
安装virtualenv和virtualenvwrapper
如何安装的细节下面这篇也有介绍,包括如何使用切换虚拟机也有介绍
http://blog.csdn.net/xshalk/article/details/47301339
其中如何找 .bash_profile文件
在Finder用快捷键command+shift+G输入打开目录~/
再快捷键:shift+comman+. 显示隐藏文件即可找到这个文件
修改保存之后,再在终端命令行运行 source ~/.bash_profile,就会执行这个文件
后来在安装过程遇到一些问题,再经过百度,下面这篇可以解决python路径的问题
https://www.jianshu.com/p/2999e258cbf9
另外,创建不需要任何包的虚拟环境 mkvirtualenv --no-site-packages venv
接着步骤就是:workon虚拟环境,pip3 install 一系列包,
然后cd进入到需要创建项目的目录下创建项目,
再cd进入项目根目录创建一个爬虫的py文件,
注意,这里下面截图有个小错误:scrapy genspider name url,这里的url不需要“http://”:
然后就是用pycharm来open这个项目,并且要记得重新选择虚拟环境配置,直接就选前面workon选中的虚拟环境。
然后是调试技巧,在scrapy.cfg同级目录下新建main.py文件
然后代码如下:
# 通过这个文件来调试,可以提高开发效率 from scrapy.cmdline import execute import sys
import os '''
设置工程的目录
os.path.abspath(__file__) 获取当前文件的目录 os.path.dirname(file的全路径) 获取当前file的父目录 打印测试
print(os.path.abspath(__file__))
print(os.path.dirname(os.path.abspath(__file__))) ''' # print(os.path.abspath(__file__))
# print(os.path.dirname(os.path.abspath(__file__)))
sys.path.append(os.path.dirname(os.path.abspath(__file__))) # path = os.path.dirname(os.path.abspath(__file__))+"/ArticleSpider"
# sys.path.append(path)
# print(sys.path) '''执行命令的方法 —— 查询股票名字代码列表'''
# execute("scrapy crawl quote_eastmoney_com".split()) '''执行命令的方法 —— 查询股票名字代码列表'''
execute("scrapy crawl data_eastmoney_com_hsgtcg".split())
Python的虚拟机安装已经如何配置Scrapy for Mac的更多相关文章
- Windows+Python+anaconda机器学习安装及环境配置步骤
Windows+Python+anaconda机器学习安装及环境配置步骤 1. 下载安装python3.6以上版本(包含pip,不用自己安装)2. 直接下载安装pycharm安装包(用于编写pytho ...
- Linux 虚拟机安装后的配置和一些命令符笔记
一.安装后的配置 1.设在终端的字体为等宽字体 比如:DejaVu Sans Mono 2.将当前的普通用户加入到sudo用户组adduser en sudochmod +w /etc/sudoers ...
- Vmware虚拟机安装及相关配置流程
1.Vmware虚拟软件安装 1.1下载地址 vmware 12 pro 的版本稳定性较好,所有我们最好选择该版本 下载地址:https://www.onlinedown.net/soft/10053 ...
- Xamarin+Prism开发详解四:简单Mac OS 虚拟机安装方法与Visual Studio for Mac 初体验
Mac OS 虚拟机安装方法 最近把自己的电脑升级了一下SSD固态硬盘,总算是有容量安装Mac 虚拟机了!经过心碎的安装探索,尝试了国内外的各种安装方法,最后在youtube上找到了一个好方法. 简单 ...
- 虚拟机安装centOs+网络配置(完整说明)
1.新建虚拟机(标准) 选择 (我以后下安装操作系统) 选择Linux 操作系统 版本为CentOS(32位) 虚拟机的名称和位置任意 磁盘容量如下即可 设 ...
- Python+selenium+webdriver 安装与环境配置
1.python安装:访问python.org/download,下载最新版本,安装过程与其他windows软件类似.记得下载后设置path环境变量,然后Windows命令行就可以调用: 2.Sele ...
- hadoop3自学入门笔记(1)——虚拟机安装和网络配置
前言 年过30惶惶不安,又逢疫情,还是不断学习,强化自己的能力.hadoop的视频和书籍在15年的时候就看过,但是一直没动手实践过,要知道技术不经过实战,一点提升也没有.因此下定决心边学边做,希望能有 ...
- kali虚拟机安装后操作[配置ssh,安装vmtools,更新源]
更新源 # 打开控制台, 输入以下命令打开编辑器修改配置文件 $ leafpad /etc/apt/sources.list #kali官方源 deb http://http.kali.org/kal ...
- 虚拟机安装LINUX网络配置注意的问题
1.如果你配置本地IP,不上网,网卡选项可以选择仅主机模式,如果要上网,就直接选择桥接模式,复制物理网络这个选项 2.将NET1网卡(仅主机模式)选中,然后进入下面这个配置选项 上面方框内的IP段 ...
随机推荐
- Python爬虫:更加优雅的执行JavaScript(PyV8)
https://www.jianshu.com/p/c534d6eb881a?utm_source=oschina-app
- ubantu16.04安装sougou输入法
安装搜狗拼音输入法下载安装包:http://pinyin.sogou.com/linux/?r=pinyin如果直接安装不了,则按如下方法进行安装:sudo dpkg -i sogoupinyin_ ...
- Android异步消息传递机制源码分析
1.Android异步消息传递机制有以下两个方式:(异步消息传递来解决线程通信问题) handler 和 AsyncTask 2.handler官方解释的用途: 1).定时任务:通过handler.p ...
- Ubuntu下无法输入中文问题解决
首先是要安装了中文输入法,下面以搜狗为例. 从system settings 进入language support ,在keyboard input method system 中是看不到自己安装的搜 ...
- Dead Fraction [POJ1930]
题意: 很有意思的一道题,,将一个无限循环小数转化成分母最小的精确分数值....,循环的部分不一定是最后一位. Sample Input 0.2... 0.20... 0.474612399... 0 ...
- linux重新设置密码,亲试成功
1:进入/etc/my.cnf 在[mysqld]下添加一行skip-grant-tables 2:保存配置文件后,输入whereis systemctl(提示redirecting to 某个目录下 ...
- linux查看服务安装目录
linux查看服务安装目录server dir 假如我们想查看 Redis 的安装目录 如果用命令 which redis 或者 whereis redis 都找不到安装目录, 可使用以下办法: ps ...
- redis 作为 mysql的缓存
使用redis做为MySQL的缓存 介绍 在实际项目中,MySQL数据库服务器有时会位于另外一台主机,需要通过网络来访问数据库:即使应用程序与MySQL数据库在同一个主机中,访问MySQL也涉及到 ...
- HTML常用标签3
1.<a>标签,是内联标签 href:需要跳转的网址 2.id属性: 相当于一个身份证 例如: 设置id属性 3.列表标签 <ul>: 无序列表 [type属性:disc(实心 ...
- css 文本超出n行就隐藏并且显示省略号
首先,要知道css的三条属性. overflow:hidden; //超出的文本隐藏 text-overflow:ellipsis; //溢出用省略号显示 white-space:nowrap; // ...