Scrapy是Python开发的一个快速.高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改.Scrapy用途广泛,可以用于数据挖掘.监测和自动化测试. 1.关于虚拟环境的创建可以参考之前发布的两篇博文,在Windows下如何创建指定的虚拟环境和在Windows下如何创建虚拟环境(默认情况下).下面在指定的文件夹下,直接先创建环境,在命令行输入环境创建命令“virtualenv --python…

windows下右键新建md文件 打开注册表 win键+R打开运行对话框, 输入regedit, 打开注册表编辑器. 修改注册表 在磁盘的任意位置新建一个文件, 后缀名为reg, 并写入一下内容 [HKEY_CLASSES_ROOT\.md] @="Typora.exe" [HKEY_CLASSES_ROOT\.md\ShellNew] "NullFile"="" [HKEY_CLASSES_ROOT\Typora.exe] @="Ma…

windows下制作linux U盘启动盘或者安装优盘(转) Linux发行版排行榜:http://iso.linuxquestions.org/ [方案一]:UltraISO(不推荐,在Windows下制作Windows安装盘绝佳) 用UltraISO软件打开linux发行版的ISO文件,用UltraISO软件的“启动/启动光盘”中的:写入硬盘映像,选择USB-HDD/USB-HDD+,点击写入. [方案二]:UNetbootin(中文界面) http://unetbootin.sourcef…

在windows下使用Cygwin模拟unix环境,并安装apt-cyg,svn等工具 一.Cygwin的安装 1. 下载Cygwin,这个可以到这里下载 ,至于使用32位的还是64位的版本可以根据自己的系统而定,打开下载好的setup-x86.exe(以64bitwindws系统为例) . 安装过程中注意勾选下面的包,为了后面的操作,我们有必要在这里选择一些必要的包进行安装: (1) curl:(2) git* (git,git-completion, git-gui, gitk):(3) l…

Python的两个爬虫框架PySpider与Scrapy安装 win10安装pyspider: 最好以管理员身份运行CMD,不然可能会出现拒绝访问文件夹的情况! pyspider:pip install pyspider https://docs.pyspider.org/en/latest/ Win10安装Scrapy 最好以管理员身份运行CMD,不然可能会出现拒绝访问文件夹的情况! 1.安装wheel pip install wheel 2.安装lxml https://www.lfd.uc…

virtualenv虚拟环境为每个项目隔离了一套运行类库,不同的项目在各自的虚拟环境中使用不同的类库,避免了将所有类库都安装到系统环境中导致的不同项目需要不同(版本)类库的问题,项目与项目之间的类库依存不再成为问题. 首先使用 pip 命令安装 virtualenv 进入 cmd 命令行界面查询版本:virtualenv --version 进入 cmd 命令行界面使用 virtualenv venv 创建名为 venv 的虚拟环境: 启动虚拟环境(这点和 linux 下的使用不一样):在当前路…

安装配置mysql 5.7 打开mysql官网: https://www.mysql.com/ 点击downloads,然后选择commuity 选择MySQL Community Server选择对应系统版本的安装包.这里选择mysql5.7 win 64位, 下载完后解压缩,并在c盘wamp目录下,新建mysql5.7的文件夹,将解压后的mysql放入 然后将mysql添加到系统环境变量中去, 右击计算机 -> 属性 -> 高级系统设置 -> 环境变量 -> 系统变量 ->…

一.安装apache2.4 打开网站 apachelounge.com    https://www.apachelounge.com/ 点击左侧Downloads,然后选择对应的版本,这里选择Apache2.4.23 win64, 64位下载地址:https://www.apachelounge.com/download/VC14/binaries/httpd-2.4.23-win64-VC14.zip 是需要vc14的编译环境. http://pan.baidu.com/s/1dFc8WoT…

用于科学计算Python语言真的是amazing! 方法一:直接安装集成好的软件 刚开始使用numpy.scipy这些模块的时候,图个方便直接使用了一个叫做Enthought的软件.Enthought是一家位于美国得克萨斯州首府奥斯汀的软件公司,主要使用Python从事科学计算工具的开发.Enthought里面包含了很多库,不需要你自己安装就可以直接使用了. 其实还又很多Python科学计算的集成软件,比如Python(x, y)和WinPython,个人感觉WinPython还是不错的,里面包…

运行ipython提示缺失模块 在windows下安装readline失败. 根据提示访问 https://urllib3.readthedocs.org/en/latest/security.html#insecureplatformwarning 然并卵 百度谷歌搜索下, Installation on windows fail due to readline dependencyhttps://github.com/AndreaCensi/compmake/issues/89http://…

安装Anaconda的绕道 这里介绍如何在windows下安装numpy/scipy/matplotlib/pandas/scikit_learn等数据分析相关包 相关环境: win7 64位 python3.4 安装步骤: 1.pip install numpy-1.13.1+mkl-cp34-cp34m-win_amd64.whl2.pip install scipy-0.19.1-cp34-cp34m-win_amd64.whl3.pip install matplotlib-2.0.2-…

Python3 被越来越多的开发者所接受,同时让人尴尬的是很多遗留的老系统依旧运行在 Python2 的环境中,因此有时你不得不同时在两个版本中进行开发,调试. 如何在系统中同时共存 Python2 和 Python3 是开发者不得不面对的问题,一个利好的消息是,Anaconda 能完美解决Python2 和 Python3 的共存问题,而且在 Windows 平台经常出现安装依赖包(比如 MySQL-python)失败的情况也得以解决. Anaconda 是什么? Anaconda 是 Pyt…

一. 为何使用虚拟环境 虚拟环境是Python解释器的一个私有副本,在这个环境你可以安装私有包,而且不会影响系统中安装的全局Python解释器. 在这个虚拟环境中的所有安装包,都是针对此环境的,不会被外界所利用. 为每个程序代码地创建虚拟环境可以保证程序只能访问虚拟环境中的包,从而保持全局解释器的干净整洁,使其只作为创建虚拟环境的源. 虚拟环境非常有用,可以在系统的Python解释器中避免包的混乱和版本的冲突.[重要是不同虚拟环境可以搭建不同的python版本,创建时候选择??] 二. 创建虚拟…

操作系统 : windowns10_x64Python版本:3.6.8virtualenv版本:16.7.7virtualenvwrapper版本:1.2.5 方式一:直接使用virtualenv 1.安装pip install virtualenv 2.创建虚拟环境virtualenv -p d:/app/Python36/python.exe py36env 3.启动虚拟环境py36env\Scripts\activate.bat 4.退出虚拟环境deactivate 如果需要删除虚拟环境直…

原文链接:https://www.jianshu.com/p/ee3205d5b9c9…

一.写在前面 好久没更新博客了,最近也是忙着年前的一些事情,所以一直没来得及弄一些有价值的东西,还是来冒个泡.随着苹果公司要求的2017年开始上架审核必须是Https,而原本Http的上架需要提交强烈的申请理由.而在我们的windows平台下,一般使用的抓包工具都是fiddler,而fiddler默认是抓取http类型的接口,而想要查看https的类型的接口就需要安装fiddler证书. 二.操作步骤 1.确保你安装的是fiddler较新的版本,比较老的可能会出现安装不上fiddler证书生成器…

div id="cnblogs_post_body" class="blogpost-body"> 最近彻底烦透了搜狗拼音输入法的各种流氓行为,自动升级不说,还在后台偷偷下载搜狗浏览器,卸了又下载,还自动弹出搜狐新闻,一怒之下把它卸载了,准备尝试一下开源的Rime输入法,至少没广告,据说可配制度还很高. 首先去 http://rime.im 下载小狼毫输入法的安装程序进行安装: 安装好后设置,我只选择了“朙月拼音”和“朙月拼音简化字”两种输入法,话说这货真不愧…

Kafka是由Apache软件基金会开发的一个开源流处理平台,是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据. 特性:(1)通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能.(2)高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息.(3)支持通过Kafka服务器和消费机集群来分区消息.(4)支持Hadoop并行数据加载.相关术语:(1)BrokerKafka集群包含一个或多个服务器,这种服务…

貌似现在没有python3.x的numpy 64位.exe安装包只有.whl的(也可能是我没找到)只能在终端下安装 1.到官网https://www.python.org/downloads/下载python3.4.3 2.为python配置环境变量 3.ctrl+r 输入cmd打开 终端 4.在终端输入python -m pip install -U pip 5.到http://www.lfd.uci.edu/~gohlke/pythonlibs/下载numpy‑1.10.0b1+mkl‑cp…

1.appserv 直接下载安装, 2.linux环境下下载安装LAMP…

我的系统版本:windows8.1 64位 安装theano需要安装python.numpy等很多东西,为了简便,我这里用的是Anaconda 首先,清理电脑上的所有有关python的组件(可不清理,我没试过,但是清理之后会好一点)然后,将以前配置的关于python的环境变量删掉.从官网下载最新版的Anaconda http://www.continuum.io/downloads  然后安装,傻瓜式的下一步即可,可自由设置安装路径. 安装好后就该配置环境变量了: path:D:\Anacond…

1.安装Node.js,node.js安装包及源码下载地址为:https://nodejs.org/en/download/. 2.安装npm,由于新版的nodejs已经集成了npm,所以之前npm也一并安装好了.同样可以通过输入 "npm -v" 来测试是否成功安装.命令如下,出现版本提示表示安装成功: $ npm -v 3.10.8 如果你安装的是旧版本的 npm,可以很容易得通过 npm 命令来升级,命令如下: npm install npm -g 你可以使用淘宝定制的 cnpm…

1.安装完成后开始菜单栏里会有一个 DB2 Command Window - Administrator 打开这个命令窗口 2.db2 db2,启动 3.list databse directory 会列出所有数据库 create databse XXX 创建新的数据库XXX drop database XXX 删除已有数据库XXX 4.connect to XXX 即可连接到XX数据库 disconnect XXX 即可断开XX数据库的连接 5.list tables 列出当前数据库所有表 d…

最开始使用Qt Creator时,想使用断点来调试javascript代码.但在按下debug键后,却提示调试器未配置,让我比较郁闷. 好了,郁闷的是说了,咱们来说说高兴的.要Qt Creator调试的问题,我们需要按照如下步骤,一步步地完成调试器的下载.安装.配置: 1.首先是下载debug工具包,网址:http://www.microsoft.com/en-us/download/details.aspx?id=11800 图一 2.解压并安装GRMWDK_EN_7600_1.ISO中的De…

之前我只知道用驱动精灵来给新机器装网卡驱动,或者用下载好的exe格式文件给非新机器装网卡驱动. 今天下载了一个非exe格式的文件,就不知道怎么装了,百度了一下才知道,可以通过:”设备管理器“->右键点击要安装驱动的硬件->“更新驱动程序软件”->“浏览计算机以查找驱动程序软件”:的方式来用非exe格式的文件安装网卡驱动…

今天使用docker方式安装openstf碰到了一小坑,坑了我半天.特此记录! docker方式安装stf就不说了,网上教程一大把. 但是... 安装完之后.进入web控制界面,手机连接的好好的.但硕大几个字:No Device Connect,然后各种日志查看,甚至不用docker安装,折腾了半天.然并卵没用. 最后发现是vm虚拟机的问题. 看这里: 右下角的这排小图标,那个蓝色的usb,之前是灰的.要点一下连接,然后就好了.真是日了狗了 然后就OK了 好了,记录一下.可能是自己sb了.操!…

1.可能缺程序依赖的Qt动态库   ------>    使用Qt自带的windeployqt进入安装程序所在的文件夹内进行自动配置 将程序安装在C盘之外的盘,这样可以方便windeployqt进行复制 缺什么找什么dll找不全,一定要用工具 2.可能出现无法定位程序输入点 ------> 运行库版本不一致导致无法找到程序入口 若电脑内安装了不同版本的windeployqt,注意开发用的qt版本和windeplyqt版本一致…

使用豆瓣源安装(推荐) [推荐] python3.X安装和pip安装方法 pip install -i https://pypi.douban.com/simple XXX 1.安装virtualenv pip install virtualenv 2一旦virtualenv过多,就蛋疼了,接下来隆重推荐virtualenvwrapper pip install virtualenvwrapper-win 注: linux下运行pip install virtualenvwrapper 3.设置…

Tomcat7.0.22在Windows下详细配置过程 一.JDK1.7安装 1.下载jdk,下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk-7u1-download-513651.html 2.添加系统环境变量,我的电脑->属性->高级->环境变量(如果添加的环境变量已经存在,点击“编辑”添加,否则点击“新建”添加) (1)变量名: JAVA_HOME    变量值: D:\Program Files\J…

下面是在windows下通过virtualenv创建虚拟环境, 包括 : 1. 安装virtualenv(使用pip可直接安装) 2. 使用virtualenv创建指定版本的虚拟环境 3. 进入虚拟环境并测试 一.安装 这里我的python2和3的pip是隔离开的, 但是装virtualenv不影响之后创建虚拟环境, 所以用2或3都行 二.创建虚拟环境 上面安装完成之后, 在python2的Script文件中会多出一个virtulenv.exe文件, 可以检查一下 进入需要创建虚拟环境的目录,…