Scrapy 这个爬网框架真心不错,但在OSX上安装总是会出现各种的问题,在这里就作一个收集汇总.我的系统环境是 OS X El Capitan (10.11.1) 首先要保证 pip , virtualenv 和 setuptools 是最新版本 pip install --upgrade pip virtualenv setuptools 如果你能直接运行以下的安装指令,只能说明你的人品足够的好: pip install Scrapy 从上帝的角度来看,每个人都是有罪的,所以我估计也很难出现…

为了在win8.1上安装scrapy折腾了好久,最终安装成功,总结步骤如下: 下载安装Visual C++ 2008 redistributables 安装lxml-3.2.4.win-amd64-py2.7.exe(32位:lxml-3.2.4.win32-py2.7.exe) 安装pywin32-218.win-amd64-py2.7.exe(32位:pywin32-218.win32-py2.7.exe) 安装Twisted-13.2.0.win-amd64-py2.7.exe(32位:T…

前言:为了将爬虫项目布置到服务器上,才有了今天这一下午的坑,必须记录 不要动现有的python2环境!不要动现有的python2环境!不要动现有的python2环境! 解压 tar -xvf Python-3.5.5.tgz 开始安装 ./configure --prefix=/usr/local/python35 --with-ssl 接下来 make make install 设置软链,打死不要命名python为python3的软链!!! ln -s /usr/local/python35/…

redis用处很广泛,我不再啰嗦了,我按照网上教程想在linux上安装下,开始了踩坑过程,网上买了一个linux centos7.3,滴滴云的,巨坑无比啊,不建议大家用这家的! redis 为4.0, 1.登录云服务并下载安装: 首先登录不是root用户,需要切换下,执行sudo su切为root用户,感觉这样很不方便,于是咨询下,回复是这样的: (1) 然后换回root用户了,开始wget下载,提示没有这个命令,好吧,开始安装它yum -y install wget 下载完后就解压, 执行:t…

安装过程怕是要吐血,架梯子等等结果被setuptools的版本给坑了. 参考网址: http://blog.csdn.net/YHYR_YCY/article/details/78876148 https://jingyan.baidu.com/article/14bd256e748346bb6d2612be.html 第一步: 安装python2.7版本 cmd设置环境变量:c:\Python27\python.exe c:\Python27\tools\Scripts\win_add2pat…

旧版本的DELPHI在安装目录下里的PASERVER目录有安装文件,但奇怪在这个SEATTLE上的PASERVER目录下只有一个EXE程序的安装程序​​,显然不能安装到OSX里,需要在Embarcadero官网上找到下载页面手动下载后拷贝到OSX里安装,​http://docwiki.embarcadero.com/RADStudio/Seattle/en/Installing_the_PAServer_Manager_on_a_Mac​​…

昨天在linux上安装redis后马上发现了其它问题,服务器很卡,cpu使用率上升,top命令查看下,原来有恶意程序在挖矿,此程序入侵了很多redis服务器,马上用kill杀掉它 然后开始一些安全策略: 修改redis端口号,允许后台启动,添加redis访问密码 打开redis.conf做一些修改 daemonize 改为yes,允许后台启动 port端口换掉 添加redis访问密码 完成上面操作,redis会变得安全和方便些,然后我们再打开防火墙,并刚才修改的端口放行 firewall-cmd…

1.python的安装(我已安装完) 2.pip的安装(我已安装) 3.安装twisted https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 命令:pip install xxxxxxxxxxxxxxx.whl 安装Scrapy 命令: pip install scrapy 参考来源:https://blog.csdn.net/u012257589/article/details/72821992 https://www.cnblogs.co…

最近在看小甲鱼的书,学习学习爬虫,其中有一块是通过Miniconda3安装Scrapy,结果却遇到了下面的错误:fatal error in launcher:unable to create process using  '"c:\bld\scrapy_1564674375870\_h_env\python.exe" "E:\Miniconda3\Scripts\scrapy.exe"'. 解决方法是:检查错误中提到的两个磁盘目录是否都存在,不存在的话就创建它,然…

听说xgboost效果很不错,于是准备学习下,但是发现大多数资料都是在讲如何在windows或linux下安装xgboost,而且照着官方文档也没有正确的安装好多线程的xgboost.最后还是从there找到了方法. 1. Mac OSX系统一般自带python,打开终端输入python即可写python代码,所以python环境已经具备了. 2.安装 Homebrew , 类似于ubuntu中的apt-get和centos中的yum,是OSX里面的一个非常有用软件安装工具. /usr/bin/…

本人之前在 mac 上已经装过 nvm 了,今天帮朋友在他电脑上装,由于是新版本,没想到有点坑. ** 一定要参考官方文档 一.命令行安装  (图片来自 github ) 意思是,无论你安装还是更新 nvm,只要打开终端,复制图中的代码,回车即可. curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.33.11/install.sh | bash So easy. 那么,坑在哪里呢? 一般,安装完后我们都会输入 nvm -v…

xshell没有mac版,且不愿意仅为一个程序运行一个虚拟机.怎么办?装上wine个来跑shell吧! 1.安装 WineBottler 过程略(制作.管理windows程序,类似CrossOver).2.下载 xshell 安装包,亲测 xshell 4可以正常安装使用,xshell 5的C++运行库安装失败.3.打开 WineBottler ,官方带了一些程序可以一键安装使用.4.xshell 需要手动做,简单配置一下即可.如图:5.安装过程有弹窗,手动点下一步咯(CrossOver会卡在弹…

在windows下: pip install scrapy 最后一步报错: 本来以为是缺少 Microsoft Visual C++ 14.0 这个库,一看下载需要400多M,算了再看下报错... 感觉是少了twisted这个包 然后找到了这个网址>>> https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 然后我就下载了 Twisted‑17.9.0‑cp36‑cp36m‑win_amd64.whl  (根据自己机器环境选择) 接着 pip…

ffmpeg功能强大,可以通过命令行来对音视频进行处理.为了使用其功能,我在Mac上对其进行了安装. 我的Mac OS X 系统版本:OS X Yosemite, 10.10.14 关于ffmpeg在Mac OS X上的编译,FFmpeg上有官方文档说明:https://trac.ffmpeg.org/wiki/CompilationGuide/MacOSX.该文档给出了3种方法: ffmpeg through Homebrew Compiling FFmpeg yourself Manual…

OpenOffice是Apache基金会旗下的一款先进的开源办公软件套件,包含文本文档.电子表格.演示文稿.绘图.数据库等.包含Microsoft office所有功能.它不仅可以作为桌面应用供普通用户使用,也提供了完善的功能供开发者使用.OpenOffice可以作为服务方式启动供外部程序调用,进行文档转码等工作. 本文将介绍如何安装OpenOffice并将其作为服务启动供外部程序调用. 安装 Homebrew 及 Homebrew-Cask Homebrew 是一个Mac上的包管理工具.使用H…

今天在使用 brew 安装 nginx 时,提示错误,安装不上去: brew install nginx, 提示:/usr/local is not writable. 这个是需要修改 /usr/local 目录的权限: sudo chown -R $(whoami) /usr/local 执行此命令后, 再执行 brew install nginx 即可安装.…

官方的pypi.python.org可能访问不了,可以先将pip配置为豆瓣的pypi镜像 $ mkdir ~/.pip $ vim ~/.pip/pip.conf [global] timeout = 6000 index-url = http://pypi.douban.com/simple [install] use-mirrors = true mirrors = http://pypi.douban.com trusted-host = pypi.douban.com 可将两处pypi.…

1.安装SublimeText 32.使用Preferences - Package Control:Install Package - Processing安装 如果移动了Processing的位置,例如:把它从desktop移动到applications里面,就会报错,解决方法很简单: 1.找到/usr/local/bin/,删除里面的processing-java 2.打开Processing - Tools - Install "processing-java" 再进Subli…

1. 通过brew instal nginx安装 ==> Downloading https://homebrew.bintray.com/bottles/nginx-1.10.1.el_capitan.bot######################################################################## 100.0%==> Pouring nginx-1.10.1.el_capitan.bottle.tar.gz==> CaveatsDo…

转载于:http://www.cnblogs.com/silverbullet11/p/4966608.html 常用网址: Python 3.5: https://www.python.org/downloads/ Wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 参考文章: https://www.webucator.com/blog/2015/03/how-to-install-lxml-for-python-3-on-64-b…

常用网址: Python 3.5: https://www.python.org/downloads/ Wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 参考文章: https://www.webucator.com/blog/2015/03/how-to-install-lxml-for-python-3-on-64-bit-windows/ http://stackoverflow.com/questions/23944465/i…

mac玩得好好滴,一次性启动成功,结果在centos上安装时,遇坑无数,记录一下: 一.只能localhost访问的问题修改 conf\elasticsearch.yml network.host: 0.0.0.0 http.port: 9200 discovery.zen.ping.unicast.hosts: ["0.0.0.0"] 二.各种启动 ... too low 的妖娥子 比如:max file descriptors [4096] for elasticsearch pr…

下面小编讲一下自己在windows10安装及配置Scrapy中遇到的一些坑及其解决的方法,现在总结如下,希望对大家有所帮助. 常见问题一:pip版本需要升级 如果你的pip版本比较老,可能在安装的过程中需要更新对应的pip版本,所以最好通过指令升级一下pip 升级指令如下(这是在cmd中操作): python -m pip install --upgrade pip 升级完成后,这一类问题就解决了. 常见问题二:安装wheel pip install wheel 如果未安装wheel,使用该命令…

Scrapy是为了爬取网站数据而编写的一款应用框架,出名,强大.所谓的框架其实就是一个集成了相应的功能且具有很强通用性的项目模板. 其实在Linux和 Mac安装,就简单的pip命令即可: pip install wheel 但是在Windows上安装却有很多坑,所以下面小编讲一下自己在windows10安装及配置Scrapy中遇到的一些坑及其解决的方法,现在总结如下,希望对大家有所帮助. 包的下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/ 常见…

[编者按]对于运维人员来说,他们往往需要各种各样的工具来应对工作需求,近日 Dustin Collins 通过「The Best DevOps Tools on OSX」一文对 OSX 平台上的工具进行盘点.本文系 OneAPM 工程师整理翻译. 以下为译文 如果你供职于一个 DevOps 团队,那么肯定会用到很多工具,比如通讯.架构.编排.编程.测试等等.笔者总是关注一些热门工具,这样就能一直跟随潮流.笔者工作中使用的就是 Macbook Pro,因此本文列出了一些经常使用的工具,以及一些使用…

一. 安装环境 Windows 10 64bit  家庭版 GPU: GeForce GTX1070 Python: 3.5 CUDA: CUDA Toolkit 8.0 GA1 (Sept 2016) cuDNN: cuDNN v6.0 Library for Windows 10 [注意] (1)这里值得一提的是,Python,CUDA,cuDNN之间的版本要严格匹配,不匹配安装会出错. (2)后来博主的系统升级到了Windows 10 64bit  企业版,按照上面的软件配置安装,结果出错…

scrapy 一个快速高级的屏幕爬取及网页采集框架 http://scrapy.org/ 官网 https://docs.scrapy.org/en/latest/ Scrapy1.4文档 http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html Scrapy 0.24 中文文档 https://www.youtube.com/watch?v=cEBBG_5309c Scrapy爬虫框架教程02 Scrapy项目的基本使用 2017-12-…

python3安装scrapy之windows32位爬坑 原创 2016年11月06日 01:38:08 标签: scrapy / windows / python / 开源框架 / 网络爬虫   早就听说scrapy不支持python3,而scrapy作为一款优秀的开源框架,不在新的python上集成一下实在可惜.最近刚好打算开始学习网络爬虫,网上又有那么多教程,so今天就来爬一下这个坑. 首先当然是安装一下python,官网可以直接安装最新的3.5.2.安装完成以后,可以成功python后在…

一.前言 最近将整个电脑格式化,改成了linux操作系统 希望这样能让自己在一个新的世界探索技术.提升自己吧- win上的工具用多了,就不想变化了- 继上一篇<ubuntu上安装虚拟机遇到的问题(vmware坑了,virtual-box简单安装,在virtual-box中安装精简版win7)> link:http://www.cnblogs.com/zjutlitao/p/5061917.html 遇到的在ubuntu上装虚拟机坑之后,接下来又遇到了一个新的问题—— 如何在在ubuntu上安装…

http://blog.csdn.net/wdkirchhoff/article/details/41910553 在Mac OSX上如果想使用OpenCV,可以通过自己手动编译源码的方式,但比较繁琐.推荐使用Homebrew来进行安装,步骤很简单,如下: 1.brew tap homebrew/science 2.brew install opencv 等待几分钟,即可安装成功. 下面是配置eclipse: 1. 按照正常的步骤,使用eclipse建立一个Mac C++工程,包含一个cpp文件…