2018.2最新-Scrapy+elasticSearch+Django打造搜索引擎(二)

请问您今天要来个引擎吗？工欲善其事必先利其器

最终项目上线演示地址: http://search.mtianyan.cn

第二节：我们搞搞比利，搞搞环境的搭建。
Github地址: https://github.com/mtianyan/ArticleSpider

IDE: pycharm
数据库: mysql, redis, elasticsearch
开发环境 virtualenv

这次的数据库只介绍mysql,后面两个会放到要用到的章节。

Pycharm的安装和使用

Pycharm在windows和linux下的安装：

Pycharm的安装(linux 和windows)

一定要下载专业版，社区免费版有很多功能缺失

windows下pycharm安装。

PyCharm 2017.3.2

pycharm官方下载链接：https://www.jetbrains.com/pycharm/download/#section=windows

我们要选择专业版（Professional）因为只有专业版才能够新建django项目,免费社区版不能。

为Pycharm添加解释器：

setting - Project Interpreter：

一直定位到 python.exe 点击确认。

设置keymap: 设置快捷键。

Linux下pycharm使用。

同样下载专业版。 Linux下的版本实际是一个绿色版本。

1
2
3

cd pycharm
cd bin/
./pycharm.sh

设置通过命令直接启动。

vim ~/.bashrc

alias pycharm="bash /home//pycharm.sh"

source ~./bashrc

mysql和Navicat的安装和使用

Mysql

百度”mysql for windows” 直接在百度软件中心下载即可

如果你的电脑跟我电脑一样空，推荐遵循我的：

点击接受协议
选择Custom选项。(如果默认选项，会发生必要条件缺失：如我电脑没有VS和py3.4)

下图页面点击next会显示我们不满足的条件，back后点击绿色箭头移除。

所有条件都达成，点击Execute，等待安装完成。

均为绿色代表安装完成。

一直默认选择直到下图页面。设置密码，添加用户(可选)

注意：记住自己设置的mysql密码

之后全部默认下一步。直到安装完成Finish

这时Navicat已经可以正常连接了。如果想让mysql命令在cmd下可使用。

C:Program FilesMySQLMySQL Server 5.7bin (自行替换为自己的mysql.exe地址)加入环境变量中。

通过mysql -uroot -p命令可以进行登入mysql控制台。

1	sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf

修改bind adress: 0.0.0.0

1	sudo service mysql restart

# 授予所有权限其实可以细化，on`*.*`是一个正则表达式，表示所有的表赋权限。`root `代表通过root用户连接过来。 `%` 代表所有外部的ip ：当然也可以指明某一个ip.所有ip上只要是通过root 用户 Identity by`密码 `都可以访问我的所有表
grant all privileges on *.* to 'root'@'%' identified by 'ty158917' with grant option;

flush privileges;

sudo apt-get install mysql-server
ps aux|grep mysql

mysql-uroot -p

show databases;

通过set py3获取py3安装路径。

Navicat

安装指南：下一步下一步。

下载地址：http://www.navicat.com.cn/download/navicat-for-mysql

我的安装目录: C:softwareNavicat Premium 12

virtualenv和virtualenvwrapper安装和配置

virtualenv介绍

每个应用可能需要各自拥有一套独立的Python运行环境。virtualenv就是用来为一个应用创建一套隔离的Python运行环境。

virtualenv优点：

它是将全局Python解释器进行私有化复制。
如果不使用虚拟环境，默认的pip安装都会安装到同一个目录(java是把自己需要的包放到自己项目目录)，不同项目使用起来会产生问题

安装virtualenv

进入cmd，（确保自己的pip已经可用）

pip install virtualenv
virtualenv testvir

cd %homepath%
cd testvir
cd Scripts
activate.bat #激活
pip list 
deactivate.bat

默认使用virtualenv testvir该命令，会将虚拟环境创建在我们当前用户目录。

注意：我的目录在桌面是我的cmder设置的、还请自行cd %homepath%前往自己的目录

这样直接使用步骤有写过于繁琐。所以我们使用virtualenvwrapper

virtualenvwrapper安装

1 2	pip install virtualenvwrapper-win pip install virtualenvwrapper(Linux)

创建虚拟环境

1	mkvirtualenv DjangoTest

会创建在C:UsersmtianEnvs当前用户目录下的Envs目录。

修改mkvirtualenv创建的目录：新增环境变量WORKON_HOME

退出激活状态
1

deactivate
知道有哪些虚拟环境
1

workon

Linux下安装:

sudo apt-get install python-virtualenv

virtualenv venv --python=python3.5
virtualenv venv --python=python2.7

安装pip

sudo python get-pip.py

pip install virtualenvwrapper

sudo find / -name virtualenvwrapper.sh

1
2
3

mkvirtualenv articlespider --python=python3.5

rm -rf py3scrapy : 删除目录