python爬虫学习记录——各种软件/库的安装

Ubuntu18.04安装python3-pip

1、apt-get update更新源

2，ubuntu18.04默认安装了python3,但是pip没有安装，安装命令：apt install python3-pip(apt install python-pip安装的是python2b版本的pip)

安装mongodb：

apt-get install mongodb.

执行mongod命令之后创建了一个/data/db。

mongo进入mongodb的命令行操作。

这篇关于mongodb的安装不错！贴在下面：https://huur.cn/course/yw/1712.html，内容如下：

MongoDB是一个免费的开源NoSQL文档数据库，在现代Web应用程序中经常使用。

在本教程中，您将安装MongoDB，管理其服务，并可选择启用远程访问。

先决条件

要学习本教程，您需要：

• 遵循此初始服务器设置教程设置的一台Ubuntu 18.04服务器，包括sudo非root用户和防火墙。

第1步 – 安装MongoDB

Ubuntu的官方软件包存储库包含最新版本的MongoDB，这意味着我们可以使用安装必要的软件包apt。

首先，更新软件包列表以获取最新版本的存储库列表：

sudo apt update

现在安装MongoDB包本身：

sudo apt install -y mongodb

该命令安装了几个包含最新稳定版本的MongoDB的软件包，以及MongoDB服务器的有用管理工具。数据库服务器在安装后自动启动。

接下来，让我们验证服务器是否正在运行并正常工作。

 

第2步 – 检查服务和数据库

安装过程自动启动MongoDB，但让我们验证服务已启动并且数据库正在运行。

首先，检查服务的状态：

sudo systemctl status mongodb

你会看到这个输出：

Output

● mongodb.service - An object/document-oriented database
   Loaded: loaded (/lib/systemd/system/mongodb.service; enabled; vendor preset: enabled)
   Active: active (running) since Sat 2018-05-26 07:48:04 UTC; 2min 17s ago
     Docs: man:mongod(1)
 Main PID: 2312 (mongod)
    Tasks: 23 (limit: 1153)
   CGroup: /system.slice/mongodb.service
           └─2312 /usr/bin/mongod --unixSocketPrefix=/run/mongodb --config /etc/mongodb.conf

据说systemd，MongoDB服务器已经启动并正在运行。

我们可以通过实际连接到数据库服务器并执行诊断命令来进一步验证

执行此命令：

mongo --eval 'db.runCommand({ connectionStatus: 1 })'

这将输出当前的数据库版本，服务器地址和端口以及状态命令的输出：

Output

MongoDB shell version v3.6.3
connecting to: mongodb://127.0.0.1:27017
MongoDB server version: 3.6.3
{
        "authInfo" : {
                "authenticatedUsers" : [ ],
                "authenticatedUserRoles" : [ ]
        },
        "ok" : 1
}

的价值1为ok响应中的字段表示服务器是否正常工作。

接下来，我们将看看如何管理服务器实例。

 

第3步 – 管理MongoDB服务

MongoDB作为systemd服务安装，这意味着您可以使用标准systemd命令以及Ubuntu中所有其他系统服务来管理它。

要验证服务的状态，请键入：

sudo systemctl status mongodb

您可以随时键入以下命令停止服务器：

sudo systemctl stop mongodb

要在停止时启动服务器，请键入：

sudo systemctl start mongodb

您也可以使用单个命令重新启动服务器：

sudo systemctl restart mongodb

默认情况下，MongoDB被配置为自动启动服务器。如果您希望禁用自动启动，请键入：

sudo systemctl disable mongodb

再次启用它同样简单。为此，请使用：

sudo systemctl enable mongodb

接下来，让我们调整我们的MongoDB安装的防火墙设置。

 

第4步 – 调整防火墙（可选）

假设您已经遵循了最初的服务器设置教程说明来启用服务器上的防火墙，MongoDB服务器将无法从Internet访问。

如果您打算只在本地使用运行在同一台服务器上的应用程序的MongoDB服务器，则这是建议和安全的设置。但是，如果您希望能够通过Internet连接到MongoDB服务器，则必须允许传入连接ufw。

要允许27017从任何地方访问MongoDB的默认端口，可以使用。但是，通过默认安装启用对MongoDB服务器的互联网访问，任何人都可以不受限制地访问数据库服务器及其数据。sudo ufw allow 27017

在大多数情况下，MongoDB只能从特定的可信位置访问，例如托管应用程序的另一台服务器。要完成此任务，您可以允许访问MongoDB的默认端口，同时指定另一个明确允许连接的服务器的IP地址：

sudo ufw allow from your_other_server_ip/32 to any port 27017

您可以通过以下方式验证防火墙设置的更改ufw：

sudo ufw status

您应该27017在输出中看到允许的端口流量：

产量

Status: active

To                         Action      From
--                         ------      ----
OpenSSH                    ALLOW       Anywhere
27017                      ALLOW       Anywhere
OpenSSH (v6)               ALLOW       Anywhere (v6)
27017 (v6)                 ALLOW       Anywhere (v6)

如果您决定只允许某个IP地址连接到MongoDB服务器，则允许位置的IP地址将在输出中列出而不是Anywhere。

您可以找到更多高级防火墙设置来限制UFW Essentials中的服务访问：通用防火墙规则和命令。

即使端口是开放的，MongoDB目前只能监听本地地址127.0.0.1。要允许远程连接，请将服务器的可公开路由的IP地址添加到mongod.conf文件中。

在您的编辑器中打开MongoDB配置文件：

sudo nano /etc/mongodb.conf

将您的服务器的IP地址添加到bindIP值：

 

...
logappend=true

bind_ip = 127.0.0.1,your_server_ip
#port = 27017

...

务必在现有IP地址和添加的地址之间放置逗号。

保存文件，退出编辑器，然后重新启动MongoDB：

sudo systemctl restart mongodb

MongoDB现在正在监听远程连接，但任何人都可以访问它。

安装redis:

apt-get install redis-server

redis-cli进入redis的命令行模式

vi /etc/redis/redis.conf

修改bind 127.0.0.1 ::1可以改变访问限制，如果不修改只能本地访问，注释之后可以远程访问了！

修改requirepass之后的内容可以改变连接密码！

如果访问权限受限，可以执行命令redis -变量（a)  密码（requirepass之后的密码）

关于redis的文章：http://www.cnblogs.com/super-zhangkun/p/9457312.html

内容如下：

Ubuntu18.04，安装Redis和简单使用Redis

 

前言

Redis是常用基于内存的Key-Value数据库，比Memcache更先进，支持多种数据结构，高效，快速。用Redis可以很轻松解决高并发的数据访问问题；作为实时监控信号处理也非常不错。

环境

Ubuntu 18.04

安装Redis服务器端

~ sudo apt-get install redis-server

安装完成后，Redis服务器会自动启动，我们检查Redis服务器程序

检查Redis服务器系统进程

~ ps -agx|grep redis

1 10382 10382 10382 ? -1 Ssl 124 0:07 /usr/bin/redis-server 127.0.0.1:6379
2677 10618 10617 2677 pts/0 10617 S+ 1000 0:00 grep --color=auto redis

通过启动命令检查Redis服务器状态

~ netstat -nlt|grep 6379

tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 
tcp6 0 0 ::1:6379 :::* LISTEN

通过启动命令检查Redis服务器状态

~$ sudo /etc/init.d/redis-server status

● redis-server.service - Advanced key-value store
Loaded: loaded (/lib/systemd/system/redis-server.service; enabled; vendor preset: enabled)
Active: active (running) since Fri 2018-08-10 19:50:13 CST; 36min ago
Docs: http://redis.io/documentation,
man:redis-server(1)
Main PID: 10382 (redis-server)
Tasks: 4 (limit: 2294)
CGroup: /system.slice/redis-server.service
└─10382 /usr/bin/redis-server 127.0.0.1:6379

8月 10 19:50:12 zhangkun-virtual-machine systemd[1]: Starting Advanced key-v…..
8月 10 19:50:13 zhangkun-virtual-machine systemd[1]: redis-server.service: C…ry
8月 10 19:50:13 zhangkun-virtual-machine systemd[1]: Started Advanced key-va…e.
Hint: Some lines were ellipsized, use -l to show in full.

通过命令行客户端访问Redis

安装Redis服务器，会自动地一起安装Redis命令行客户端程序。

在本机输入redis-cli命令就可以启动，客户端程序访问Redis服务器。

~ redis-cli

127.0.0.1:6379> help
redis-cli 4.0.9
To get help about Redis commands type:
"help @<group>" to get a list of commands in <group>
"help <command>" for help on <command>
"help <tab>" to get a list of possible help topics
"quit" to exit

To set redis-cli preferences:
":set hints" enable online hints
":set nohints" disable online hints
Set your preferences in ~/.redisclirc

127.0.0.1:6379> set key1 "hello"
OK
127.0.0.1:6379> get key1
"hello"

基本的Redis客户端命令操作

增加一条记录key1

redis 127.0.0.1:6379> set key1 "hello"
OK

# 打印记录
redis 127.0.0.1:6379> get key1
"hello"

增加一条数字记录

 

set key2 1
OK

# 让数字自增
redis 127.0.0.1:6379> INCR key2
(integer) 2
redis 127.0.0.1:6379> INCR key2
(integer) 3

# 打印记录
redis 127.0.0.1:6379> get key2
"3"

 

增加一个列表记录key3

 

redis 127.0.0.1:6379> LPUSH key3 a
(integer) 1

# 从左边插入列表
redis 127.0.0.1:6379> LPUSH key3 b
(integer) 2

# 从右边插入列表
redis 127.0.0.1:6379> RPUSH key3 c
(integer) 3

# 打印列表记录，按从左到右的顺序
redis 127.0.0.1:6379> LRANGE key3 0 3
1) "b"
2) "a"
3) "c"

增加一个哈希记表录key4

redis 127.0.0.1:6379> HSET key4 name "John Smith"
(integer) 1

# 在哈希表中插入，email的Key和Value的值
redis 127.0.0.1:6379> HSET key4 email "abc@gmail.com"
(integer) 1

# 打印哈希表中，name为key的值
redis 127.0.0.1:6379> HGET key4 name
"John Smith"

# 打印整个哈希表
redis 127.0.0.1:6379> HGETALL key4
1) "name"
2) "John Smith"
3) "email"
4) "abc@gmail.com"

增加一条哈希表记录key5

# 增加一条哈希表记录key5，一次插入多个Key和value的值
redis 127.0.0.1:6379> HMSET key5 username antirez password P1pp0 age 3
OK

# 打印哈希表中，username和age为key的值
redis 127.0.0.1:6379> HMGET key5 username age
1) "antirez"
2) "3"

# 打印完整的哈希表记录
redis 127.0.0.1:6379> HGETALL key5
1) "username"
2) "antirez"
3) "password"
4) "P1pp0"
5) "age"
6) "3"

删除记录

# 查看所有的key列表
redis 127.0.0.1:6379> keys *
1) "key2"
2) "key3"
3) "key4"
4) "key5"
5) "key1"

# 删除key1,key5
redis 127.0.0.1:6379> del key1
(integer) 1
redis 127.0.0.1:6379> del key5
(integer) 1

# 查看所有的key列表
redis 127.0.0.1:6379> keys *
1) "key2"
2) "key3"
3) "key4"

修改Redis的配置

使用Redis的访问账号

默认情况下，访问Redis服务器是不需要密码的，为了增加安全性我们需要设置Redis服务器的访问密码。设置访问密码为redisredis。

用vi打开Redis服务器的配置文件redis.conf

~ sudo vi /etc/redis/redis.conf

#取消注释requirepass
requirepass redisredis

让Redis服务器被远程访问

默认情况下，Redis服务器不允许远程访问，只允许本机访问，所以我们需要设置打开远程访问的功能。

用vi打开Redis服务器的配置文件redis.conf

~ sudo vi /etc/redis/redis.conf

#注释bind
#bind 127.0.0.1

修改后，重启Redis服务器。

~ sudo /etc/init.d/redis-server restart
Stopping redis-server: redis-server.
Starting redis-server: redis-server.

未使用密码登陆Redis服务器

~ redis-cli

redis 127.0.0.1:6379> keys *
(error) ERR operation not permitted

发现可以登陆，但无法执行命令了。

登陆Redis服务器，输入密码

~  redis-cli -a redisredis

redis 127.0.0.1:6379> keys *
1) "key2"
2) "key3"
3) "key4"

登陆后，一切正常。

我们检查Redis的网络监听端口

检查Redis服务器占用端口

~ netstat -nlt|grep 6379
tcp        0      0 0.0.0.0:6379            0.0.0.0:*               LISTEN

我们看到网络监听从之前的 127.0.0.1:3306 变成 0 0.0.0.0:3306，表示Redis已经允许远程登陆访问。

我们在远程的另一台Linux访问Redis服务器

~ redis-cli -a redisredis -h 192.168.1.199

redis 192.168.1.199:6379> keys *
1) "key2"
2) "key3"
3) "key4"

远程访问正常。通过上面的操作，我们就把Redis数据库服务器，在Linux Ubuntu中的系统安装完成。

mysql安装步骤：

sudo apt-get install mysql-server mysql-client

常用mysql服务命令：

登录mysql
mysql -u username -p

退出mysql
quit

启动mysql
systemctl start mysqld.service

结束
systemctl stop mysqld.service

重启
systemctl restart mysqld.service

开机自启
systemctl enable mysqld.service

查看mysql版本
select version();

比较好的文章:

https://www.cnblogs.com/luoli-/p/9249769.html

内容如下：

Ubuntu18.04 安装mysql8.0.11

1.下载deb包

2.运行命令#（我用的是apt-get update)

1 sudo dpkg -i mysql-apt-config_0.8.10-1_all.deb
2 sudo apt update

3.安装mysql8(apt-get install mysql-server

1  sudo apt install mysql-server

4.输入root密码

5.密码加密方式选择5.x

6.查看mysql是否安装成功

1 mysql -u root -p

7.查看mysql字符集，mysql8字符集默认为utf-8。

1 show variables like '%char%'; 

安装各种库的命令：pip3 install requests selenium beautifulsoup4 pyquery pymysql pymongo redis flask django jupyter