//server
import socket, select, re, queue, redis
from multiprocessing import Pool, cpu_count
from pymongo import MongoClient host = '192.168.1.107'
ConnectionList = []
Recv_buffer = 4096000
Client_Status = {}
Client_Num = {}
redis1 = redis.Redis(host='localhost', port=6379, db=0)
Num = 0 class Distributed_Web_Crawler:
def __init__(self, port):
self.url_num = 1
self.queue = queue.Queue()
self.db = MongoClient().CrawSpider.content
self.server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
self.server_socket.bind((host, port))
self.server_socket.listen(10)
self.pool = Pool(cpu_count() - 1)
ConnectionList.append(self.server_socket)
print("服务器运行在端口:" + str(port))
address = 'https://movie.douban.com/'
self.queue.put(address)
redis1.set(address, 0)
self.main() def main(self):
global Num
while 1:
if not self.queue.empty() and ConnectionList.__len__() > 1 is not None:
self.pool.apply_async(self.task_manage())
read_sockets, write_sockets, error_sockets = select.select(ConnectionList, [], [])
for sock in read_sockets:
if sock == self.server_socket:
conn, addr = self.server_socket.accept()
ConnectionList.append(conn)
core_num = conn.recv(Recv_buffer).decode('utf8')
Client_Status[conn] = core_num
Client_Num[conn] = Client_Num.__len__() + 1
print('客户端 ' + addr[0] + ':' + str(addr[1]) + '已连接,核心数: ' + core_num + '\n编号为' + str(Client_Num[
conn]))
else:
data = sock.recv(Recv_buffer)
if data:
Contents = data.decode('utf8').split('Page_ContentPPPPPP///////')
# print('收到'+str(Client_Num[sock])+'号机发来数据,正在处理')
Client_Status[sock] = int(Client_Status[sock]) + len(Contents)
print('编号'+str(Client_Num[sock])+'可用核心'+str(Client_Status[sock]))
for content in Contents:
if content:
self.pool.apply_async(self.web_page_resolution(content))
else:
print('客户端 ' + addr[0] + ':' + str(addr[1]) + '断开连接')
sock.close()
Client_Status.pop(sock)
Client_Num.pop(sock)
ConnectionList.remove(sock) def web_page_resolution(self, content):
db = MongoClient().Web.data
db.insert({'page_content': content})
pattern = re.compile('https://movie.douban.com/(.*?)"')
urls = re.findall(string=content, pattern=pattern)
for url in urls:
url = 'https://movie.douban.com/' + url
if redis1.get(url) is None:
redis1.set(url, self.url_num)
self.queue.put(url)
self.url_num += 1 def task_manage(self):
urls = ''
for socket in ConnectionList:
if socket != self.server_socket:
while not self.queue.empty() and int(Client_Status[socket]) != 0:
urls = urls + self.queue.get() + ' '
Client_Status[socket] = int(Client_Status[socket]) - 1
# print('向' + str(Client_Num[socket]) + '号终端分配任务')
socket.send(urls.encode('utf8')) if __name__ == "__main__":
port = 8888
Distributed_Web_Crawler(port, )
//Client
import socket, sys, select
from multiprocessing import cpu_count
from requests import get
from multiprocessing import Pool p = Pool(cpu_count() - 1)
host = '192.168.0.103'
Page_contents = [] def crawler_page(url):
print("正在爬取网页" + url)
content = get(url).content.decode('utf8') + 'Page_ContentPPPPPP///////'
print(url + "爬取完成,正在向服务器发送数据")
s.send(content.encode('utf8')) def listing():
while 1:
rlist = [sys.stdin, s]
read_list, write_list, error_list = select.select(rlist, [], [])
for sock in read_list:
if sock == s:
data = sock.recv(4096).decode('utf8')
if data != 'quit' and data:
urls = data.split()
if len(urls) == 1:
p.apply_async(crawler_page(urls[0]))
else:
for url in urls:
p.apply_async(crawler_page(url))
urls.remove(url)
elif data == 'quit':
print('接收到服务器关闭指令,客户端正在退出')
sys.exit()
else:
print('服务器连接失败,正在退出')
sys.exit() if __name__ == "__main__":
port = 8888
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.settimeout(3)
try:
s.connect(('192.168.1.107', port))
except:
print("无法连接至服务器,请检查地址后重试")
sys.exit()
print("已连接至服务器,开始发送机器信息\n核心数:" + str(cpu_count()))
s.send(str(cpu_count()).encode('utf8'))
listing()

python--分布式爬虫的更多相关文章

  1. Python分布式爬虫原理

    转载 permike 原文 Python分布式爬虫原理 首先,我们先来看看,如果是人正常的行为,是如何获取网页内容的. (1)打开浏览器,输入URL,打开源网页 (2)选取我们想要的内容,包括标题,作 ...

  2. 第三百七十二节,Python分布式爬虫打造搜索引擎Scrapy精讲—scrapyd部署scrapy项目

    第三百七十二节,Python分布式爬虫打造搜索引擎Scrapy精讲—scrapyd部署scrapy项目 scrapyd模块是专门用于部署scrapy项目的,可以部署和管理scrapy项目 下载地址:h ...

  3. 第三百七十一节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)用Django实现我的搜索以及热门搜索

    第三百七十一节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)用Django实现我的搜索以及热门 我的搜素简单实现原理我们可以用js来实现,首先用js获取到 ...

  4. 第三百七十节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)用Django实现搜索结果分页

    第三百七十节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)用Django实现搜索结果分页 逻辑处理函数 计算搜索耗时 在开始搜索前:start_time ...

  5. 第三百六十九节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)用Django实现搜索功能

    第三百六十九节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)用Django实现搜索功能 Django实现搜索功能 1.在Django配置搜索结果页的路由映 ...

  6. 第三百六十八节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)用Django实现搜索的自动补全功能

    第三百六十八节,Python分布式爬虫打造搜索引擎Scrapy精讲—用Django实现搜索的自动补全功能 elasticsearch(搜索引擎)提供了自动补全接口 官方说明:https://www.e ...

  7. 第三百六十七节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)scrapy写入数据到elasticsearch中

    第三百六十七节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)scrapy写入数据到elasticsearch中 前面我们讲到的elasticsearch( ...

  8. 第三百六十六节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)的bool组合查询

    第三百六十六节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)的bool组合查询 bool查询说明 filter:[],字段的过滤,不参与打分must:[] ...

  9. 第三百六十五节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)的基本查询

    第三百六十五节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)的基本查询 1.elasticsearch(搜索引擎)的查询 elasticsearch是功能 ...

  10. 第三百六十四节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)的mapping映射管理

    第三百六十四节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)的mapping映射管理 1.映射(mapping)介绍 映射:创建索引的时候,可以预先定义字 ...

随机推荐

  1. echarts入门基础,画一个饼状图

    注意:一定要自己引入echarts库 <!DOCTYPE html> <html> <head> <meta charset="utf-8" ...

  2. Java基础必备 -- 堆栈、引用传值、垃圾回收等

     在Java中,对象作为函数参数的传递方式是值传递还是引用传递?String str = "abc" 与 String str = new String("abc&quo ...

  3. 【转修正】sql server行版本控制的隔离级别

    在SQL Server标准的已提交读(READ COMMITTED)隔离级别下,一个读操作会和一个写操作相互阻塞.未提交读(READ UNCOMMITTED)虽然不会有这种阻塞,但是读操作可能会读到脏 ...

  4. 图割Graph-Cut的最大流实现

    利用最大流标号法求解最大流,详见代码: Version:未加头尾节点版: 缺点:havn't take nodes' pixels into consideration /************** ...

  5. zjuoj 3602 Count the Trees

    http://acm.zju.edu.cn/onlinejudge/showProblem.do?problemCode=3602 Count the Trees Time Limit: 2 Seco ...

  6. 【Python】 Subprocess module

    1. subprocess.check_output() 2.subprocess.call() 3. subprocess.check_call() the methods 1.2.3 are ar ...

  7. Thinking in UML-2-建模基础

    建模的问题可以分为两个: 怎么建 模是什么 怎么建:角度不同决定了建模方向不同.所以首先要决定抽象的角度即建立这个模型的目的是什么. 模是什么:人+事+物+规则 我们这样来建立模型: 问题领域 = n ...

  8. [6] 智能指针boost::weak_ptr

    [1]boost::weak_ptr简介 boost::weak_ptr属于boost库,定义在namespace boost中,包含头文件 #include<boost/weak_ptr.hp ...

  9. python核心编程学习记录之函数与函数式编程

    @func function 意思是func(function) @func(a) function 意思是func(a)这是个函数对象,在去调用function函数 如果要传额外的值,只传值用*tu ...

  10. 06-BCD计数器设计与应用——小梅哥FPGA设计思想与验证方法视频教程配套文档

    芯航线--普利斯队长精心奉献   实验目的:1.掌握BCD码的原理.分类以及优缺点          2.设计一个多位的8421码计数器并进行验证          3.学会基本的错误定位以及修改能力 ...