最近看崔庆才老师的爬虫课程,第一个实战课程是requests和正则表达式爬取猫眼电影Top100榜单.虽然理解崔老师每一步代码的实现过程,但自己敲代码的时候还是遇到了不少问题: 问题1:获取response.text时出现中文乱码的问题 问题2:通过requests.get()方法获取的网页代码与网页源代码不一致的问题   问题3:正则表达式匹配内容为空(多次修改pattern,甚至直接copy崔老师视频中的pattern也输出为空) 问题1:获取response.text时出现中文乱码的问题…

8 月 12 日,阿拉丁数据统计平台发布了国内第一份小程序 TOP100 榜单,摩拜单车成为全榜第一! 该榜单数据来源于阿拉丁小程序统计平台检测.合作.如有赞等,并经过企业电话调研和实地走访企业等校准,选取人气.搜索.使用.分享四大指标来衡量一款小程序的活跃度. 目前阿拉丁收录了超过 10000 个小程序,前 5 名小程序分别是摩拜单车.王卡申请助手.腾讯视频.拼多多.蘑菇街女装特卖. 监测数据显示,小程序指数 TOP100 中小程序数量前三位为工具.零售.生活服务,其中工具类占比 36%,后两…

主要用于记录在LeetCode刷题的过程中学习到的一些思想和自己的想法,希望通过leetcode提升自己的编程素养 :p 高效leetcode刷题小诀窍(这只是目前对我自己而言的小方法,之后会根据自己的切身经历更新): 算法不是纯粹拼智商的,智商高,就一定很厉害,不够聪明,就一定不行.算法是一种技能,是可以通过科学合理的方式训练出来的能力.目前国内大厂的算法考察,基本不会超过leetcode 中等难度,上限难度基本都是leetcode 中等题里面的中等难度 基本的算法数据结构是有限的.比如说链表…

基于文章:探索「老药新用」最短路径:亚马逊AI Lab开源大规模药物重定位知识图谱DRKG,记录了该项目的实际部署与探索过程,供参考. 1. DRKG介绍 大规模药物重定位知识图谱 Drug Repurposing Knowledge Graph (DRKG) 是一种涉及基因.化合物.疾病.生物学过程.副作用和症状的综合性生物知识图.DRKG包括来自六个现有数据库的信息,包括DrugBank.Hetionet.GNBR.String.IntAct .DGIdb,以及从最近的出版物收集的数据,特别…

无疑是互联网时代最闪亮的明星.截止到今天为止,Google美国主站在Alexa排名已经连续3年第一,Alexa Top100中,各国的Google分站竟然霸占了超过20多个名额,不得不令人感叹Google的强大.不论何时,不论何地,也不论你搜索多么冷门的词汇,只要你的电脑连接互联网,只要你轻轻点击"google搜索",那么这一切相关内容google都会在1秒钟之内全部搞定,这甚至比你查询"我的文档"都要快捷.这也就是为什么Google创业12年,市值超过2000亿美…

glusterfs,GNU cluster file system,创始人Anand Babu Periasamy,目标:代替开源Lustre和商业产品GPFS,glusterfs是什么: cloud storage: 分布式文件系统(POSIX兼容): elasticity(flexibility adapt to growth/reduction,add,delete volumes&users without disruption): 无中心架构(无元数据server),eliminate…

info:更多Django信息url:https://www.oschina.net/p/djangodetail: Django 是 Python 编程语言驱动的一个开源模型-视图-控制器(MVC)风格的 Web 应用程序框架.使用 Django,我们在几分钟之内就可以创建高品质.易维护.数据库驱动的应用程序. Django 框架的核心组件有: 用于创建模型的对象关系映射 为最终用户设计的完美... info:更多OpenERP信息url:https://www.oschina.net/p/o…

import requests import re import json from requests.exceptions import RequestException from multiprocessing import Pool # 获取网页 def get_one_page(url): headers = { 'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)'+ '…

<zw版·Halcon-delphi系列原创教程> zw版-Halcon常用函数Top100中文速查手册 Halcon函数库非常庞大,v11版有1900多个算子(函数). 这个Top版,对最常用的函数,做了中文说明,目前约250条,以后会逐步优化.增减. 目标是,类似常用英文单词500一样,做成<Halcon常用函数300条>.<halcon常用函数500条>等版本,方便大 家学习. 考虑到通用性,函数采用的是Halcon手册格式,没有转成delphi版,请大家注意.…

2015年出差很少,感到整个技术都已经荒废了,收到12月份TOP100的会议通知后,还是去充点电吧,不然心慌啊.对于软件大会这种大杂烩式的会议已经没有多少兴趣了,看看这个TOP100组织得有何不同? 会议分为了产品创新/用户体验.团队管理/组织发展.架构设计/技术战略.开发管理/流程再造.测试管理/质量平台共5个分会场,拿到会议手册时还是挺眼花缭乱的,除了对测试不太感兴趣外,其它4个主题还是都想听听. 第一天(12月5日) 1.大数据实时处理系统实现及其设计 对比了同时9点开讲的5个报告,我选中…