说明:该篇博客是博主一字一码编写的,实属不易,请尊重原创,谢谢大家! 1.概述 前言:前两天刚写了第一篇博客https://blog.csdn.net/qq_41782425/article/details/84934224 发现阅读量很少,博主很生气,当时就想到使用爬虫来增加阅读量,于是一言不合就开始敲代码 分析:首先刚开始我觉得csdn网站不存在反爬虫,于是直接通过urllib2库对我写的第一篇文章,进行while True无限循环访问,然后通过print response.url发现响应的…
作为一个博客新人,对自己博客的访问量也是很在意的,刚好在学python爬虫,所以正好利用一下,写一个python程序来监控博客文章访问量 效果 代码会自动爬取文章列表,并且获取标题和访问量,写入excel,并且对新加入的文章也有作用 解析HTML html通过beautifulsoup来解析,由于是静态的网页,数据直接在网页中,而不是生成的,所以直接提取出来就可以 提取文章标题和访问量 通过观察HTML 我们发现每一个文章都存储在一个类名为'article-item-box csdn-track…
centos 安装nginx参考 日志log报错 nginx -c /etc/nginx/nginx.conf https://blog.csdn.net/weixin_41004350/article/details/78491861 以下是Nginx的默认路径: (1) Nginx配置路径:/etc/nginx/ (2) PID目录:/var/run/nginx.pid (3) 错误日志:/var/log/nginx/error.log (4) 访问日志:/var/log/nginx/acc…
Python并不是我的主业,当初学Python主要是为了学爬虫,以为自己觉得能够从网上爬东西是一件非常神奇又是一件非常有用的事情,因为我们可以获取一些方面的数据或者其他的东西,反正各有用处. 这两天闲着没事,主要是让脑子放松一下就写着爬虫来玩,上一篇初略的使用BeautifulSoup去爬某个CSDN博客的基本统计信息(http://blog.csdn.net/hw140701/article/details/55048364),今天就想要不就直接根据某个CSDN博客的主页的地址爬取该博客的所有…
Python爬虫简单实现CSDN博客文章标题列表 操作步骤: 分析接口,怎么获取数据? 模拟接口,尝试提取数据 封装接口函数,实现函数调用. 1.分析接口 打开Chrome浏览器,开启开发者工具(F12快捷键). 在浏览器中输入CSDN网址 : https://blog.csdn.net ,看`` 根据分析,提取到了AJAX调用接口如下: curl 'https://blog.csdn.net/api/articles?type=new&category=home' -H 'authority:…
开门见山,看看这个教程的主要任务,就去csdn博客,挖取技术文章,我以<第一行代码–安卓>的作者为例,将他在csdn发表的额博客信息都挖取出来.因为郭神是我在大学期间比较崇拜的对象之一.他的csdn首页如下:http://blog.csdn.net/guolin_blog,首页如图: 你需要掌握的技术有:java se,正则表达式,js dom编程思想,jsoup,此外还需要http协议的一些知识.其中其他技术点可能你以前就掌握了,只差一个jsoup了,这个哥们是干嘛使的呢?我用一句话来说,就…
            从 2011-11-16在CSDN开博至今,将近三年.  在近三年的时间里,本博的访问量于2014-07-01突破了10万次,单篇博文<软件开发高手须掌握的4大SQL精髓语句(综合篇)>的访问量超过了1万次.  近三年中,我在CSDN博客上发布了原创博文132篇."软件开发高手须掌握的4大SQL精髓语句"系列的5篇博文,包括<软件开发高手须掌握的4大SQL精髓语句(一)>至<软件开发高手须掌握的4大SQL精髓语句(四)>.&l…
Python 实用爬虫-04-使用 BeautifulSoup 去水印下载 CSDN 博客图片 其实没太大用,就是方便一些,因为现在各个平台之间的图片都不能共享,比如说在 CSDN 不能用简书的图片,在博客园不能用 CSDN 的图片. 当前想到的方案就是:先把 CSDN 上的图片都下载下来,再手动更新吧. 所以简单写了一个爬虫用来下载 CSDN 平台上的图片,用于在其他平台上更新图片时用 更多内容,请看代码注释 效果演示 Python 源代码 提示: 需要先下载 BeautifulSoup 哦,…
文章目录 功能 爬取的方式: 设置生成的md文件命名规则: 设置md文件的头部信息 是否显示csdn中的锚点"文章目录"字样,以及下面具体的锚点 默认false(因为csdn中是集成了[toc]功能的,hexo并没有集成) 是否开启版权声明 默认false(csdn文章头部有我们自定的版权声明,false即为去掉.) 工具 提示 用法: 方式一: 方式二: 方式三: 展示 配置文件信息展示 ps:一个从csdn迁移到hexo等静态博客的java程序 github:https://git…
这是一个分析IP代理网站,通过代理网站提供的ip去访问CSDN博客,达到以不同ip访同一博客的目的,以娱乐为主,大家可以去玩一下. 首先,准备工作,设置User-Agent: #1.headers headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0'} 然后百度一个IP代理网站,我选用的是https://www.kuaidaili.com/fre…
0 url :http://blog.csdn.net/youyou1543724847/article/details/52818339Redis一点基础的东西目录 1.基础底层数据结构 2.windows下环境搭建 3.java里连接redis数据库 4.关于认证 5.redis高级功能总结1.基础底层数据结构1.1.简单动态字符串SDS定义: ...47分钟前1 url :http://blog.csdn.net/youyou1543724847/article/details/52818…
title author date CreateTime categories 如何使用 C# 爬虫获得专栏博客更新排行 lindexi 2018-08-10 19:16:51 +0800 2018-2-13 17:23:3 +0800 爬虫 C# 昨天,梦姐问我们,她存在一个任务,找到 关注数排行100 和 浏览量排行100 的专栏博客,在2017年还有更新的专栏. 梦姐说他要出去一趟,M大神在吃饭,于是我估算时间,只有半个钟. 整理一下:半个钟时间,找到两个表格中,在2017年更新的专栏.这…
本文转载于:http://blog.csdn.net/littletigerat/article/details/17448521 神一样的CSDN博客排名规则 一.引言 年. 马年CSDN博客,毫无争议,毫无悬念,phphot博主仍将蝉联,雄踞CSDN博客榜排名第一. 年. 二. CSDN博客第一名 现有CSDN博客第一名 http://blog.csdn.net/phphot 三.现有CSDN博客的排名机制 规则的最后更新时间:2011年7月13日 已经将近过去了2年半.   获取积分数 获…
csdn博客:http://blog.csdn.net/tuzongxun 我的csdn历程(坚持总会有收获):   一年零三个月之前,2015年3月3日,我在csdn写下第一篇技术博客,只是记录了一些java概念性的东西 历经一年多一点的时间,2016年4月25日,累计写下了100篇原创博客,访问量累计达到5万,成为csdn博客准专家. 今天,2016年6月7日,在成为博客准专家一个半月后,我又写出31篇原创技术博客,博客访问量达到12万,正式成为csdn博客专家.     砖家感想(我还差的…
先来看看CSDN统计博客访问量的原理: 当客户端向服务器发起请求的时候,每个ip被统计一次,上图的三个客户端指的是三个不同的ip地址.并且在某段时间内,同以ip访问同一篇文章,只能算是一次访问量.同一ip在某个时间段内访问同一博客不同的文章,被访问到的文章次数+1.知道上诉简单的原理之后,接下来就想解决的办法了. 首先,准备一大批ip代理.一百度,嚯出来一大堆啊,这个年代雷锋还是挺多的,我选择了这家ip代理网站,并提供了api的调用接口,调用地址是: http://www.xicidaili.c…
首先在此感谢 MoreWindows 秒杀多线程面试题系列让我成长和学习,同时也借鉴了很多优秀观点和示例! 请各位读者可以支持MoreWindows,让更优秀的文章陪伴我们! 各位读者好, 本人博客自从2011年8月开通以来累计发表文章143篇(全部原创),访问量近142万.博客文章通俗易懂,图文并茂,<秒杀多线程面试题系列>,<白话经典算法系列>,<C++ STL>,<Windows C/C++/C#>等专栏不仅受读者们喜爱,也受多家编辑约稿. 在2013…
各位尊敬的CSDN用户: 你们好! 为了更好的服务于用户,CSDN博客最新推出如下功能: 1.取消开通博客3天才能发布博文的限制,博客开通之后即可发表博文 2.博客文章增加自定义摘要功能    在发表博客时,勾选“发布到CSDN博客首页”,即显示自定义摘要输入框,可以自己编写显示到CSDN首页的博客摘要内容.若不填写摘要,则自动摘取文章的前200字作为默认摘要显示在CSDN博客频道首页.博客摘要功能只对发布到CSDN博客首页的文章有效. 3.新增给博客图片添加水印的功能 为防止用户的图片被盗用,…
先看一下官方给出的要求: 申请CSDN博客专家应具备的条件: 1.原创IT类文章总数超过20篇,并且最近一个月内发布了新的原创IT类文章. 2.博客文章总的浏览量超过5万次以上. 3.文章内容的质量很高. 4.企业.团队等非个人开设的博客,需要原创IT类文章总数超过40篇,并且最近一个月内发布了新的原创IT类文章,博客文章总的浏览量超过10万次以上才能申请博客专家. 5.如果已经在某IT领域具有较大影响力,但是尚没有达到上述申请条件的用户,可以通过现有博客专家的推荐,或者CSDN编辑部推荐,暂时…
昨天,梦姐问我们,她存在一个任务,找到 关注数排行100 和 浏览量排行100 的专栏博客,在2017年还有更新的专栏. 梦姐说他要出去一趟,M大神在吃饭,于是我估算时间,只有半个钟. 整理一下:半个钟时间,找到两个表格中,在2017年更新的专栏.这就是需求. 我开始分开需求,第一步,读取数据,读取两个表的数据.第二步获取博客更新时间,博客更新时间就是最近的文章的发布时间.第三步,把结果写到文件里. 开始因为xlsx的读取问题卡了我一下,我计算了,读取excel的方法,我需要20分钟写完,而把e…
        前面一直强调Python运用到网络爬虫方面很有效,这篇文章也是结合学习的Python视频知识及我研究生数据挖掘方向的知识.从而简介下Python是怎样爬去网络数据的,文章知识很easy,可是也分享给大家,就当简单入门吧!同一时候仅仅分享知识,希望大家不要去做破坏网络的知识或侵犯别人的原创型文章.主要包含:         1.介绍爬取CSDN自己博客文章的简单思想及过程         2.实现Python源代码爬取新浪韩寒博客的316篇文章 一.爬虫的简单思想      近期看…
非常高兴,偶的文章 "如何在服务器上配置ODBC来访问本机DB2for Windows服务器"被推荐至CSDN博客首页,截图留念.                  文章被推荐在CSDN博客首页                博主荣获CSDN博客的 博客专家  万能数据库查询分析器中文版本最新下载排名:  数据库类中 第8名…
开通博客一段时间了,近期莫名其妙得获得"持之以恒"的勋章,看着日益增长的积分,既兴奋又好奇.本人对CSDN博客积分的计算方法非常疑惑,也不知当中怎么回事,好奇度娘一番,并结合CSDN的一篇博客<csdn博客积分怎样计算>:        博客排行榜排名分值=个人Blog全部随笔与文章的阅读数之和+个人Blog全部评论数之和*10+个人所发表的评论数之和*50 CSDN博客积分计算规则: 1.每公布一篇原创或者翻译文章:可获得10分. 2.每公布一篇转载文章:可获得2分. 3…
一.       2016-10-18,申请了博客专家,但是因为PV不够,所以很荣幸的成为了一名CSDN准博客专家,接下,得更加努力了争取早日成为博客专家,在此立帖为证哦.                      二. 2016-11-4,经过了17天的努力,终于成功的成为了一名CSDN博客专家. 今后我会更加努力的提高自己哦~立帖为证.          三. 2016-11-20      博客访问量达到了10W…
1.博客积分规则 博客积分是CSDN对用户努力的认可和奖励,也是衡量博客水平的重要标准.博客等级也将由博客积分唯一决定.积分规则具体如下: 每发布一篇原创或者翻译文章:可获得10分: 每发布一篇转载文章:可获得2分: 博主的文章每被评论一次:可获得1分: 每发表一次评论:可获得1分(自己给自己评论.博主回复评论不获得积分): 博文阅读次数每超过100次:可获得1分,阅读加分最高加到100分,即文章点击上万次截止: 文章被投票:顶1票加1分,踩1票减1分: 文章被管理员或博主本人删除,相应减去博主…
截止发文时间,博主"LZUGIS"CSDN博客文章总访问量突破50W,值此特殊的时刻,特发此文,以表纪念与督促. 博客详情 博客专栏 公众号 常言道:不积跬步,无以至千里:不积小流,无以成江河.博主LZUGIS用自己的努力证明了这句话.从2004年年底创建博客开始,博主不忘初心.勤于耕耘,用自己的方式在为GIS这个产业做着微薄的贡献:从博客开始,到QQ群,到CSDN讲堂,再到公众号,最后到现在的牛讲堂,无时无刻,都在努力用自己的光去照亮GIS这条不太平坦的道路. "传播GIS…
1 简介 最近在使用git时遇到了远程分支需要版本回滚的情况,于是做了一下研究,写下这篇博客. 2 问题 如果提交了一个错误的版本,怎么回退版本? 如果提交了一个错误的版本到远程分支,怎么回退远程分支版本? 如果提交了一个错误的版本到公共远程分支,又该怎么回退版本? 3 本地分支版本回退的方法 如果你在本地做了错误提交,那么回退版本的方法很简单 先用下面命令找到要回退的版本的commit id: git reflog 1 接着回退版本: git reset --hard Obfafd 1 0bf…
文章目录 前言 网络爬虫 搜索引擎 爬虫应用 谨防违法 爬虫实战 网页分析 编写代码 运行效果 反爬技术 前言 很多人学习python,不知道从何学起.很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手.很多已经做案例的人,却不知道如何去学习更加高深的知识.那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!QQ群:101677771 开始接触 CTF 网络安全比赛发现不会写 Python 脚本的话简直寸步难行……故丢弃 Java 学习…
之前一直在csdn博客,也写了不少关于java的文章,主要是学习java上的一些问题.想通过这种方式来加深对问题的认知,同时也可以帮助到志同道合的人,一起在编程的道路上共进,共勉.…
以后原创的文章就发布在csdn博客啦: http://blog.csdn.net/aceyan0718 这里就用来当作一个网络笔记本吧,转载些优质的内容…
亲爱的小伙伴们,很荣幸我被选为<2013年度CSDN博客之星候选人>,希望大家多多支持,geekguy会继续努力,为大家奉献更好的文章. 投票地址:http://vote.blog.csdn.net/blogstaritem/blogstar2013/nokiaguy 您的鼓励,我的动力!!!!! 更多 1      …