网站开发学习Python实现-Django项目部署-同步之前写的博客(6.2.2)
@
1.说明
之前写的博客都在csdn和博客园中
要将博客同步到自己的博客网站中
因为都是使用markdown格式书写的,所以直接爬取上传就完事
2.思路
分析了下博客园,发现可行。先登录进入自己的博客主页,可以看到有下一页的标志,每一页包含若干个博客详情,博客详情中包含edit页(编辑页面)和正常页面(其他用户访问的),要获取的就是eidt页面的博客名字,博客内容。博客分类在edit页面中不好获取,转而去正常页面获取,发现是一个ajax请求,传入用户id和博客id就可以获取到分类。信息获取到了就保存在本地,按分类保存。保存后就使用post请求发送到自己的博客网站中,或者直接写入数据库
3.代码
从文件读取请求头字典,构造函数传入的是文件名
class getHeaders(object):
def __init__(self,path):
self.dict_ = {}
with open(path, "r",encoding="utf8") as f:
line = f.readline()
while line:
a = line.split(":")
self.clean_(a)
try:
self.dict_[a[0]] = a[1]
except:
pass
line = f.readline()
def clean_(self,list_):
for i in range(len(list_)):
list_[i] = list_[i].strip()
if len(list_) > 2 :#说明有多个:号
try:
#开头为空,说明元字符串开头有:
list_.remove("")
list_[0] = ":"+list_[0]
except:
#说明开头不为空
list_[1] = list_[1]+":"+list_[2]
爬博客园的代码
import requests
from lxml import etree
from GetHeaders import getHeaders
import os
#博客园获取分类,传入ID
catagory_url = "https://www.cnblogs.com/simon-idea/ajax/CategoriesTags.aspx?blogId=xxxxxx&postId=%s"
#每一页中包含的url
link_list = []
#筛选详情页的url
detail_list = []
heads = getHeaders("博客园").dict_
for i in range(1,9):
url = "https://www.cnblogs.com/simon-idea/default.html?page=%s" #7
url = url % str(i)
req = requests.get(url, headers=heads)
html = etree.HTML(req.content)
every_page_links = html.xpath('//*[@id="mainContent"]/div/div/div/a/@href')
link_list.extend(every_page_links)
for i in link_list:
if "Edit" in i :
detail_list.append(i)
# assert 1 ==2
for i in detail_list:
url = i
req = requests.get(url, headers=heads)
a = req.content.decode(req.encoding)
html = etree.HTML(a)
# title //*[@id="Editor_Edit_txbTitle"]/@value
title = html.xpath('//*[@id="Editor_Edit_txbTitle"]/@value')[0]
# body //*[@id="Editor_Edit_EditorBody"]
body = html.xpath('//*[@id="Editor_Edit_EditorBody"]/text()')[0]
req = requests.get(catagory_url % i[-8:], headers=heads)
a = req.content.decode(req.encoding)
html = etree.HTML(a)
catagory = html.xpath('//*[@id="BlogPostCategory"]/a/text()')[0]
dirs = '博客/%s' % catagory
if not os.path.exists(dirs):
os.makedirs(dirs)
with open("博客/%s/%s.md" % (catagory,title),"w",encoding="utf-8") as f:
f.write(body)
上传的代码有很多坑,不完善
因为原博客作者的博客路径定义的有问题
关于作者
个人博客网站
个人GitHub地址
个人公众号:
网站开发学习Python实现-Django项目部署-同步之前写的博客(6.2.2)的更多相关文章
- 网站开发学习Python实现-Django项目部署-介绍(6.2.1)
@ 目录 1.第一步:找源码 2.第二步:在windows中更改代码 2.第三步:同步到linux中 3.第三步:部署 4.第四步:运行 关于作者 1.第一步:找源码 从github上找一个djang ...
- 网站开发学习Python实现-Django的models学习-生鲜项目(6.3.2)
@ 目录 1.说明 2.模型类的设计 3.代码的具体实现 4.详情地址 关于作者 1.说明 models是django的很重要的部分,所以深入研究. 本文章的所研究项目为黑马教育python课程中的项 ...
- 网站开发学习Python实现-Django学习-总结(6.1.2)
@ 目录 1.MVT 2.模型 3.视图 4.模板 5.常用的命令 6.pycharm创建django工程 关于作者 1.MVT 项目结构如下,其中项目同名文件夹为配置文件 每一个项目有多个应用(未考 ...
- 网站开发学习Python实现-Django学习-自学注意(6.1.3)
@ 目录 1.配置文件相关 2.应用创建相关 3.项目相关 4.模板相关 5.其他 关于作者 1.配置文件相关 1.可以更改时间,地区相关(国际化) 2.BASE_DIR很重要,一个工程要有很好的移植 ...
- 网站开发学习Python实现-Django学习-介绍(6.1.1)
@ 目录 1.MVT 2.ORM 关于作者 1.MVT 主要的目的是为了快速,简便的开发数据库驱动的网站,强调代码的复用,多个组件可以很方便以插件的方式服务于整个框架,采用的是MVT设计模式(差不多的 ...
- Linux学习笔记之Django项目部署(CentOS)----进阶篇
一.引入 当我们开发好了一个Django项目之后是需要部署到服务器上的,这样才能正式使用这个项目.之前用了一个运行.sh文件的方法让项目得以在后台运行,其实随着学习的深入,这种方法其实是有点low的, ...
- Linux学习笔记之Django项目部署(CentOS)
一.引入 用Django写了一个测试的项目,现在要部署在Linux上,一般这种情况下,只要在项目里面敲一行命令:python manage.py runserver 0.0.0.0:8000就行了.但 ...
- Django项目部署在Linux下以进程方式启动
Django项目部署在Linux下以进程方式启动 这是一篇关于如何在linux下,以后台进程的方式运行服务,命令改改基本上就通用了. 开发完Django项目后,需要把项目部署到linux环境下.当然, ...
- Django项目部署(django+guncorn+virtualenv+nginx)
一.说明 为了django项目部署到生产环境上,能够稳定的运行,且能够同时指出http和https的访问,对django的部署进行了一些研究,决定采用django + gunicorn + virtu ...
随机推荐
- Python一行式代码
# 简易Web Server,可以直接快速共享文件 python -m http.server # 脚本性能分析 python -m cProfile my_script.py # 列表辗平 impo ...
- SpringIOC的高级特性
目录 1. lazy-Init延迟加载 1.1 XML方式开启延迟加载: 1.2 注解开启延迟加载: 1.3全局配置--default-lazy-init="": 应用场景: 2. ...
- MathType总结编辑括号的类型(下)
在数学中,所涉及到的公式总是会有各种各样的情况,对于括号这些都是最常见的了.在最开始的四则基本运算中我们学会了使用括号,而随着学习的不断深入,所涉及到的符号与公式都越来越多,对于括号的类型也是使用得非 ...
- guitar pro系列教程(二十一):Guitar Pro在乐谱上的工作【一】
当我们使用Guitar Pro写好一首乐谱之后,通常在乐谱上还会有哪些操作呢?对于刚接触{cms_selflink page='index' text='Guitar Pro'}的朋友们肯定还是不熟悉 ...
- Mac中的格式转换如何用读写工具Tuxera NTFS完成
Tuxera NTFS for Mac是一款专门为Mac用户提供的NTFS驱动软件,它不仅可以进行磁盘文件的访问.编辑.传输和存储,还可以对硬盘进行维修检查以及修复. 今天小编就给大家简单介绍一下Tu ...
- iOS7使用iOS8上的方法报错处理
问题描述 我们经常会遇到在低版本上使用高版本方法导致的bug,例如: WebKit discarded an uncaught exception in the webView:decidePolic ...
- PHP 获取本周、今日、本月的起始时间戳
当前周的开始时间(周一)$begintime = mktime(0, 0, 0, date('m'), (date('d') - (date('w')>0 ? date('w') : 7) + ...
- 简单好用的TCP/UDP高并发性能测试工具
工具下载地址: 链接:https://pan.baidu.com/s/1fJ6Kz-mfFu_RANrgKqYiyA 提取码:0pyf 最近测试智能设备的远程的性能,思路主要是通过UDP对IP和端口发 ...
- redis面试问题(一)
五大常用数据类型 redis与其他缓存的比较 rdb和aof 主从复制,读写分离,哨兵机制 -------------------------------- 1.为什么使用redis (一)性能 我们 ...
- 14_TTS
TTS(Text to speech)为语音合成的意思.本课程主要介绍了TTS的使用方法. 1 package cn.eoe.tts; 2 3 import java.util.Locale; 4 i ...