前言 拿来练手的,比较简单(且有bug),欢迎交流~ 功能介绍 抓取当日的知乎日报的内容,并将每篇博文另存为一个txt文件,集中放在一个文件夹下,文件夹名字为当日时间. 使用的库 re,BeautifulSoup,sys,urllib2 注意事项 1.运行环境是Linux,python2.7.x,想在win上使用直接改一下里边的命令就可以了 2.bug是在处理 “如何正确吐槽”的时候只能获取第一个(懒癌发作了) 3.直接获取(如下)内容是不可以的,知乎做了反抓取的处理 urllib2.urlop…

没太完善,但是可以爬下整本小说.日后会写入数据库,注释不要太在意,都是调试的.入库估计这周之后,这次爬的是笔趣阁的第1150本书,大家只要可以改get_txt()里数字就行,查到自己要看哪本书一改就可以了! # coding:utf-8 import requests import threading from bs4 import BeautifulSoup import MySQLdb import re import os import time import sys import mys…

总结一下,关于获取到的信息编码失败. 刚才在执行代码的时候,发现一个问题: 然后修改代码如下: '''爬取知乎界面的标题''' import requests import re import sys import io sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') #改变标准输出的默认编码 headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW…

from urllib.parse import urljoin import urllib.request from bs4 import BeautifulSoup import os import datetime import re import errno def mkdir_p(path):#递归创建多级目录 try: os.makedirs(path) except OSError as exc: # Python >2.5 (except OSError, exc: for Py…

源码: # 读文件里面的数据转化为二维列表 def Read_list(filename): file1 = open(filename+".txt", "r") list_row =file1.readlines() list_source = [] for i in range(len(list_row)): column_list = list_row[i].strip().split("\t") # 每一行split后是一个列表 list…

在网上搬了一个代码,现在不适用了,改了改 import requestsimport jsondef Down_data(): url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5' headers = { 'user-agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) C…

import os script_path = os.path.realpath(__file__) script_dir = os.path.dirname(script_path)…

import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.InputStreamReader; import java.io.OutputStreamWriter; import java.util.ArrayList; impor…

1.读取txt文件 txt文件是我们经常操作的文件类型,Python提供了以下几种读取txt文件的方式. 1)read(): 读取整个文件. 2)readline(): 读取一行数据. 3)readlines():读取所有行的数据. 首先,使用找txt文件来存放用户名和密码数据,并通过读取该文件中的数据作为用例的测试数据. open()方法一般返回一个file文件对象  例子: f=open(file,mode='r',encoding=None) open()方法里的参数还有其他,一定要用户设…

# -*- coding: utf-8 -*- import os,sys,time fname=r"D:\01-学习资料\python" def GetNowTime():#获取当前时间并以年月日时间方式显示 return time.strftime("%m%d%H%M%S",time.localtime(time.time())) #time=unicode(GetNowTime(),"utf8") time=GetNowTime() fna…