作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 可以用pandas读出之前保存的数据: newsdf = pd.read_csv(r'F:\duym\gzccnews.csv')  截图: 一.把爬取的内容保存到数据库sqlite3 import sqlite3with sqlite3.connect('gzccnewsdb.sqlite') as db:newsdf.to_sql('gzccnews',con…

作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理 爬虫简单来说就是通过程序模拟浏览器放松请求站点的行为,把站点返回的HTML代码/JSON数据/二进制数据(图片.视频) 爬到本地,通过一些算法进而提取自己需要的数据,存放起来使用. 2. 理解爬虫开发过程 1).简要说明浏览器工作原理: 2).使用 requests 库抓取网站数据: requests.get(url) 获取校园新闻首页htm…

作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 1. 下载一长篇中文小说. 2. 从文件读取待分析文本. txt = open(r'G:\aa\三体.txt', 'r', encoding='utf8').read() # 打开三体小说文件 jieba.load_userdict(r'G:\aa\three.txt') # 读取三体小说词库 Filess= open(r'G:\aa\stops_chinese.t…

爬虫的抓取方式有好几种,正则表达式,Lxml(xpath)与BeautifulSoup,我在网上查了一下资料,了解到三者之间的使用难度与性能 三种爬虫方式的对比. 这样一比较我我选择了Lxml(xpath)的方式了,虽然有三种方式,但肯定是要选择最好的方式来爬虫,这个道理大家都懂,另外有兴趣的朋友也可以去了解另外两种爬虫方式! 好了现在来讲讲xpath 由于Xpath属于lxml模块,所以首先需要安装lxml库,老办法直接在file-->setting---project interpreter…

import requestsimport re #爬取豆瓣电影排名pageNum = int(input("要查看第几页电影分数:"))#已知豆瓣默认每页展示20条#url= "https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=0&limit=20"url= "https://movie.douban.c…

import requests import html5lib import re from bs4 import BeautifulSoup s = requests.Session() #这里要提一点,就是session的话就是对会话的一种维持,因为request缺乏持续性,仅限于2个相邻的页面 url_login = 'http://accounts.douban.com/login' url_contacts = 'https://www.douban.com/people/****/c…

这次作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639 1.这些分析所采用数据来源是什么? 国家数据库:中国铁路交通数据.城市监控录像等: 企业数据:淘宝交易数据.淘宝购物车收藏数据.京东购物数据: 机器设备数据:GPS导航系统数据.车仪数据等: 个人数据:个人日常生活产生的数据. 2.大数据的呈现方式有哪些?     数据表格与图表是其主要呈现形式. 3.大数据的特点是什么?结合大数据应用案例,分析大数据对…

import requests from lxml import etree s = requests.Session() for id in range(0,251,25): url ='https://movie.douban.com/top250/?start-'+str(id) r = s.get(url) r.encoding = 'utf-8' root = etree.HTML(r.content) items = root.xpath('                     …

Scrapy 通过登录的方式爬取豆瓣影评数据 爬虫 Scrapy 豆瓣 Fly 由于需要爬取影评数据在来做分析,就选择了豆瓣影评来抓取数据,工具使用的是Scrapy工具来实现.scrapy工具使用起来比较简单,主要分为以下几步: 1.创建一个项目 ==scrapy startproject Douban 得到一个项目目录如下: ├── Douban │   ├── init.py │   ├── items.py │   ├── pipelines.py │   ├── settings.py…

学了爬虫之后,都只是爬取一些简单的小页面,觉得没意思,所以我现在准备爬取一下豆瓣上张艺谋导演的“影”的短评,存入数据库,并进行简单的分析和数据可视化,因为用到的只是比较多,所以写一篇博客当做笔记. 第一步:想要存入数据库就必须与数据库进行链接,并建立相应的数据表,这里我是在win10下使用oracle数据库. 经过思考,我认为我们爬取一个短评的时候,只需要用到几个字段: 1.用户名 2.评论的日期 3.这个评论有多少人点赞 4.这个用户给电影打几分 5.用户的评价 接下来写一个函数,这个函数的功…