今天尝试使用pycharm+beautifulsoup进行爬虫测试。我理解的主要分成了自己写的HTML和百度上的网页两种吧。第一种，读自己写的网页（直接上代码）：

（主要参考博客：https://blog.csdn.net/Ka_Ka314/article/details/80999803）

from bs4 import BeautifulSoup

file = open('aa.html', 'rb')

html = file.read()

bs = BeautifulSoup(html,"html.parser")

# 缩进格式

print(bs.prettify())

# 获取title标签的所有内容

print(bs.title)

# 获取title标签的名称

print(bs.title.name)

# 获取title标签的文本内容

print(bs.title.string)

# 获取head标签的所有内容

print(bs.head)

# 获取第一个div标签中的所有内容

print(bs.div)

# 获取第一个div标签的id的值

print(bs.div["id"])

# 获取第一个a标签中的所有内容

print(bs.a)

# 获取所有的a标签中的所有内容

print(bs.find_all("a"))

# 获取id="u1"

print(bs.find(id="u1"))

# 获取所有的a标签，并遍历打印a标签中的href的值

for item in bs.find_all("a"):

    print(item.get("href"))

# 获取所有的a标签，并遍历打印a标签的文本值

for item in bs.find_all("a"):

    print(item.get_text())

　　HTML代码：

<!DOCTYPE html>

<!--STATUS OK-->

<html>

 <head>

  <meta content="text/html;charset=utf-8" http-equiv="content-type"/>

  <meta content="IE=Edge" http-equiv="X-UA-Compatible"/>

  <meta content="always" name="referrer"/>

  <link href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" rel="stylesheet" type="text/css"/>

  <title>

   百度一下，你就知道

  </title>

 </head>

 <body link="#0000cc">

  <div id="wrapper">

   <div id="head">

    <div class="head_wrapper">

     <div id="u1">

      <a class="mnav" href="http://news.baidu.com" name="tj_trnews">

       新闻

      </a>

      <a class="mnav" href="https://www.hao123.com" name="tj_trhao123">

       hao123

      </a>

      <a class="mnav" href="http://map.baidu.com" name="tj_trmap">

       地图

      </a>

      <a class="mnav" href="http://v.baidu.com" name="tj_trvideo">

       视频

      </a>

      <a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">

       贴吧

      </a>

      <a class="bri" href="//www.baidu.com/more/" name="tj_briicon" style="display: block;">

       更多产品

      </a>

     </div>

    </div>

   </div>

  </div>

 </body>

</html>

　　项目目录：

第二种是爬取在线网页内容，使用URL解析，这里我使用时出现了问题，就是URLopen。因为没有找到python27和python36区别，所以这里直接上结果（我用的python36）,下载urllib.request的包。网上个别教程直接使用urllib,这里我把urllib3、5进行了下载，会报一个错误，显示连接网页超时。下下载这个urllib没问题

pycharm初爬虫的更多相关文章

  1. 解决pycharm的爬虫乱码问题（初步了解各种编码格式）

    Ascii码(American Standard Code for Information Interchange,美国信息互换标准代码):最初计算机只在美国使用时,只用8位的字节来组合出256(2的 ...

  2. Python开发之---PyCharm初体验

    PyCharm 的初始设置(知道) 目标 恢复 PyCharm 的初始设置 第一次启动 PyCharm 新建一个 Python 项目 设置 PyCharm 的字体显示 PyCharm 的升级以及其他 ...

  3. 【Django】用pycharm初学习使用Django

    开发框架流程 M V C(99%的开发都是这种流程.) 1.URL控制器 2.Views 视图 3.models 库   1.首先创建一个Django   2.创建成功后里面几个模块的功能   用它来 ...

  4. 爬虫系列----scrapy爬取网页初始

    一 基本流程 创建工程,工程名称为(cmd):firstblood: scrapy startproject firstblood 进入工程目录中(cmd):cd :./firstblood 创建爬虫 ...

  5. scrapy框架修改单个爬虫的配置,包括下载延时，下载超时设置

    在一个框架里面有多个爬虫时,每个爬虫的需求不相同,例如,延时的时间,所以可以在这里配置一下custom_settings = {},大括号里面写需要修改的配置,然后就能把settings里面的配置给覆 ...

  6. Python Scrapy爬虫速成指南

    序 本文主要内容:以最短的时间写一个最简单的爬虫,可以抓取论坛的帖子标题和帖子内容. 本文受众:没写过爬虫的萌新. 入门 0.准备工作 需要准备的东西: Python.scrapy.一个IDE或者随便 ...

  7. python爬虫出现ProxyError: HTTPSConnectionPool错误

    在今天刚刚打开pycharm运行爬虫时,发现所有的爬虫都不能运行,会出现如下的错误: 错误出现的主要原因是;代理错误(其实自己根本没有设置代理) 解决方法: 在网上查阅了许多类似的错误解决方法,试过后 ...

  8. python爬虫1

    1 网页结构 html:超文本标记语言------->类似人的鼻子耳朵,长在那里,大体骨架就是那个样子 css:层叠样式表------->这个是外观的深化,比如贴个双眼皮,橙色眼睛... ...

  9. 附: Python爬虫 数据库保存数据

    原文 1.笔记 #-*- codeing = utf-8 -*- #@Time : 2020/7/15 22:49 #@Author : HUGBOY #@File : hello_sqlite3.p ...

随机推荐

  1. 8.Go-Reader,Writer和ioutil

    8.1.Reader (1)输入流 流是应用程序和外部资源进行数据交互的纽带 流分为输入流和输出流,输入和输出都是相对于程序,把外部数据传入程序中叫做输入流,反之叫做输出流 在Go语言标准库中io包下 ...

  2. 编程计算2×3阶矩阵A和3×2阶矩阵B之积C。 矩阵相乘的基本方法是： 矩阵A的第i行的所有元素同矩阵B第j列的元素对应相乘， 并把相乘的结果相加，最终得到的值就是矩阵C的第i行第j列的值。 要求： (1)从键盘分别输入矩阵A和B， 输出乘积矩阵C (2) **输入提示信息为： 输入矩阵A之前提示："Input 2*3 matrix a:\n" 输入矩阵B之前提示

    编程计算2×3阶矩阵A和3×2阶矩阵B之积C. 矩阵相乘的基本方法是: 矩阵A的第i行的所有元素同矩阵B第j列的元素对应相乘, 并把相乘的结果相加,最终得到的值就是矩阵C的第i行第j列的值. 要求: ...

  3. Asp.Net Core 工作单元 UnitOfWork UOW

    Asp.Net Core 工作单元示例 来自 ABP UOW 去除所有无用特性 代码下载 : 去除所有无用特性版本,原生AspNetCore实现 差不多 2278 行代码: 链接:https://pa ...

  4. Allure+pytest 生成测试报告

    简介: python 主流自动化测试报告插件有三个:HTMLTestRunner.BeautifulReport 和 Allure.HTMLTestRunner是一个比较古老的报告模板,界面也不是很好 ...

  5. 明解C语言 中级篇 第三章答案

    练习3-1 /* 猜拳游戏(其四:分割函数/显示成绩)*/ #include <time.h> #include <stdio.h> #include <stdlib.h ...

  6. [DP]Luogu 2014NOIP提高组 飞扬的小鸟题解

    2014NOIP提高组飞扬的小鸟题解 题目描述 Flappy Bird是一款风靡一时的休闲手机游戏.玩家需要不断控制点击手机屏幕的频率来调节小鸟的飞行高度,让小鸟顺利通过画面右方的管道缝隙.如果小鸟一 ...

  7. Linux 搭建邮件服务器

    一.概述: 在配置邮件服务器之前,先解释几个概念. 1.SMTP:简单邮件传输协议 (Simple Mail Transfer Protocol, SMTP) 通常使用Email都很容易,但是Inte ...

  8. git 创建标签 tag

    1. git tag <name>就可以打一个新标签 加上-a参数来创建一个带备注的tag,备注信息由-m指定.如果你未传入-m则创建过程系统会自动为你打开编辑器让你填写备注信息. git ...

  9. Gtksharp编译时提示下载gtk文件问题

    Gtksharp编译时提示下载gtk文件问题 1.昨天晚上新建gtksharp项目之后,安装gtksharp之后,编译时无法成功,提示无法下载gtk-3.24.zip 2.记得前几天,另一个项目可以生 ...

  10. python time包中的time.time()和time.clock()的区别

    在统计python代码 执行速度时要使用到time包,在查找相关函数时有time.time()和time.clock()两个函数可供选择.而两者是有区别的: cpu 的运行机制:cpu是多任务的,例如 ...