一、Python 概述

1.计算机语言概述

(1).语言:交流的工具,沟通的媒介

(2).计算机语言:人跟计算机交流的工具

(3).Python是计算机语言的一种

2.Python编程语言

  代码:人类的语言,同代码命令机器,跟机器交(2).python解释器:担任翻译工作(3)流程:

  写代码 --> 执行:由翻译官(Python解释器)把命令(Code)翻译给机器,同时把机器结果翻译给我们

3.Python简史
  (1).1989
  (2).2008:Python 3.0 诞生
  (3)2014:宣布2.7支持到2020年
  (4)2017:AI元年,Python崛起
4.Python特点
  速度问题:相对较慢(原因参考博文为什么python运行的慢)

5.Python应用领域
  全能:WEB开发,桌面软件,网络编程,爬虫开发,云计算开发,人工智能,自动化运维,金融分析,科学运算,游戏开发

  Python的就业方向:Linux运维, Python Web网站工程师, Python自动化测试, 数据分析,人工智能

  设计哲学:平衡发展,样样通,简洁明了

6.开发环境问题
  pycharm + Python3.7
  注意:接下来所有示例代码都是基于Mac环境下Python3.7版本下的开发

7.Python的执行方式
  本质上Python是一堆命令的集合
  执行过程是逐行执行,遇到问题即可终止
  打印Hello World!

print('Hello world!')

 温馨提示:Python基础请查看廖雪峰大神官方文档,不再累述,下篇直接开始各个库的使用

二、爬虫入门

1.爬虫入门:使用代码模拟真实用户发送网络请求批量获取数据
1).爬虫价值:
1.买卖数据(高端领域特别贵)
2.数据分析(出分析报告)
3.流量
4.阿里指数,百度指数
2).合法性:灰色产业
政府没有法律规定爬虫是否违法
公司概念:公司让你爬取数据
爬虫是否可以爬所有的东西?不可以,爬虫只能爬取到用户可以访问的数据
爱奇艺视频(vip 用户,非 vip 用户)
付费小说(付费才能爬取) 2.爬虫分类:
1.通用爬虫:使用搜索引擎:百度,360,谷歌...
劣势:目标不明确,返回的内容90%是用户不需要的,不清楚用户的需求在哪里
优势:开放性,速度快
2.聚焦爬虫:
优势:目标明确,对用户的需求非常精准,返回的内容固定
3.增量式爬虫:翻页,从第一页爬到最后一页
4.Deep,深度爬虫:静态数据 html,动态数据:js 代码,加密的 js
robost协议:是否允许其他爬虫(通用爬虫)爬取某些内容 3.爬虫的工作原理:
1.查询你抓取目标的 url(必须的,难)
2.使用 Python 代码发送请求获取数据
3.解析获取道德数据(精准数据)
4.数据持久化

Python爬虫从入门到进阶(1)之Python概述及爬虫入门的更多相关文章

  1. Django入门到进阶-更适合Python小白的系统课程

    Django入门到进阶-更适合Python小白的系统课程 整个课程都看完了,这个课程的分享可以往下看,下面有链接,之前做java开发也做了一些年头,也分享下自己看这个视频的感受,单论单个知识点课程本身 ...

  2. Python 爬虫从入门到进阶之路(十四)

    之前的文章我们已经可以根据 re 模块,Xpath 模块和 BeautifulSoup4 模块来爬取网站上我们想要的数据并且存储在本地,但是我们并没有对存储数据的格式有要求,本章我们就来看数据的存储格 ...

  3. Python爬虫与数据分析之进阶教程:文件操作、lambda表达式、递归、yield生成器

    专栏目录: Python爬虫与数据分析之python教学视频.python源码分享,python Python爬虫与数据分析之基础教程:Python的语法.字典.元组.列表 Python爬虫与数据分析 ...

  4. Python第三方库matplotlib(2D绘图库)入门与进阶

    Matplotlib 一 简介: 二 相关文档: 三 入门与进阶案例 1- 简单图形绘制 2- figure的简单使用 3- 设置坐标轴 4- 设置legend图例 5- 添加注解和绘制点以及在图形上 ...

  5. Python入门到进阶必看的权威书籍与网站

    随着人工智能全面爆发,Python[英文单词:蟒蛇],是一款近年来爆红的计算机编程语言.1989年发明,1991年发行,比目前应用最广的Java还要大7岁,有种大器晚成的感觉. 分享之前我还是要推荐下 ...

  6. 学习Python的书籍——入门到进阶

    入门读物 <Python基础教程>(Beginning Python From Novice to Professional) <Python学习手册>(Learning Py ...

  7. Python带我起飞——入门、进阶、商业实战_ 入门版电子书籍分享,

    Python带我起飞--入门.进阶.商业实战_ 免费下载地址 内容简介 · · · · · · <Python带我起飞--入门.进阶.商业实战>针对Python 3.5 以上版本,采用&q ...

  8. Python语言学习之Python入门到进阶

    人们常说Python语言简单,编写简单程序时好像也确实如此.但实际上Python绝不简单,它也是一种很复杂的语言,其功能特征非常丰富,能支持多种编程风格,在几乎所有方面都能深度定制.要想用好Pytho ...

  9. Python第三方库wordcloud(词云)快速入门与进阶

    前言: 笔主开发环境:Python3+Windows 推荐初学者使用Anaconda来搭建Python环境,这样很方便而且能提高学习速度与效率. 简介: wordcloud是Python中的一个小巧的 ...

随机推荐

  1. scipy.stats.multivariate_normal的使用

    参考:https://docs.scipy.org/doc/scipy-0.14.0/reference/generated/scipy.stats.multivariate_normal.html ...

  2. 在Unity使文字变色

    using UnityEngine;using System.Collections;using UnityEngine.UI; public class ShipIntro : MonoBehavi ...

  3. kubernetes1.14.0部署

    2019/4/6/使用kubeadm安装部署kubernetes集群: 前提:1.各节点时间同步:2.各节点主机名称解析:dns OR hosts:3.各节点iptables及firewalld服务被 ...

  4. spring boot整合mybatis基于注解开发以及动态sql的使用

    让我们回忆一下上篇博客中mybatis是怎样发挥它的作用的,主要是三类文件,第一mapper接口,第二xml文件,第三全局配置文件(application.properties),而今天我们就是来简化 ...

  5. sklearn.neural_network.MLPClassifier参数说明

    目录 sklearn.neural_network.MLPClassifier sklearn.neural_network.MLPClassifier MLPClassifier(hidden_la ...

  6. Codeforces Round #546 (Div. 2)-D - Nastya Is Buying Lunch

    这道题,神仙贪心题... 题意就是我给出数的顺序,并给出多个交换,每个只能用于相邻交换,问最后一个元素,最多能往前交换多少步. 我们考虑这样一个问题,如果一个这数和a[n]发生交换,那么这个数作为后面 ...

  7. 播放器更改语言归属地后Cnario player软件无法启动的问题

    打开系统运行,输入regedit,进入注册表编辑器. 找到HKEY_LOCAL_MACHINE\SOFTWARE\WOW6432Node\C-nario\Player下面culture 的值,删除即可 ...

  8. JS/JQuery 设置input等标签设置和取消只读属性

    <input type="text" id="HouseName" value="" align="left"/& ...

  9. Go 连接 mysql 数据库的简单测试.

    1. import 的时候 总是很慢 容易失败 所以 优先导入几个必须要的包 go get github.com/go-sql-driver/mysql 安装完之后 会在gopath 目录下发现相关的 ...

  10. JUC (java.util.concurrent)

    1.什么是线程?什么是进程? 2.多线程的状态? public enum State { //6种状态 NEW, RUNNABLE, //可运行 BLOCKED, //阻塞 WAITING, //等待 ...