都是作者累积的,且看其珍惜,大家可以尽量可以保存一下,如果转载请写好出处https://www.cnblogs.com/pythonywy 一.md5加密 1.简介 这是一种使用非常广泛的加密方式,不可逆的,常见16位和32位一般都是md5 import hashlib data = '你好' print(hashlib.md5(data.encode(encoding="UTF-8")).hexdigest()) #32位 print(hashlib.md5(data.encode(…

python爬虫教程-16-破解js加密实例(有道在线翻译) 在爬虫爬取网站的时候,经常遇到一些反爬虫技术,比如: 加cookie,身份验证UserAgent 图形验证,还有很难破解的滑动验证 js签名验证,对传输数据进行加密处理 对于js加密 经过加密传输的就是密文,但是加密函数或者过程一定是在浏览器完成, 也就是一定会把js代码暴露给使用者 通过阅读加密算法,就可以模拟出加密过程,从而达到破解 怎样判断网站有没有使用js加密,很简单,例如有道在线翻译 1.打开[有道在线翻译]网页:http:…

嵩天老师-Python云端系统开发入门教程(Django) 视频地址:https://www.bilibili.com/video/av19801429 课前知识储备: 一.课程介绍: 分久必合.合久必分,移动互联网应用进入了一个云计算时代,云端掌控一切,云端技术范畴庞大繁杂,多重技术交织发展,貌似神秘,一起来揭开云端的神秘面纱吧! 本课程面向各类编程学习者,讲解利用Python语言开发简易Web平台.云端系统和云地交互接口的技术和方法,帮助学习者掌握设计和开发简易云后端系统的全栈能力. 本课程…

Django进阶2-Form表单 Django的Form主要具有一下几大功能: 生成HTML标签(可以保留上次输入内容) 验证用户数据(显示错误信息) HTML Form提交保留上次提交数据 初始化页面显示内容 一.小试牛刀 1.创建Form类 在app01 文件夹下-->创建新的.py 文件 from django.forms import Form from django.forms import widgets from django.forms import fields class M…

Django基础知识 一. 什么是web框架? 框架,即framework,特指为解决一个开放性问题而设计的具有一定约束性的支撑结构,使用框架可以帮你快速开发特定的系统,简单地说,就是你用别人搭建好的舞台来做表演. 对于所有的Web应用,本质上其实就是一个socket服务端,用户的浏览器其实就是一个socket客户端. 最简单的Web应用就是先把HTML用文件保存好,用一个现成的HTTP服务器软件,接收用户请求,从文件中读取HTML,返回. 如果要动态生成HTML,就需要把上述步骤自己来实现.不…

要想开发出易于维护的程序,关键在于编写形式简洁且结构良好的代码. 当目前为止,你看到的示例都太简单,无法说明这一点,但Flask视图函数的两个完全独立的作用却被融合在了一起,这就产生了一个问题. 视图函数的作用很明确,即生成请求的响应. 如第2章中的示例,对简单的请求来所,这就足够了. 但一般而言,请求会改变程序的状态,而这种变化也会在视图函数中产生. 例如,用户在网站中注册一个一个新账户. 用户在表单中输入电子邮箱地址和密码,然后点击提交按钮. 服务器接收到包含用户输入数据的请求,然后Flas…

Django进阶之Model操作复习 一.字段 AutoField(Field) - int自增列,必须填入参数 primary_key=True BigAutoField(AutoField) - bigint自增列,必须填入参数 primary_key=True 注:当model中如果没有自增列,则自动会创建一个列名为id的列 from django.db import models class UserInfo(models.Model): # 自动创建一个列名为id的且为自增的整数列 u…

数据库进阶 python关于mysql的API---pymysql模块 pymsql是Python中操作MySQL的模块,其使用方法和py2的MySQLdb几乎相同. 模块安装 pip install pymysql 执行sql语句 import pymysql # 连接数据库 xiong conn = pymysql.connect(host='127.0.0.1',port=3306,user='root',passwd='root',db='xiong') #更改获取数据结果的数据类型,默…

有道翻译-js加密破解 这是本地爬取的网址:http://fanyi.youdao.com/ 一.分析请求 我们在页面中输入:水果,翻译后的英文就是:fruit.请求携带的参数有很多,先将参数数据保存下来,做一个记录. 我们再输入一个新的词:西瓜 i: 西瓜 from: AUTO to: AUTO smartresult: dict client: fanyideskweb salt: 15681884266087 sign: 1ea84aac4a04982f4a775f361ae30351 t…

除了一些类似字体反爬之类的奇淫技巧,js加密应该是反爬相当常见的一部分了,这也是一个分水岭,我能解决基本js加密的才能算入阶. 最近正好遇到一个比较简单的js,跟大家分享一下迅雷网盘搜索_838888 输入关键字,url变了https://838888.net/search/e8bf9be587bbe79a84e5b7a8e4baba-1-id-s.htm   咦~这key有点不对啊,很明显这不是常见的urlEncode编码,这里我也验证一下 In [1]: from urllib import…

Django[进阶篇-1 ]分页 分页 一.Django内置分页 from django.core.paginator import Paginator, EmptyPage, PageNotAnInteger objects = ['john','paul','george','ringo','lucy','meiry','checy','wind','flow','rain'] p = Paginator(objects,3) # 3条数据为一页,实例化分页对象 print(p.count)…

Django入门基础知识-2 一 .模版 一.模版的组成 HTML代码+逻辑控制代码 二.逻辑控制代码的组成 1  变量(使用双大括号来引用变量) {{var_name}} 2  标签(tag)的使用(使用大括号和百分比的组合来表示使用tag) {%load staticfiles%} 3 过滤器(filter)的使用 {{ship_date|date:"Fj,Y"}}  ,ship_date变量传给data过滤器,date过滤器通过使用"FJ,Y"这几个参数来格式…

MySQL数据库-练习题 一.表关系 请创建如下表,并创建相关约束 二.操作表 1.自行创建测试数据 2.查询“生物”课程比“物理”课程成绩高的所有学生的学号: 3.查询平均成绩大于60分的同学的学号和平均成绩: 4.查询所有同学的学号.姓名.选课数.总成绩: 5.查询姓“李”的老师的个数: 6.查询没学过“叶平”老师课的同学的学号.姓名: 7.查询学过“001”并且也学过编号“002”课程的同学的学号.姓名: 8.查询学过“叶平”老师所教的所有课的同学的学号.姓名: 9.查询课程编号“002”…

首先是提醒自己的一些唠嗑: 学会劳逸结合,文档看累了可以看视频,动手操作很关键,遇到问题先动脑子冷静地想,不要跟着步骤都不带脑子,想不出来了再查一查!有时候打出来的代码很虚,但是实践不花钱,实践出真知,还是运行一下! 前后端分离的开发中,后端要做什么: 先明确一下交互过程:只需要后端写好接口后,前端调用后端写的接口即可. 交互的时候,只需要在同一台电脑,不同端口同时运行前端,后端,打开前端页面,前端可使用后端数据,即交互成功.一般不用将前端文件放到后端的工程文件下,只要解决好跨域问题就ok了.…

Spider-01-爬虫介绍 Python 爬虫的知识量不是特别大,但是需要不停和网页打交道,每个网页情况都有所差异,所以对应变能力有些要求 爬虫准备工作 参考资料 精通Python爬虫框架Scrapy,人民邮电出版社 基础知识 url, http web前端,html,css,js ajax re,xpath xml python 爬虫简介 爬虫定义:网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.…

鉴于好多人想学Python爬虫,缺没有简单易学的教程,我将在CSDN和大家分享Python爬虫的学习笔记,不定期更新 基础要求 Python 基础知识 Python 的基础知识,大家可以去菜鸟教程进行学习 菜鸟教程python基础 http://www.runoob.com/python/python-tutorial.html Python 高级语法 菜鸟教程python高级 http://www.runoob.com/python/python-object.html 我的爬虫笔记 Pyth…

Python爬虫编程常见问题解决方法: 1.通用的解决方案: [按住Ctrl键不送松],同时用鼠标点击[方法名],查看文档 2.TypeError: POST data should be bytes, an iterable of bytes, or a file object. It cannot be of type str. 问题描述:[类型错误]就是数据的类型应该是bytes类型,而不是str类型 解决方案: data = data.encode('utf-8') 3.爬取得到的HTM…

网上看到大神对Python爬虫爬到非常多实用的信息,认为非常厉害.突然对想学Python爬虫,尽管自己没学过Python.但在网上找了一些资料看了一下,看到爬取韩寒新浪博客的视频.共三集,第一节讲爬取一篇博客,第二节讲爬取一页博客.第三集讲爬取所有博客. 看了视频.也留下了代码. 爬虫第一步:查看网页源码: 第一篇博客的代码为蓝底的部分<a title="" target="_blank" href="http://blog.sina.com.cn/…

Flask开发系列之模板 本文对<FlaskWeb开发:基于python的Web应用开发实战>模板一节做的总结. Jinja2模板引擎 模板 模板是一个包含响应文本的文件,其中包含用占位变量表示的动态部分,其具体值只在请求的上下文中才能知道.使用真实值替代变量,再返回最终得到的响应字符串,这一过程成为渲染. Jinja2模板引擎 官网地址 Jinja2是纯python编写的模板引擎,它和Django类似提供non-XML语法,除此之外还支持内联表达式和一个可选的沙箱环境.Jinja2遵守BSD…

玩转python爬虫之正则表达式 这篇文章主要介绍了python爬虫的正则表达式,正则表达式在Python爬虫是必不可少的神兵利器,本文整理了Python中的正则表达式的相关内容,感兴趣的小伙伴们可以参考一下 面对大量杂乱的代码夹杂文字我们怎样把它提取出来整理呢?下面就开始介绍一个十分强大的工具,正则表达式! 1.了解正则表达式 正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符.及这些特定字符的组合,组成一个"规则字符串",这个"规则字符串"用…

点击了解更多Python课程>>> 老男孩Python高级全栈开发工程师三期完整无加密带课件(共104天) 课程大纲 1.这一期比之前的Python培新课程增加了很多干货:Linux运维基础课程.Redis及操作.bottle框架 使用.瀑布流网站页面布局.组合搜索技术.保障系统项目等. 2.这些技术都是当今互联网公司经常用到的必备技术买这些课程在以往的Python课程中都没有讲,全 栈3期都有了.这一期还增加了面试技巧(提供简历模板和面试PPT). 3.全栈3期保证系统是因为有最给力的…

点击了解更多Python课程>>> 老男孩Python高级全栈开发工程师[真正的全套完整无加密] 课程大纲 老男孩python全栈,Python 全栈,Python教程,Django教程,Python爬虫, scrapy教程,python高级全栈开发工程师,本套教程,4部分完整无缺,课程完结,官方售价6800元. 课程全部都是不加密,全部都有声音-不是网上那种几块钱十几块钱那种加密没有声音或者课程不全,贪便宜花冤枉钱不说都会严重影响学习,耽误大量时间! 本套全栈课程,不说完全媲美线下教学…

关于Python后端开发要求 一.对Python有兴趣,熟悉Python(标准库) 最好阅读过源码 了解Python的优化(熟悉pypy更佳) 二.至少至少一门语言(不说"精通") 起码熟悉其他基本语言 C/C++ Lisp Haskell Scheme golang erlang Java R Ruby Node.js PHP Perl Lua 我选了Java(曾经擅长)/Golang/Lisp/Ruby/C/C++ 三.数据结构和算法 数据结构和算法基础扎实 四.Python框架…

Python爬虫开发与项目实战(高清版)PDF 百度网盘 链接:https://pan.baidu.com/s/1MFexF6S4No_FtC5U2GCKqQ 提取码:gtz1 复制这段内容后打开百度网盘手机App,操作更方便哦 内容简介  · · · · · · 随着大数据时代到来,网络信息量也变得更多更大,基于传统搜索引擎的局限性,网络爬虫应运而生,本书从基本的爬虫原理开始讲解,通过介绍Pthyon编程语言和Web前端基础知识引领读者入门,之后介绍动态爬虫原理以及Scrapy爬虫框架,最后介…

随着大数据和人工智能的发展,目前Python语言的上升趋势比较明显,而且由于Python语言简单易学,所以不少初学者往往也会选择Python作为入门语言. Python语言目前是IT行业内应用最为广泛的编程语言之一,尤其是近几年来随着大数据和人工智能(机器学习.自然语言处理.计算机视觉等)的发展,Python也得到了越来越广泛的应用,另外Python在Web开发.后端开发和嵌入式开发领域也有广泛的应用. 小编推荐一个学Python的学习裙,九三七六六七 五零九,无论你是大牛还是小白,是想转行还是…

python爬虫入门 开发环境 ubuntu 16.04 sublime pycharm requests库 requests库安装: sudo pip install requests 第一个例子 import requests r=requests.get("http://www.baidu.com") r.encoding="utf-8" print r.text 运行结果如下,成功抓取了百度的源代码 现在来详细讲解 import requests 就是导入了…

在我的工作中,我从零开始搭建了不少软件项目,其中包含了基础代码框架和持续集成基础设施等,这些内容在敏捷开发中通常被称为"第0个迭代"要做的事情.但是,当项目运行了一段时间之后再来反观,我总会发现一些不足的地方,要么测试分类没有分好,要么基本的编码架子没有考虑周全. 另外,我在工作中也会接触到很多既有项目,公司内部和外部的都有,多数项目的编码实践我都是不满意的.比如,我曾经新加入一个项目的时候,前前后后请教了3位同事才把该项目在本地运行起来:又比如在另一项目中,我发现前端请求对应的Jav…

研究一门编程语言,一般第一步就是配置安装部署相关的编程环境.我认为啊,在学习的初期,大家不是十分了解相关的环境,或者是jar包,python模块等的相关内容,就不需要花费大量的时间去研究如何去安装它.在你积累到一定程度之后,回头再来看看这些模块和包的安装,应是十分容易的,即使某一个环节出了错误,遇到一些问题,这些问题也能快速解决掉,所以我推荐使用anaconda来研究python. 最近在研究python爬虫的相关内容.一点一点来吧,由浅入深,稍微后面一点会搞搞分布式爬虫框架scrapy + M…

先介绍下我的情况:通信背景,工作一年多不到两年.之前一直在做C++的MFC软件界面开发工作.公司为某不景气的国企研究所.(喏,我的工作经验很水:1是方向不对:2是行业有偏差).然后目前是在寻找Python后端开发这一块的工作,使用的框架为django: 之前一直通过CSDN以及其他几家技术博客/论坛吸收大家的经验,在感激之余,也想输出点什么,造福大家,因此就有了这篇水文,希望大家能够多多吸取我的经验教训,早日找到一份自己满意的工作! 面试的几家:北京的两家创业公司,规模均在40-50人之间:果壳…

webdriver实用指南是本人编写的系列丛书,包括ruby版.python版和java版.在线版是免费的,之前是放在我的github上,但是很多同学总不记得地址,现在转到我的博客上,方便大家阅读. 安装python及webdriver的开发环境 场景 工欲善其事必先利其器,搭建开发环境对于初学者来说往往是非常困难和无从下手的.因此这里有必要叙述一下python及webdriver开发环境的搭建方法. 安装视频 如果你对下面的文字不感兴趣,或者你对所有文字都不感兴趣,那么推荐你观看这个视频 安装…