from __future__ import print_function import cPickle import gzip import os.path import random import numpy as np print("Expanding the MNIST training set") if os.path.exists("../data/mnist_expanded.pkl.gz"): print("The expanded tra…

在<第8.15节 Python重写自定义类的__repr__方法>.<Python中repr(变量)和str(变量)的返回值有什么区别和联系>.<第8.13节 Python类中内置方法__repr__详解>介绍了__repr__和重写__repr__的相关要求,__repr__方法的主要目的是输出开发人员能看懂的"官方"信息,便于程序调试和调试人员用输出信息快速定义一个与观察对象内容完全相同的变量存放输出值.老猿在使用过程中发现,需要输出这些信息与其…

import tensorflow as tf import numpy as np import matplotlib.pyplot as plt #Import MNIST data from tensorflow.examples.tutorials.mnist import input_data mnist=input_data.read_data_sets("/niu/mnist_data/",one_hot=False) # Parameter learning_rate…

x = 1:0.01:2; y = sin(10*pi*x) ./ x; figure plot(x, y) title('绘制目标函数曲线图—Jason niu'); hold on c1 = 1.49445; c2 = 1.49445; maxgen = 50; sizepop = 10; Vmax = 0.5; Vmin = -0.5; popmax = 2; popmin = 1; for i = 1:sizepop pop(i,:) = (rands(1) + 1) / 2 + 1;…

import tensorflow as tf import numpy as np W = tf.Variable([[2,1,8],[1,2,5]], dtype=tf.float32, name='weights') b = tf.Variable([[1,2,5]], dtype=tf.float32, name='biases') init= tf.global_variables_initializer() saver = tf.train.Saver() with tf.Sessi…

本文部分内容来源于CDA深度学习实战课堂,由唐宇迪老师授课 如果你企图用CPU来训练模型,那么你就疯了- 训练模型中,最耗时的因素是图像大小size,一般227*227用CPU来训练的话,训练1万次可能要超过1周的时间. 不同的网络结构,可能会有不同图片尺寸的需求,所以训练之前需要了解一下,在生成LMDB环节就直接符合上模型的数据要求. 如果你自己DIY了框架,那么不知道如何检验框架与通用框架比较,是否优质,可以去benchmarks网站,跟别人的PK一下:http://human-pose.m…

NoteBook of <Data Analysis with Python> 3.IPython基础 Tab自动补齐 变量名 变量方法 路径 解释 ?解释, ??显示函数源码 ?搜索命名空间 %run命令 %run 执行所有文件 %run -i 访问变量 Ctrl-C中断执行 %paste可以粘贴剪切板的一切文本 一般使用%cpaste因为可以改 键盘快捷键 魔术命令 %timeit 检测任意语句的执行时间 %magic显示魔术命令的详细文档 %xdel v 删除变量,并清除其一切引用 注册…

http://www.cnblogs.com/batteryhp/p/5025772.html python有许多可视化工具,本书主要讲解matplotlib.matplotlib是用于创建出版质量图表的桌面绘图包(主要是2D方面).matplotlib的目的是为了构建一个MATLAB式的绘图接口.本书中的大部分图都是用它生成的.除了图形界面显示,还可以把图片保存为pdf.svg.jpg.png.gif等形式. 1.matplotlib API入门 Ipython可以用close()关闭界面.…

matplotlib API入门 使用matplotlib的办法最常用的方式是pylab的ipython,pylab模式还会向ipython引入一大堆模块和函数提供一种更接近与matlab的界面,matplotlib API函数位于matplotlib.pyplot模块中,其通常的引入约定是:import matplot.pyplot as plt 1.Figure和Subplot matplotlib的图像都位于Figure对象中,你可以用plt.figure创建一个新的Figure,不能通过…

Python 数据分析(二) 本实验将学习利用 Python 数据聚合与分组运算,时间序列,金融与经济数据应用等相关知识 第1节 groupby 技术 第2节 数据聚合 第3节 分组级运算和转换 第4节 透视表和交叉表 第5节 时间序列 第6节 日期的规范.频率以及移动 第7节 时区处理 第8节 时期及算术运算 第9节 重采样及频率转换 第10节 时间序列绘图 groupby 技术 一.实验简介 Python 数据分析(二)需要同学们先行学完 Python 数据分析(一)的课程. 对数据集进行分…

本文主要参考英文教材Python Machine Learning第二章.pdf文档下载链接: https://pan.baidu.com/s/1nuS07Qp 密码: gcb9. 本文主要内容包括利用Python实现一个感知机模型并利用这个感知机模型完成一个分类任务. Warren和McCullock于1943年首次提出MCP neuron神经元模型[1],之后,Frank Rosenblatt在MCP neuron model的基础之上提出了感知机Perceptron模型[2].具体细节请阅…

"协同过滤"是推荐系统中的常用技术,按照分析维度的不同可实现"基于用户"和"基于产品"的推荐. 以下是利用python实现电影推荐的具体方法,其中数据集源于<集体编程智慧>一书,后续的编程实现则完全是自己实现的(原书中的实现比较支离.难懂). 这里我采用的是"基于产品"的推荐方法,因为一般情况下,产品的种类往往较少,而用户的数量往往非常多,"基于产品"的推荐程序可以很好的减小计算量. 其实基本的…

“协同过滤”是推荐系统中的常用技术,按照分析维度的不同可实现“基于用户”和“基于产品”的推荐. 以下是利用python实现电影推荐的具体方法,其中数据集源于<集体编程智慧>一书,后续的编程实现则完全是自己实现的(原书中的实现比较支离.难懂). 这里我采用的是“基于产品”的推荐方法,因为一般情况下,产品的种类往往较少,而用户的数量往往非常多,“基于产品”的推荐程序可以很好的减小计算量. 其实基本的思想很简单: 首先读入数据,形成用户-电影矩阵,如图所示:矩阵中的数据为用户(横坐标)对特定电影(纵…

背景: 2019年初由于尚未学习量子力学相关知识,所以处于自学阶段.浅显的学习了曾谨言的量子力学一卷和格里菲斯编写的量子力学教材.注重将量子力学的一些基本概念了解并理解.同时老师向我们推荐了Quantum Computation and Quantum Information 这本教材,了解了量子信息相关知识. 2019年暑假开始量子力学课程的学习,在导师的推荐下,从APS(美国物理学会)和AIP(美国物理联合会)下载了与量子纠缠(Quantum Discord)相关的著名的文献和会议报告,了解…

一.NumPy 是什么 NumPy 是 Python 科学计算的基础包,它专为进行严格的数字处理而产生.在之前的随笔里已有更加详细的介绍,这里不再赘述. 利用 Python 进行数据分析(一)简单介绍 二.ndarray 是什么 ndarray 是一个多维的数组对象,具有矢量算术运算能力和复杂的广播能力,并具有执行速度快和节省空间的特点. ndarray 的一个特点是同构:即其中所有元素的类型必须相同. 三.ndarray 的创建 array() 函数 最简单的方法, 使用 NumPy 提供的…

实验原因: 目前有一个医疗百科检索项目,该项目中对关键词进行检索后,返回的结果很多,可惜结果的排序很不好,影响用户体验.简单来说,搜索出来的所有符合疾病中,有可能是最不常见的疾病是排在第一个的,而最有可能的疾病可能需要翻很多页才能找到. 实验目的: 为了优化对搜索结果的排序,想到了利用百度搜索后有显示搜索到多少词条,利用这个词条数,可以有效的对疾病排名进行一个优化.从一方面看,某一个疾病在百度的搜索词条数目越多,表示这个词条的信息特别丰富,侧面反映了搜索这个词条的人特别多,从而可以推出这个疾病在…

数据分析和建模大部分时间都用在数据准备上,数据的准备过程包括:加载,清理,转换与重塑. 合并数据集 pandas对象中的数据可以通过一些内置方法来进行合并: pandas.merge可根据一个或多个键将不同DataFrame中的行连接起来,实现类似于数据库中的连接操作. pandas.cancat表示沿着一条轴将多个对象堆叠到一起. 实例方法combine_first可以将重复数据编接在一起,用一个对象中的值填充另一个对象的缺失值. 下面将进行分别讲解: 1.数据库风格的DateFrame合并…

下面是几个城市的GDP等信息,根据这些信息,写一个SOM网络,使之对下面城市进行聚类.并且,将结果画在一个二维平面上. //表1中,X.为人均GDP(元):X2为工业总产值(亿元):X.为社会消费品零售总额(亿元):x.为批发零售贸易总额(亿元):x.为地区货运总量(万吨),表1中数据来自2002年城市统计年鉴. //城市 X1 X2 X3 Xa X5 北京 27527 2738.30 1494.83 3055.63 30500 青岛 29682 1212.02 182.80 598.06 29…

1.文本文件 (1)pd.read_csv加载分隔符为逗号的数据:pd.read_table从文件.URL.文件型对象中加载带分隔符的数据.默认为制表符.(加载为DataFrame结构) 参数names指定列名,index_col用作行索引的列名或列编号,header用作列名的行号. (2)利用DataFrame的to_csv方法,将数据写入到文件. (3)import csv利用csv.reader读取已打开的文件对象:csv.writer方法写入数据. 2.json数据 import jso…

最近想从一个网站上下载资源,懒得一个个的点击下载了,想写一个爬虫把程序全部下载下来,在这里做一个简单的记录 Python的基础语法在这里就不多做叙述了,黑马程序员上有一个基础的视频教学,可以跟着学习一下 本篇博客为基础章:利用Python从网页端抓取数据,闲话不多说,开始正题: 首先需要学习这几个模块: 1 webbrowser:Python自带的模块,打开浏览器获取到指定的页面 2 requests:从英特网上下载文件和网页 3 Beautiful Soup:解析HTML,即网页编写的格式 4…

其实无论windows还是Linux,简单地去实现两个两个文件夹的同步只需系统自带的复制命令加参数就可以了. WINDOWS : xcopy 源文件夹\* 目标文件夹 /s /e /y Linux : cp -r 源文件夹/* 目标文件夹 这里使用python来实现这些基本功能,并增加一些去重之类的增强功能. 1.复制源文件夹中文件至目标文件夹 要想同步两个文件夹中的数据,基本思路首先需要遍历源文件夹中的信息,将源文件夹中的文件复制到目标文件夹. 遍历文件夹采用os中的listdir函数就可以了…

背景 前段时间写了个自动爬虫的脚本,定时在阿里云服务器上执行,会从某个网站上爬取链接保存到txt文本中,但是脚本不够完善,我需要爬虫完毕之后通过邮件把附件给我发送过来,之前写过一个<利用Python+163邮箱授权码发送邮件>的博客,但是那篇文章是没有带附件的,因此,我想到了爬虫完毕之后,再执行一段发送邮件的代码,把爬虫保存的TXT文件通过邮件发送到我的邮箱中,需求开始明确了,就开始分析和写代码实现吧. 分析 SMTP(Simple Mail Transfer Protocol),即简单邮件传…

背景 前段时间写了个自动打卡的脚本,但是脚本不够完善,我需要知道,打卡到底成没成功,因此,我想到了用Python执行完代码之后,再执行一段发送邮件的代码.需求开始明确了,就开始分析和写代码实现吧. 分析 SMTP(Simple Mail Transfer Protocol),即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则,由它来控制信件的中转方式. python的smtplib提供了一种很方便的途径发送电子邮件.它对smtp协议进行了简单的封装. 代码实现 import smt…

需求描述 我们需要登录考勤系统(网页端,非手机端)进行签到,如果不想每天都早早起来打卡签到,就可以通过写程序实现这一功能. 业务梳理 通过长时间的早起打卡签到发现规律,我每天只是不停的点击,签到,都是规律性的操作,何尝不写一个程序加到Windows实现自动签到呢,这样我就不用每天都花时间上在打卡这件小事上.说干就干,我发现我每天的打卡行为可以归纳为"登录系统-->输入用户名.密码-->点击点击-->退出系统". 一天上网浏览社区,突然看到selenium的描述,然后查…

利用Python操作excel表格之openyxl介绍 by:授客 QQ:1033553122 欢迎加入全国软件测试交流qq群(群号:7156436),免费获取以下性能监控工具(类似Nmon精简版) 实验环境 python 3.4.0 penpyxl-2.5.3-py3.4 网盘下载地址: 下载地址:https://pan.baidu.com/s/1RC6O7tKavz8ffPgPOJ4jdg 下载地址:https://bitbucket.org/openpyxl/openpyxl/downlo…

转自:https://www.cnblogs.com/yjd_hycf_space/p/7094005.html 题目: 通过给出的驾驶员行为数据(trip.csv),对驾驶员不同时段的驾驶类型进行聚类,聚成普通驾驶类型,激进类型和超冷静型3类 . 利用Python的scikit-learn包中的Kmeans算法进行聚类算法的应用练习.并利用scikit-learn包中的PCA算法来对聚类后的数据进行降维,然后画图展示出聚类效果.通过调节聚类算法的参数,来观察聚类效果的变化,练习调参. 数据介绍…

Zabbix 利用python脚本实现钉钉告警 1.安装python3.6环境 2.创建python脚本 cd local/zabbix-4.0.3/share/zabbix/alertscripts/ 新建一个zabbix_dingding.py文件 vi zabbix_dingding.py //修改文件所有者为zabbix chown zabbix.zabbix zabbix_dingding.py //设置所有者为7权限 chmod 744 zabbix_dingding.py 文件内容…

作为一个程序猿,平时善于利用python中的os模块进行路径等操作,会省去很多麻烦,下面总结一下我平时经常用到的方法: import os os.getcwd() # 获取当前文件所在的目录 os.path.join(path, 'name') # 拼接文件目录 os.path.join(os.getcwd() , 'name') # 结合前两个,取本文件目录下的相关文件 os.listdir('dir_name') # 查看指定文件夹所有文件名,以列表的形式返回 os.path.exists(…

题目: 通过给出的驾驶员行为数据(trip.csv),对驾驶员不同时段的驾驶类型进行聚类,聚成普通驾驶类型,激进类型和超冷静型3类 . 利用Python的scikit-learn包中的Kmeans算法进行聚类算法的应用练习.并利用scikit-learn包中的PCA算法来对聚类后的数据进行降维,然后画图展示出聚类效果.通过调节聚类算法的参数,来观察聚类效果的变化,练习调参. 数据介绍: 选取某一个驾驶员的经过处理的数据集trip.csv,将该驾驶人的各个时间段的特征进行聚类.(注:其中的driv…

  不论是数据分析,数据可视化,还是数据挖掘,一切的一切全都是以数据作为最基础的元素.利用Python进行数据分析,同样最重要的一步就是如何将数据导入到Python中,然后才可以实现后面的数据分析.数据可视化.数据挖掘等. 在本期的Python学习中,我们将针对Python如何获取外部数据做一个详细的介绍,从中我们将会学习以下4个方面的数据获取: 1.读取文本文件的数据,如txt文件和csv文件 2.读取电子表格文件,如Excel文件 3.读取统计软件生成的数据文件,如SAS数据集.SPSS数据…