# 1   sklearn  一般方法 网上有很多教程,不再赘述. 注意顺序是 numpy+mkl     ,然后 scipy的环境,scipy,然后 sklearn # 2 anoconda anaconda 原始的环境已经自带了sklearn,这里说一下新建环境(比如  创建了一个tensorflow的环境),activate tensorflow2.0,然后conda install sklearn 即可,会帮你把各种需要的库都安装. # keras keras 前置需要Theano  或…

人脸检测及识别python实现系列(5)——利用keras库训练人脸识别模型 经过前面稍显罗嗦的准备工作,现在,我们终于可以尝试训练我们自己的卷积神经网络模型了.CNN擅长图像处理,keras库的tensorflow版亦支持此种网络模型,万事俱备,就放开手做吧.前面说过,我们需要通过大量的训练数据训练我们的模型,因此首先要做的就是把训练数据准备好,并将其输入给CNN.前面我们已经准备好了2000张脸部图像,但没有进行标注,并且还需要将数据加载到内存,以方便输入给CNN.因此,第一步工作就是加载并…

目录 从 PyTorch 中导出模型参数 第 0 步:配置环境 第 1 步:安装 MMdnn 第 2 步:得到 PyTorch 保存完整结构和参数的模型(pth 文件) 第 3 步:导出 PyTorch 模型的参数,保存至 hdf5 文件 可能遇到的问题 验证从 PyTorch 导出的 AlexNet 预训练模型 Attentions References tf.keras 的预训练模型都放在了'tensorflow.python.keras.applications' 目录下,在 tensor…

cifar-10 每张图片的大小为 32×32,而 AlexNet 要求图片的输入是 224×224(也有说 227×227 的,这是 224×224 的图片进行大小为 2 的 zero padding 的结果),所以一种做法是将 cifar-10 数据集的图片 resize 到 224×224. 此时遇到的问题是,cifar-10 resize 到 224×224 时,32G 内存都将无法完全加载所有数据,在归一化那一步(即每个像素点除以 255)就将发生 OOM(out of memory)…

一些最常用的数据集如 MNIST.Fashion MNIST.cifar10/100 在 tf.keras.datasets 中就能找到,但对于其它也常用的数据集如 SVHN.Caltech101,tf.keras.datasets 中没有,此时我们可以在 TensorFlow Datasets 中找找看. tensorflow_datasets 里面包含的数据集列表:https://www.tensorflow.org/datasets/catalog/overview#all_dataset…

论文 Decoupled Weight Decay Regularization 中提到,Adam 在使用时,L2 与 weight decay 并不等价,并提出了 AdamW,在神经网络需要正则项时,用 AdamW 替换 Adam+L2 会得到更好的性能. TensorFlow 2.0 在 tensorflow_addons 库里面实现了 AdamW,目前在 Mac 和 Linux 上可以直接 pip install tensorflow_addons,在 windows 上还不支持,但也可以…

系列文章目录: Tensorflow2.0 介绍 Tensorflow 常见基本概念 从1.x 到2.0 的变化 Tensorflow2.0 的架构 Tensorflow2.0 的安装(CPU和GPU) Tensorflow2.0 使用 "tf.data" API "tf.keras"API 使用GPU加速 安装配置GPU环境 使用Tensorflow-GPU 3 TensorFlow2.0使用 3.2 "tf.keras"API Keras是一…

本次使用的是2.0测试版,正式版估计会很快就上线了 tf2好像更新了蛮多东西 虽然教程不多 还是找了个试试 的确简单不少,但是还是比较喜欢现在这种写法 老样子先导入库 import tensorflow as tf import tensorflow_datasets as tfds import numpy as np import matplotlib.pyplot as plt import math import tqdm import tqdm.auto tqdm.tqdm = tqd…

tf.keras.metric 里面竟然没有实现 F1 score.recall.precision 等指标,一开始觉得真不可思议.但这是有原因的,这些指标在 batch-wise 上计算都没有意义,需要在整个验证集上计算,而 tf.keras 在训练过程中计算 acc.loss 都是一个 batch 计算一次的,最后再平均起来.Keras 2.0 版本将 precision, recall, fbeta_score, fmeasure 等 metrics 移除了. 虽然 tf.keras.me…

.caret, .dropup > .btn > .caret { border-top-color: #000 !important; } .label { border: 1px solid #000; } .table { border-collapse: collapse !important; } .table td, .table th { background-color: #fff !important; } .table-bordered th, .table-bordere…

TensorFlow 2.0 版本将 keras 作为高级 API,对于 keras boy/girl 来说,这就很友好了.tf.keras 从 1.x 版本迁移到 2.0 版本,需要修改几个地方. 1. 设置随机种子 import tensorflow as tf # TF 1.x tf.set_random_seed(args.seed) # TF 2.0 tf.random.set_seed(args.seed) 2. 设置并行线程数和动态分配显存 import tensorflow as…

Update:2019/09/21 使用 tf.keras 时,请使用 tf.keras.optimizers 里面的优化器,不要使用 tf.train 里面的优化器,不然学习率衰减会出现问题. 使用 tf.keras 过程中,如果要使用 learning rate decay,不要使用 tf.train.AdamOptimizer() 等 tf.train 内的优化器,因为学习率的命名不同,导致 tf.keras 中学习率衰减的函数无法使用,一般都会报错 "AttributeError: 'T…

运行以下类似代码: while True: inputs, outputs = get_AlexNet() model = tf.keras.Model(inputs=inputs, outputs=outputs) model.summary() adam_opt = tf.keras.optimizers.Adam(learning_rate) # The compile step specifies the training configuration. model.compile(opt…

keras 构建模型很简单,上手很方便,同时又是 tensorflow 的高级 API,所以学学也挺好. 模型复现在我们的实验中也挺重要的,跑出了一个模型,虽然我们可以将模型的 checkpoint 保存,但再跑一遍,怎么都得不到相同的结果. 用 keras 实现模型,想要能够复现,首先需要设置各个可能的随机过程的 seed,如 np.random.seed(1).然后分为两种情况: 代码不要在 GPU 上跑,而是限制在 CPU 上跑,此时可以自行设置 fit 函数的 batch_size 参数…

自定义tf.keras.Model需要注意的点 model.save() subclass Model 是不能直接save的,save成.h5,但是能够save_weights,或者save_format="tf" NotImplementedError: Saving the model to HDF5 format requires the model to be a Functional model or a Sequential model. It does not work…

目录 0. 简介 1. 安装 1.1 安装 CUDA 和 cuDNN 2. 数据集 2.1 使用 tensorflow_datasets 导入公共数据集 2.2 数据集过大导致内存溢出 2.3 加载 cifar10 数据时报错 3. 评价指标 3.1 实现 F1 socre.precsion.recall 4. 优化器 4.1 AdamW 优化器示例程序 4.2 tf.keras 1.x 在使用 learning rate decay 时不要使用 tf.train 内的优化器 5. 模型 5.1…

今天在安装 Python 的 sklearn 包时出现了 Cannot uninstall 'numpy' 和 Cannot uninstall 'scipy' 错误,下面记录了我尝试了很多网上的方法后最终成功的解决方法. 终端执行 pip install scikit-learn 后,出现 Cannot uninstall 'numpy'. It is a distutils installed project and thus we cannot accurately determine w…

python借助pip安装第三方库,所以首先确保电脑上已成功安装了pip. 安装sklearn前需要先安装numpy.scipy和pandas等库.安装的方式有两种: 一.前往python的组件库页(https://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy),找到组件包并下载. 下载的文件后缀名为.whl,下载完成后,用cmd进入python的安装目录的sripts文件夹下,输入命令“pip install 下载的组件名”开始安装,如:pip insta…

问题描述 tf.keras 在加载 cifar10 数据时报错,ssl.SSLError: [SSL: DECRYPTION_FAILED_OR_BAD_RECORD_MAC] decryption failed or bad record mac (_ssl.c:1977) import tensorflow as tf cifar10 = tf.keras.datasets.cifar10 (x_train, y_train), (x_test, y_test) = cifar10.load…

import argparse import tensorflow as tf tf.enable_eager_execution() def main(args): """Download the Microsoft COCO 2014 data set.""" # Annotation zip tf.keras.utils.get_file(fname=args.annotation_zip, origin=args.annotation_o…

代码和其他资料在 github 一.tf.keras概述 首先利用tf.keras实现一个简单的线性回归,如 \(f(x) = ax + b\),其中 \(x\) 代表学历,\(f(x)\) 代表收入,分别代表输入特征和输出值.为了描述预测目标与真实值之间的整体误差最小,需要定义一个损失函数,数学描述为\((f(x) - y)^2\),即预测值与真实值差值的平方的均值.优化的目标是求解参数 \(a,b\) 使其损失函数最小. import tensorflow as tf import pand…

Windows+Python+anaconda机器学习安装及环境配置步骤 1. 下载安装python3.6以上版本(包含pip,不用自己安装)2. 直接下载安装pycharm安装包(用于编写python)3. 直接下载安装anaconda安装包(包含numpy,sklearn,省去python配置numpy,sklearn包环境) ##测试anaconda环境(如果觉得安装没问题可以不测试)##配置anaconda环境变量eg:;F:\Anaconda3;F:\Anaconda3\Library…

安装sklearn需要的库请全部在万能仓库下载: http://www.lfd.uci.edu/~gohlke/pythonlibs/#scipy http://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy http://www.lfd.uci.edu/~gohlke/pythonlibs/#matplotlib http://www.lfd.uci.edu/~gohlke/pythonlibs/#scikit-learn 安装方法请看: python安装w…

我的开发环境是Jupyter lab,所用的库和版本大家参考: Python 3.7.1(你的版本至少要3.4以上) Scikit-learn 0.20.0 (你的版本至少要0.19) Graphviz 0.8.4 (没有画不出决策树哦,安装代码conda install python-graphviz) Numpy 1.15.3, Pandas 0.23.4, Matplotlib 3.0.1, SciPy 1.1.0 配置开发环境&安装sklearn 如果已经安装了Python,但没有所需的…

安装SK-Learn需要依赖的Python安装包有: Python (>= 2.6), NumPy (>= 1.3), SciPy (>= 0.7), 下载python的各种包的地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/ 在下载各种包的时候要注意版本的选择: ①查看本地安装的python的版本,使用如下命令 python -V ②下载软件 我的安装的python是32位,因此我需要下载,并按如下顺序安装 numpy-1.12.1+mkl-c…

Python 2/3 安装与运行环境设置: 1.Python 软件源:https://www.python.org/    下载Win版本 https://www.python.org/downloads/windows/ 2.安装在同一个目录 c:\python 下的两个子目录,或者是两个一级目录,由你决定.环境 path 只能设置一个路径? 安装后会在 系统%windwos%中安装一个 py.exe 与 pyw.exe 文件作为 两个版本 python.exe 的启动文件. $>  py -…

Python介绍.安装.使用 搬运工:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Python语言介绍 说到Python语言,就不得不说一下它的创始人Guido van Rossum(1956 -- ?), 他在开发PYTHON语言之前曾使用过几年的ABC语言,ABC是一门主要用于教学目的语言(教计算机系的学生如何设计一门开发语言), Guido 在开发PYTHON时借鉴了很多ABC语言的特性,所以后来人们包括Guido自己也认为,PYTHON语言的前身就是ABC语言.关于创…

在python的API上面,看到了MySQLdb,即python可以操作mysql数据库 接下来,我就把我这两天的工作给大伙絮叨絮叨: 准备条件: 1.MySQL-python-1.2.4b4.win32-py2.7.exe 安装包  注:只支持python2.4-2.7版本,所以下面选择的是python2.7.5版本 2.python-2.7.5.msi 安装包 3.mysql-essential-5.5.5-m3-win32.msi 安装包 4.如果你都安装成功了,你不妨去验证一下:pyth…

Windows上python开发--2安装django框架 分类: 服务器后台开发2014-05-17 21:22 2310人阅读 评论(2) 收藏 举报 python django 上一篇文章中讲了如何在windows上安装和开发python.这篇文章需要在上一篇的基数上进行.首先确保你的windows上python可以正常运行. 在安装django之前,我们应该先安装一个esay_install 的python工具,通过该工具可以很轻松安装各种扩展的框架和package. 不用你先到第三方网…

[Python]如何安装easy_install? http://jingyan.baidu.com/article/b907e627e78fe146e7891c25.html easy_install是一个python的扩展包,主要是用来简化python安装第三方安装包,在安装了easy_install之后,安装python第三方安装包就只需要在命令行中输入:easy_install packagename,然后程序会自动搜索相应版本的安装包并配置各种文件,免去了手工下载安装的复杂度.easy…