1.使用Pearson积差相关系性进行检验的话可以判断两个变量之间的相关性是否显著以及相关性的强度 显著性检验 (significant test) 连续变量 vs 类别变量 (continuous variable VS nominal variable): ANOVA检验(R中可使用aov函数) 类别变量 vs 类别变量 (nominal variable VS nominal variable): 卡方检验(R中可使用chisq.test函数)--其实ANOVA的检验效果与回归分析效果相同

分析数据要做的第一件事情,就是观察它.对于每个变量,哪些值是最常见的?值域是大是小?是否有异常观测? ggplot2图形之基本语法: ggplot2的核心理念是将绘图与数据分离,数据相关的绘图与数据无关的绘图分离ggplot2是按图层作图ggplot2保有命令式作图的调整函数,使其更具灵活性ggplot2将常见的统计变换融入到了绘图中.ggplot的绘图有以下几个特点:第一,有明确的起始(以ggplot函数开始)与终止(一句语句一幅图):其二,图层之间的叠加是靠"+"号实现的,越后面其

R语言  ggplot2包的学习   分析数据要做的第一件事情,就是观察它.对于每个变量,哪些值是最常见的?值域是大是小?是否有异常观测? ggplot2图形之基本语法: ggplot2的核心理念是将绘图与数据分离,数据相关的绘图与数据无关的绘图分离ggplot2是按图层作图ggplot2保有命令式作图的调整函数,使其更具灵活性ggplot2将常见的统计变换融入到了绘图中.ggplot的绘图有以下几个特点:第一,有明确的起始(以ggplot函数开始)与终止(一句语句一幅图):其二,图层之间的叠加

https://www.cnblogs.com/nxld/p/6059603.html 分析数据要做的第一件事情,就是观察它.对于每个变量,哪些值是最常见的?值域是大是小?是否有异常观测? ggplot2图形之基本语法: ggplot2的核心理念是将绘图与数据分离,数据相关的绘图与数据无关的绘图分离ggplot2是按图层作图ggplot2保有命令式作图的调整函数,使其更具灵活性ggplot2将常见的统计变换融入到了绘图中.ggplot的绘图有以下几个特点:第一,有明确的起始(以ggplot函数开

ggplot绘图之基本语法 2018年09月03日 22:29:56 一个人旅行*-* 阅读数 4332更多 分类专栏: R语言   1.ggplot2图形之基本语法: ggplot2的核心理念是将绘图与数据分离,数据相关的绘图与数据无关的绘图分离.按图层作图,保有命令式作图的调整函数,使其更具灵活性,并将常见的统计变换融入到了绘图中.ggplot的绘图有以下几个特点:第一,有明确的起始(以ggplot函数开始)与终止(一句语句一幅图):其二,图层之间的叠加是靠“+”号实现的,越后面其图层越高.

IPython 前言 Life is short, you need Python 最近开始学习数据挖掘,需要使用到Python,其实大学时代就有接触过Python,但是却始终没有系统的进行学习过. 正好最近有接触简书,非常认同其中的一个观点: 以输出为导向的学习才是最有效的学习 所以我决定每天抽出一点时间进行三件事情: 学习 思考 书写 本次介绍的是IPython,相比自带的Python Shell.IPython更好用,体现在以下几个方面: 支持操作系统命令:ls,pwd,cd,cp等 通过

参考https://github.com/chenyuntc/pytorch-book/tree/v1.0 希望大家直接到上面的网址去查看代码,下面是本人的笔记 torch.autograd就是为了方便用户使用,专门开发的一套自动求导引擎,她能够根据输入和前向传播过程自动构建计算图,并执行反向传播 1.Variable 深度学习算法的本质是通过反向函数求导数,pytorch的Autograd模块实现了此功能.在Tensor上的所有操作,Autograd都能够为他们自动提供微分,避免手动计算的复杂

1.关于年龄Age 除了利用平均数来填充,还可以利用正态分布得到一些随机数来填充,首先得到已知年龄的平均数mean和方差std,然后生成[ mean-std,  mean+std ]之间的随机数,然后利用这些随机值填充缺失的年龄. 2.关于票价Fare 预处理:训练集不缺,测试集缺失1个,用最高频率值填充 Fare_freq = test.Fare.dropna().mode()[0] # 找出非缺失值中的所有最高频值,取第一个 for dataset in train_test_data: d

入门kaggle,开始机器学习应用之旅. 参看一些入门的博客,感觉pandas,sklearn需要熟练掌握,同时也学到了一些很有用的tricks,包括数据分析和机器学习的知识点.下面记录一些有趣的数据分析方法和一个自己撸的小程序. 1.Tricks 1) df.info():数据的特征属性,包括数据缺失情况和数据类型. df.describe(): 数据中各个特征的数目,缺失值为NaN,以及数值型数据的一些分布情况,而类目型数据看不到. 缺失数据处理:缺失的样本占总数比例极高,则直接舍弃:缺失样

案例:该数据集的是一个关于每个学生成绩的数据集,接下来我们对该数据集进行分析,判断学生是否适合继续深造 数据集特征展示 GRE 成绩 (290 to 340) TOEFL 成绩(92 to 120) 学校等级 (1 to 5) 自身的意愿 (1 to 5) 推荐信的力度 (1 to 5) CGPA成绩 (6.8 to 9.92) 是否有研习经验 (0 or 1) 读硕士的意向 (0.34 to 0.97) 1.导入包 import numpy as np import pandas as pd

GDB简介:GDB是GNU发布的一款功能强大的程序调试工具,GDB主要完成下面三个方面功能: 一.GDB的使用操作 1.启动被调试程序. 2.让被调试的程序在指定的位置停住. 3.当程序被停住时,可以检查程序状态(如变量值). GDB调试实例: 1.在linux下编写test.c程序: #include <stdio.h> int main() { int i; ; ;i<;i++) { result += i; } printf("result = %d\n",re

ubuntu  命令窗口的打开 打开命令行窗口: Ctrl+Alt+T 在打开的命令行窗口中打开一个新的Tab: Ctrl+Shift+T 在同一窗口的Tab间切换: Ctrl+Page Up 或者 Ctrl+Page Down   登录工作站 透过 PC 登录工作站 执行格式:telnet hostname (在 dos 下执行) telnet ip-address Example: telnet doc telnet 140.122.77.120 注: 可利用指令 arp hostname

最近在学习TensorFlow,尝试的第一个项目是MNIST.首先给出源码地址. 1 数据集的获取 我们可以直接运行下面的代码,来获取到MNIST的数据集. from tensorflow.examples.tutorials.mnist import input_data # 载入数据,并是labels进行one-hot编码 mnist = input_data.read_data_sets('./MNIST_data/',one_hot=True) 但是,由于网络的问题,input_data

06_pytorch的autograd操作 目录 一.引言 二.Variable 2.1 Variable 的数据结构 2.2 反向传播 2.3 autograd 求导数和手动求导数 三.计算图 3.1 手动计算梯度 3.2 利用 torch 进行反向传播求梯度 3.3 在前向传播中利用动态图特性构建计算图 3.4 variable 的 grad 属性和 backward函数 的 grad_variables 参数的区别 3.5 计算图特点小结 四.用 variable 实现线性回归(autog

1. 简介 因子分析是一种研究观测变量变动的共同原因和特殊原因, 从而达到简化变量结构目的的多元统计方法. 因子分析模型是主成分分析的推广, 也是利用降维的思想, 将复杂的原始变量归结为少数几个综合因子的一种多变量统计分析方法. 1.1 应用 寻求变量的基本结构, 简化变量系统. 用于分类, 根据因子得分值, 在因子轴所构成的空间中将变量或者样本进行分类 (能够分析样品间差异的原因). 1.2 类型 R型因子分析: 研究变量之间的相关关系. Q型因子分析: 研究样本之间的相关关系. 2. 因子分

摘要:上一节对决策树的基本原理进行了梳理,本节主要根据其原理做一个逻辑的实现,然后调用sklearn的包实现决策树分类. 这里主要是对分类树的决策进行实现,算法采用ID3,即以信息增益作为划分标准进行. 首先计算数据集的信息熵,代码如下: 1 import math 2 import numpy as np 3 4 5 def calcShannonEnt(data): 6 num = len(data) 7 # 保存每个类别的数目 8 labelCounts = {} 9 # 每一个样本 10

今天,查看mysql slave节点 binlog日志信息时,执行mysqlbinlog命令报错mysqlbinlog: unknown variable 'default-character-set=utf8mb4'  的错误 # mysqlbinlog mysql-bin.000001 mysqlbinlog: unknown variable 'default-character-set=utf8mb4' 原因: 原因是mysqlbinlog这个工具无法识别binlog中的配置中的defa

mysqlbinlog  mysql-bin.000036 | less 查询包含几个字段的语句: mysqlbinlog mysql-bin.000036| egrep '(2011030610002460|2011030310001730|2011030410011680|2011030410006280)'   mysqlbinlog查看二进制日志的问题 在使用mysqlbinlog查看日志的时候碰到了一个问题, 错误提示如下:/usr/local/mysql/bin/mysqlbinlo

mysqlbinlog --no-defaults mysql-bin.000003 > /home/3.sql 下侧文字转自 http://www.cnblogs.com/cobbliu/p/4311926.html 原因是mysqlbinlog这个工具无法识别binlog中的配置中的default-character-set=utf8这个指令. 两个方法可以解决这个问题 一是在MySQL的配置/etc/my.cnf中将default-character-set=utf8 修改为 charac

1. 显示环境变量HOME $ echo $HOME /home/redbooks 2. 设置一个新的环境变量hello $ export HELLO="Hello!" $ echo $HELLO Hello! 3. 使用env命令显示所有的环境变量 $ env HOSTNAME=redbooks.safe.org PVM_RSH=/usr/bin/rsh Shell=/bin/bash TERM=xterm HISTSIZE=1000 ... 4. 使用set命令显示所有本地定义的S