为提高提高大学能源效率进行建筑能源需求预测 本文翻译哈佛大学的能源分析和预测报告,这是原文 暂无数据源,个人认为学习分析方法就足够 内容: 项目概述 了解数据 探索性分析 使用不同的机器学习方法进行预测 总结 结论 讨论 1. 项目概述 用机器学习来进行能源预测,希望能够节约能源 2. 了解数据 有三种类型的能源消耗,电力,冷水和热水.图显示了哈佛工厂供应的冷水和热水的建筑物. 图:哈佛的冷水和热水供应.(左:冷水,用蓝色标出.右边:热水,用黄色突出显示.) 我们选择了一栋建筑,并获得了2011…

| Data Wrangling | # Sort all the data into one file files = ['BeijingPM20100101_20151231.csv','ChengduPM20100101_20151231.csv','GuangzhouPM20100101_20151231.csv','ShanghaiPM20100101_20151231.csv','ShenyangPM20100101_20151231.csv'] out_columns = ['No…

<Data Structures and Algorithm Analysis in C>学习与刷题笔记 为什么要学习DSAAC? 某个月黑风高的夜晚,下班的我走在黯淡无光.冷清无人的冲之大道上,同时心里冒出一个强烈的想法:我不要再过这种无休止地加班.整天干着繁重琐碎的事情的生活了!我要回去读书!我要考研!在接下来的一个多月中,我不断在考研和换工作之间徘徊,最后我得出一个结论:我不知道读研好还是换工作好,但我知道把自己感兴趣的知识学好总不会错.数据结构是我们专业大二下学期的一门选修课,但当时正…

相当长一段时间以来,大数据社区已经普遍认识到了批量数据处理的不足.很多应用都对实时查询和流式处理产生了迫切需求.最近几年,在这个理念的推动下,催生出了一系列解决方案,Twitter Storm,Yahoo S4,Cloudera Impala,Apache Spark和Apache Tez纷纷加入大数据和NoSQL阵营.本文尝试探讨流式处理系统用到的技术,分析它们与大规模批量处理和OLTP/OLAP数据库的关系,并探索一个统一的查询引擎如何才能同时支持流式.批量和OLAP处理. 在Grid Dy…

MapReduce: Simplified Data Processing on Large Clusters MapReduce:面向大型集群的简化数据处理 摘要 MapReduce既是一种编程模型,也是一种与之关联的.用于处理和产生大数据集的实现.用户要特化一个map程序去处理key/value对,并产生中间key/value对的集合,以及一个reduce程序去合并有着相同key的所有中间key/value对.本文指出,许多实际的任务都可以用这种模型来表示. 用这种函数式风格写出的程序自动就…

原文:https://www.ibm.com/developerworks/library/j-zerocopy/ <Efficient data transfer through zero copy> 本文描述通过一种叫做Zore Copy的技术来提升运行在Linux和UNIX上的Java程序的IO性能. Zero copy避免冗余的数据拷贝并减少用户态和内核态之间的上下文切换. 很多WEB应用都服务大量的静态文件,这些静态文件大多从磁盘读取并返回到socket中.这些操作需要相对较少的CP…

本文为mariadb官方手册:LOAD DATA INFILE的译文. 原文:https://mariadb.com/kb/en/load-data-infile/ 我提交到MariaDB官方手册的译文:https://mariadb.com/kb/zh-cn/load-data-infile/…

翻译版权所有,转载请注明出处~ xzrch@2018.09.14 --------------------------------------------------------------------- 1.介绍 随着数字电视和DVD视频的出现,广播电视和家庭娱乐已经发生了革命性的变化.视频压缩技术的标准化使这些和其他更多应用的实现成为了可能. MPEG系列的下一个标准,MPEG4,正在催生新一代基于互联网的视频应用,而与此同时ITU-T H.263视频压缩标准也已广泛用于视频会议系统. MP…

续上篇 1_Project Overview, Data Wrangling and Exploratory Analysis 使用不同的机器学习方法进行预测 线性回归 在这本笔记本中,将训练一个线性回归模型来预测基于历史能源数据.几个天气变量.一天中的小时.一周中的一天.周末和假期的电源能耗. 为了做到这一点,我们将把模型设定为从2012-01-01到2014-10-31的每日和每小时的能源和天气数据. %matplotlib inline import numpy as np import…

探索性数据分析(Exploratory Data Analysis,EDA)主要的工作是:对数据进行清洗,对数据进行描述(描述统计量,图表),查看数据的分布,比较数据之间的关系,培养对数据的直觉,对数据进行总结等. 探索性数据分析(EDA)与传统统计分析(Classical Analysis)的区别: 传统的统计分析方法通常是先假设样本服从某种分布,然后把数据套入假设模型再做分析.但由于多数数据并不能满足假设的分布,因此,传统统计分析结果常常不能让人满意. 探索性数据分析方法注重数据的真实分布,…