这个想法源自于我看了<Hadoop: The Definitive Guide>的Part I Ch 2中MapReduce的引入和介绍,书中先说了怎么通过原始的办法处理数据,然后引入到如何通过Hadoop来处理,接着简要的介绍其原理. 如果没有Hadoop或者其他类似的工具,我们存储和分析大数据的时候就是,遇到一个问题然后想办法解决,然后不断完善解决方案.比如,刚开始数据很小,还是简单的文本,就写一个脚本用awk处理完全可以,结果数据越来越多,一个机器处理不过来,就开始想用并行来解决,并行又…

在本人的上一篇博客文章:Netty构建分布式消息队列(AvatarMQ)设计指南之架构篇 中,重点向大家介绍了AvatarMQ主要构成模块以及目前存在的优缺点.最后以一个生产者.消费者传递消息的例子,具体演示了AvatarMQ所具备的基本消息路由功能.而本文的写作目的,是想从开发.设计的角度,简单的对如何使用Netty,构建分布式消息队列背后的技术细节.原理,进行一下简单的分析和说明. 首先,在一个企业级的架构应用中,究竟何时需引入消息队列呢?本人认为,最经常的情况,无非这几种:做业务解耦.事件…

考量要素: 1.简单的约定优于配置的同名属性copy 2.嵌套属性copy 3.flattern(扁平化)支持,要支持N层结构的copy到一层结构. 4.性能 如下这个网页,里面提到了好多工具. http://stackoverflow.com/questions/1432764/any-tool-for-java-object-to-object-mapping 注意到许多工具采用静态化的生成java字节码的方式,这样和hardcode性能所差无几了. id 描述 是否支持flattern 最…

首先让我们回顾一下系列内容. 从零开始学Bootstrap(1)介绍了BootStrap最简单的模板,逐条解释了每行代码的含义. 从零开始学Bootstrap(2)强调了边学边做,通过实际的例子,讲解了如何一步一步的实现自己想要的效果. 写到这里,这篇从零开始学Bootstrap(3)我想写以下几个内容: 1. 基于我对Bootstrap的理解,做一个小小的总结. 2. 对从零开始学Bootstrap(2)例子进行UI美化和代码优化,主要是说说我是怎么做出自己想要的效果的. 3. 授人以鱼不如授…

由于3月可能要结束实习,所以应该不会有特别固定的主题,另外我会在月初陆续补上上个月的番外篇Projection和TMS,作为介绍性的内容对矢量切片部分进行补充,剩下时间不定期写一些杂烩. 最近两天在做一个地图上popup浮动层的功能,因为之前一直沿用OpenLayers2中自带的popup组件,但OL2中实在是难以控制浮动层的样式,远不及直接在地图上覆盖div布局来的快,所以我决定暂时放弃使用popup,自己编写一个浮动层. 一 问题的来源 设计草图如下(样式主要参照了百度地图的弹出层),主要讲…

学习python也已经有一段时间了,发现python作为脚本语言一个很重要的特点就是简单易用,而且拥有巨多的第三方库,几乎方方面面的库都有,无论你处于哪个行业,想做什么工作,几乎都能找到对应的第三方库.别人造好了轮子,我们直接拿过来用,这大大方便了开发,也极大地提升了效率.那么问题来了,有那么多的第三方库,我们如何开发一个属于自己的库呢?其实这是一个比较大的问题,因为开发一个库涉及到的问题很多,比如这个库要用来干嘛,实现什么功能,有没有已经类似的库了,效率如何等.但是这里,我只想抛砖引玉,简单记…

生成式对抗网络(GAN)是近年来大热的深度学习模型.最近正好有空看了这方面的一些论文,跑了一个GAN的代码,于是写了这篇文章来介绍一下GAN. 本文主要分为三个部分: 介绍原始的GAN的原理 同样非常重要的DCGAN的原理 如何在Tensorflow跑DCGAN的代码,生成如题图所示的动漫头像,附送数据集哦 :-) GAN原理介绍 说到GAN第一篇要看的paper当然是Ian Goodfellow大牛的Generative Adversarial Networks(arxiv:https://a…

目录 上节内容回顾: npm 介绍 安装 常用命令: 补充: 基于npm的Hello World 项目结构分析 用法迁移 小提醒 ES6语法 知识补充 单文件组件 使用注意: 路由 开启路由 定义路由 使用路由 数据显示 路由跳转 带参路由 动态路径参数 查询参数 监听路由参数变化 嵌套路由 命名视图 编程式路由 404路由 补充: vuex 开启vuex并创建store 使用vuex 获取数据 改变数据 项目结构 补充: 首发日期:2019-01-28 修改: 2019-01-29:增加404…

目录 教材学习内容总结 第七章 内部类与异常类 第十章 输入.输出流 教材学习中的问题和解决过程 代码托管 学习进度条 参考资料 教材学习内容总结 第七章 内部类与异常类 第十章 输入.输出流 教材学习中的问题和解决过程 问题1:输入输出流这一章的内容太多了光类就出现了快十个,方法更是多的数不过来,实在是记不住了.最后两节还点了一下awt和swing模块,可是这么讲谁看得懂啊 解决方法: 我只能去文档看类的树,算是稍微弄清楚一点这么多类到底是个什么关系,具体的方法我也没有太记,可能真的要用的时候…

什么是NuGet? NuGet(读作New Get)是用于微软.NET开发平台的软件包管理器,是一个Visual Studio的扩展.在使用Visual Studio开发基于.NET Framework的应用时,NuGet能够令你在项目中添加.移除和更新引用的工作变得更加快捷方便. 通过NuGet你可以很容易的访问到其他开发者发布的软件包,你也可以创建.分享或者发布自己的包到NuGet.微软的EntityFramework.ASP.NET MVC等或者一些常用到的第三方软件包:Json.NET.…