Hadoop 2.X 管理与开发 一.Hadoop的起源与背景知识 (一)什么是大数据 大数据(Big Data),指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的信息资产. 大数据的5个特征(IBM提出): l  Volume  (大量) l  Velocity(高速) l  Variety (多样) l  Value   (价值) l  Veracity(真实性) 大数据的典型案例:…

在VS下使用 GitFlow管理项目开发 1.右键将你的解决方案添加到源代码管理,如果你的VS没有安装git,会提示安装,安装完成之后,在团队资源管理可以看到如下界面 (图一) 2.安装gitflow,vs-工具-扩展和更新,联机选项卡中输入gitflow,,就可以下载安装gitflow了 (图二) 3.去你的git上创建一个project,拿到地址例如:http://git.test.cn/test/Test.git 4.将本地代码同步到远程库当中,点击发布到远程存储库中的-发布到git存储库…

摘自:<MongoDB管理与开发精要>         性能优化 创建索引 限定返回结果条数 只查询使用到的字段,而不查询所有字段 采用capped collection 采用Server Side Code Execution Hint 采用Profiling     Sharding 分片     Replica Sets + Sharding…

主要内容: 1. ElasticSearch介绍与使用2. kibana介绍与使用 1. ElasticSearch安装 详见上节内容2. kibana安装 (1) 下载ES,下载地址:https://www.elastic.co/start(2)解压缩(3)启动kibana, ./bin/kibana.bat(4)在浏览器中访问: http://localhost:5601         Username: elastic Passwd: changeme 3. nginx安装 (1)下载n…

[青橙商城-管理后台开发]3. web模块搭建 1.创建qingcheng_web_manager模块 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xs…

一.简介 为了开发调试方便,本文介绍在Eclipse下搭建开发环境,连接和提交任务到Hadoop集群. 二.安装前准备: 1)Eclipse:Luna 4.4.1 2)eclipse插件:hadoop-eclipse-plugin-2.5.2.jar 3)hadoop版本:hadoop-2.5.2.tar.gz 三.环境搭建 1.安装eclipse 2.安装插件 将插件hadoop-eclipse-plugin-2.5.2.jar,下载后放到eclipse/plugins目录即可 3.配置had…

分支管理 git branch 命令不只是可以创建与删除分支. 如果不加任何参数运行它,会得到当前所有分支的一个列表: 注意 master 分支前的 * 字符:它代表现在检出的那一个分支(也就是说,当前 HEAD 指针所指向的分支). git branch -v 命令:可以 查看每一个分支的最后一次提交:      git branch --merged 查看哪些分支已经合并到当前分支 :      git branch --no-merged 查看所有包含未合并工作的分支 : git bran…

  ==========第一篇:Scala编程语言========= 一.Scala语言基础 1.Scala语言简介 Scala是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性.Scala运行于Java平台(Java虚拟机),并兼容现有的Java程序.它也能运行于CLDC配置的Java ME中.目前还有另一.NET平台的实现,不过该版本更新有些滞后.Scala的编译模型(独立编译,动态类加载)与Java和C#一样,所以Scala代码可以调用Java类库(对于.NET…

上一篇在win7虚拟机下搭建了hadoop2.6.0伪分布式环境.为了开发调试方便,本文介绍在eclipse下搭建开发环境,连接和提交任务到hadoop集群. 1. 环境 Eclipse版本Luna 4.4.1 安装插件hadoop-eclipse-plugin-2.6.0.jar,下载后放到eclipse/plugins目录即可. 2. 配置插件 2.1 配置hadoop主目录 解压缩hadoop-2.6.0.tar.gz到C:\Downloads\hadoop-2.6.0,在eclipse的…

一.前言 环境: 系统:centos6.5 hadoop版本:Apache hadoop2.7.3(Windows和centos都是同一个) eclipse版本:4.2.0(juno版本,windows) ant版本:ant 1.7.1(windows) java版本:1.8.0_05(windows) 我是在虚拟机中安装的系统,具体的安装和配置参考:Hadoop单机伪分布部署. 二.制作插件 1. 下载hadoop2x-eclipse-plugin-master.zip 在github下载:h…