最近在研究数据挖掘相关的东西,在本地 Mac 环境搭建了一套伪分布式的 hadoop 开发环境,采用CDH发行版本,省时省心. 参考来源 How-to: Install CDH on Mac OSX 10.9 Mavericks 官网这篇文章有的地方格式不对,部分链接也失效,运行时还会有一些问题,所以这里重新记录如下. 安装 JDK JDK 1.8 下载地址 安装完成后路径应该是 /Library/Java/JavaVirtualMachines/jdk1.8.x_xx.jdk/Contents…

mac OS 系统太帅了,安装php的环境如此简单,大赞一个! 转载自http://jingyan.baidu.com/article/39810a23e1939fb636fda6a9.html 在Mac OS X上搭建Apache.PHP.MySQL的Web服务器开发环境. 工具/原料 Mac OS X 10.10 HomeBrew软件 方法/步骤   1. 如何开启Apache服务器? 开启Web服务器的方法有两种: 一种是:打开“系统设置偏好(System Preferences)” ->…

PhoneGAP是一个可以将web应用打包成移动应用的开源框架,使用它可以迅速的将HTML.CSS和JavaScript开发的web应用打包成跨平台的移动应用程序,而Apache Cordova是PhoneGap贡献给Apache后的开源项目,是从PhoneGap中抽出的核心代码,是驱动PhoneGap的核心引擎.下面介绍如何在windows上搭建PhoneGAP(crodova)的开发环境. 准备材料 JDK nodejs Android SDK 集成了ADT的eclipse Gradle 方…

前言 老师布置了一道题需要用到图形界面,于是开始找图形库.最后选择了gtk+图形库,然后折腾了大概一天. 这里记录自己新学到的知识,同时也给后来者一些便利. 准备 下载以下内容 notepad++(由于官网访问较慢,建议使用其他渠道) mingw(包含msys和gcc工具链) gtk+bundle(2.x或3.x都可以,这里提供3.x.若连接失效,请自行搜索下载) 安装 notepad++的安装就是普通安装,这里不做介绍. 运行mingw-get-setup.exe,选择一个安装目录(这里以c:…

1. maven设置 除了阿里云库,还需要引入 cdh, spring库.需要修改maven下面的配置文件setting.xml, 参考下面设置. <mirror> <!--This sends everything else to /public --> <id>nexus-aliyun</id> <mirrorOf>*,!cloudera,!spring-releases</mirrorOf> <name>Nexus…

CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步:上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/ 第二步:查看Hadoop支持的压缩方式以及本地库 cd /export/servers/hadoop-2.6.0-cdh5.14.0 bin/hadoop checknative 在第一台机执行,如果出现openssl为false,执行 yum -y insta…

在Mac OS X Yosemite 10.10.3 中搭建第一个 ASP.NET 5 Web 项目 终于有时间在 Mac 上安装一下 ASP.NET 5,网上有许多教程,但是多数的时间比较早了,版本不是最新,搭着 Build 2015 的春风,我也实践一下 Mac OS X 上的 ASP.NET 5. 经常使用 Windows 8.1,对 Mac 并不太熟悉,也一并把安装中的问题趟一遍. 前几天刚刚更新了 Mac 的操作系统,操作系统版本 Mac OS X Yosemite 10.10.3.…

运行ASP.NET程序的三要素: 1) CLR(.NET运行时) 2) KRE(ASP.NET运行时) 3) Web服务器 所以在Mac OS X上运行ASP.NET程序,就需要对应这三要素的东西: 1) CLR - Mono(目前只有Mono可以用,以后可以用Core CLRE) 2) KRE - KRE-Mono(基于Mono的KRE) 3)Web服务器 - Kestrel 接着,用下面的4个命令将这三样东西安装上即可: brew tap aspnet/k brew install kvm…

前言 前面只是大概介绍了一下Hadoop,现在就开始搭建集群了.我们下尝试一下搭建一个最简单的集群.之后为什么要这样搭建会慢慢的分享,先要看一下效果吧! 一.Hadoop的三种运行模式(启动模式) 1.1.单机模式(独立模式)(Local或Standalone  Mode) -默认情况下,Hadoop即处于该模式,用于开发和调式. -不对配置文件进行修改. -使用本地文件系统,而不是分布式文件系统. -Hadoop不会启动NameNode.DataNode.JobTracker.TaskTrac…

目录: Hadoop三种安装模式 搭建伪分布式集群准备条件 第一部分 安装前部署 1.查看虚拟机版本2.查看IP地址3.修改主机名为hadoop4.修改 /etc/hosts5.关闭防火墙6.关闭SELINUX7.安装yum源并安装基础包8.关闭不必要的服务9.安装Java环境 第二部分 Hadoop正式安装 1.安装Hadoop2.修改hadoop的5个配置文件3.解决互信问题 第三部分 启动Hadoop集群 1.格式化NameNode2.启动Hadoop集群3.验证集群是否启动成功4.关闭h…