最近一年在实验室做web后端开发,涉及到一些和服务器搭建及部署上线项目的相关经验,写个帖子和小伙伴们分享,一同进步! 首先谈一下,为什么越来越多中小型公司/实验室,部署项目的趋势都是在云服务器而不是普通服务器群(学校网络中心的大机房)个人认为原因有二: 1.敏捷性:申请并部署一台云服务器,阿里云只要五分钟以内,但是如果使用物理服务器,采购,安装,配置,调试,后期需要升级配置需要再采购...时间才是最大的成本: 2.扩展灵活:不用热插拔情况下能完成即时升降配,后期如果项目停止,可以立即停租阿里云,…

原文地址:http://www.linuxidc.com/Linux/2014-11/109200.htm 图文详解Windows 8.0上Eclipse 4.4.0 配置CentOS 6.5 上的Hadoop2.2.0开发环境,给需要的朋友参考学习. Eclipse的Hadoop插件下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin 将下载的压缩包解压,将hadoop-eclipse-kepler-plugin-2.2.0这个jar包扔…

Hadoop开发环境搭建 感谢参考网站:http://www.cnblogs.com/huligong1234/p/4137133.html 一.软件准备 JDK:jdk-7u80-windows-x64.exe http://www.oracle.com/technetwork/java/javase/archive-139210.html Eclipse:eclipse-jee-mars-2-win32-x86_64.zip http://www.eclipse.org/downloads/…

一.背景 本文简单记录一下,在mac arm 架构下使用 Vmware Fusion虚拟机下Centos7下如何配置静态ip地址.如果使用dhcp静态ip地址的动态分配,那么可能ip地址会发生变化,因此需要使用静态ip地址. 二.实现功能 虚拟机内部使用静态ip地址. 虚拟机可以访问到外部网络. 三.实现步骤 1.设置虚拟机的网络为nat 2.修改虚拟机的网络适配器网络 3.配置静态ip 配置静态ip我们知道一般需要配置如下3个参数. ip地址:IPADDR.子网掩码:NETMASK和网关:GA…

先安装并启动hadoop,怎么弄见上文http://www.cnblogs.com/wuxun1997/p/6847950.html.这里说下怎么设置IDE来开发hadoop代码和调试.首先要确保你本地装了eclipse,再下个eclipse的hadoop插件就完事了.下面细说一下: 1.到http://download.csdn.net/detail/wuxun1997/9841487下载eclipse插件并丢到eclipse的pulgin目录下,重启eclipse,Project Explo…

一.下载安装Python2.7和Python3.6 安装包下载地址:https://www.python.org/downloads/ 二.配置系统环境变量 在环境变量中添加 1.安装目录\Python27 2.安装目录\Python27\Scripts 3.安装目录\Python36 4.安装目录\Python36\Scripts 三.在安装目录中修改可执行文件 找到python2和python3的安装目录,修改python2.7和python3.6中python.exe和pythonw.ex…

编译环境: OS:RHEL 6.3 x64 Maven:3.2.1 Eclipse:Juno SR2 Linux x64 libprotoc:2.5.0 JDK:1.7.0_51 x64 步骤: 1. 下载Hadoop2.2.0源码包  http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz 2. 解压缩到Eclipse的workspace中.这里最好解压缩到workspace中,编译完…

准备: 确保hadoop2.2.0集群正常执行 1.eclipse中建立javaproject,导入hadoop2.2.0相关jar包 2.在src根文件夹下拷入log4j.properties,通过log4j查看具体日志 log4j.rootLogger=debug, stdout, R log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.Pat…

最近在学习搭建Hadoop, 我们从Apache官方网站直接下载最新版本Hadoop2.2.官方目前是提供了linux32位系统可执行文件,结果运行时发现提示 “libhadoop.so.1.0.0 which might have disabled stack guard” 的警告. Google了一下发现是因为 hadoop 2.2.0提供的是libhadoop.so库是32位的,而我们的机器是64位. 解决的办法就是重新在64位的机器上编译hadoop. 编译环境 OS: Ubuntu 1…

1下载hadoop 2安装3个虚拟机并实现ssh免密码登录 2.1安装3个机器 2.2检查机器名称 2.3修改/etc/hosts文件 2.4 给3个机器生成秘钥文件 2.5 在hserver1上创建authorized_keys文件 2.6将authorized_keys文件复制到其他机器 2.7 测试使用ssh进行无密码登录 2.7.1在hserver1上进行测试 2.7.2在hserver2上进行测试 2.7.3在hserver3上进行测试 3安装jdk和hadoop 3.1安装JDK 3…