facebook atc介绍 Augmented Traffic Control(又名atc)是一种模拟网络状况的工具.由facebook开源,是一个允许开发人员控制设备与互联网连接的项目.atc可以模拟不同的网络条件,包括控制带宽,延迟,数据包丢失.数据包损坏.数据包重排序等几个因素都可以由atc来控制.atc运行在网关,可以控制连接到该网络的手机,设备的网络,atc有一个web界面,通过这个界面可以来切换不同的网络情况.atc内部使用了iptables和tc,因此只支持linux平台. 下面

工具简介 ATC是FaceBook开源的移动网络测试工具Augmented Traffic Control(ATC),能够方便的让我们模拟各种网络环境进行测试. ATC有两个最吸引人的特点: 在手机上通过Web界面就可以随时切换不同的网络环境. 多个手机可以连接到同一个WIFI下,相互之间模拟的网络环境各不影响. 搭建步骤 一.基础准备 1. 硬件准备 我这里用的是水星(Mercury)MW150U 150M无线USB网卡(别问为什么,要是你用别的网卡可以支持ap模式且有驱动也是可以的,我之前用

前言:       工作中需要同步日志到hdfs,以前是找运维用rsync做同步,现在一般是用flume同步数据到hdfs.以前为了工作简单看个flume的一些东西,今天下午有时间自己利用虚拟机搭建了flume环境,并简单做了几个练习.学习过程中还是比较顺利的,现在将学习的过程记录与此,供以后自己查阅,如果能帮助到其他人,自然是更好的. ===============================================================长长的分割线===========

前言:       上周末自己学习了一下Kafka,参考网上的文章,学习过程中还是比较顺利的,遇到的一些问题最终也都解决了,现在将学习的过程记录与此,供以后自己查阅,如果能帮助到其他人,自然是更好的. ===============================================================长长的分割线==================================================================== 正文: 关于Kafka

用了这么久的hadoop,只会使用streaming接口跑任务,各种调优还不熟练,自定义inputformat , outputformat, partitioner 还不会写,于是干脆从头开始,自己搭一个玩玩,也熟悉一下整体架构. 整体环境: 主机Win7 i5 4核 8G内存 笔记本: 虚拟机(客户机)采用Centos5.9 ( 用这个的原因是不想用图形界面,并且以后还想试着装一下ICE) 3台互联的虚拟机搭建Hadoop集群: 1. 选用virtualbox V4.2.18 + Cento

虚拟机搭建Zookeeper服务器集群完整笔记 本笔记主要记录自己搭建Zookeeper服务器的全过程,默认已经安装部署好Centos7. 一.虚拟机下Centos无法联网解决方案 1.首先调整虚拟机的网络适配器为NAT模式 2.设置虚拟机的"编辑"-->"虚拟网络编辑器"中的VMnet8的DHCP的设置两个选项都勾选上. 3.开启物理主机的VMware DHCP Service 和VMware NAT Service服务,命令 net start "

目标:主机是win10系统,虚拟机搭建CentOS,在主机上通过XShell连接操作. 第一步 主机上安装虚拟机 第二步 下载CentOS 下载地址http://101.110.118.69/isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-Everything-1611.iso 可以自己选择喜欢的版本下载. 第三步 在虚拟机在安装CentOS,因为比较简单就不详说了,主要说下后面的网络配置. 第四步 配置虚拟网络 1.右击虚

马士兵hadoop第一课:虚拟机搭建和安装hadoop及启动 马士兵hadoop第二课:hdfs集群集中管理和hadoop文件操作 马士兵hadoop第三课:java开发hdfs 马士兵hadoop第四课:Yarn和Map/Reduce配置启动和原理讲解 马士兵hadoop第五课:java开发Map/Reduce 马士兵hadoop第一课:虚拟机搭建和安装hadoop及启动 (一) 需要用到的软件 virtualbox redhat64(centos7) hadoop-2.7.3.jar jdk

安装包准备 操作系统:ubuntu-16.04.3-desktop-amd64.iso 软件包:VirtualBox 安装包:hadoop-3.0.0.tar.gz,jdk-8u161-linux-x64.tar.gz 1. 环境准备 使用VirtualBox和下载的ubuntu镜像文件新建三个Ubuntu操作环境,具体配置如下: 用户 内存(G) 磁盘空间(G) hadoop01 1.5 10 hadoop02 1.5 10 hadoop03 1.5 10 2. 网络环境准备        点

1.搭建linux虚拟机 具体参考 http://jingyan.baidu.com/article/86112f135e584a273697876b.html (如何在WIN7下进行LINUX虚拟机搭建) 下载软件地址: 1.VMware  自行百度下载 centos 6.5 正式版官方(32位+64位)下载 http://www.centoscn.com/CentosSoft/iso/2013/1205/2196.html 2.设置虚拟机网络 虚拟机安装后,我需要win7能够访问虚拟linu

马士兵hadoop第一课:虚拟机搭建和安装hadoop及启动 马士兵hadoop第二课:hdfs集群集中管理和hadoop文件操作 马士兵hadoop第三课:java开发hdfs 马士兵hadoop第四课:Yarn和Map/Reduce配置启动和原理讲解 马士兵hadoop第五课:java开发Map/Reduce (一) 需要用到的软件 virtualbox redhat64(centos7) hadoop-2.7.3.jar jdk8 xshell ftp(我用的是FlashFXP) 所需要的

最近家中Windows 10更新后抽风,最后不得不重装系统,原本配置好的开发环境全部要重装,也包括局域网搭建,但由于是家庭网络并非公司局域网,故旧文<使用VirtualBox虚拟机搭建局域网>不适用.相对于公司局域网,在家庭网络中搭建局域网简单得多,本文记录了此过程,局域网要求如下: 支持宿主机与虚拟机互连 支持虚拟机互连 1. 环境 宿主机OS: Windows 10 虚拟机: VirtualBox-5.1.26-117224-Win 虚拟机OS: ubuntu-15.10-server-i

参考资料: http://www.awaimai.com/995.html https://my.oschina.net/cofecafe1/blog/206535 最近公司局域网网络改造,在改造前已在个人电脑上创建了两个虚拟机实例并都采用桥接(Bridged Adapter)的方式接入局域网,改造完成后两台虚拟机网络情况不稳定(无法同时接入局域网且不绑定mac地址无法访问外网),于是换另一种思路搭建局域网,本文记录了此过程,局域网要求如下: 支持宿主机与虚拟机互连 支持虚拟机互连 本文不适用家

用三台虚拟机搭建Hadoop全分布集群 所有的软件都装在/home/software下 虚拟机系统:centos6.5 jdk版本:1.8.0_181 zookeeper版本:3.4.7 hadoop版本:2.7.1 1.安装jdk 准备好免安装压缩包放在/home/software下 cd /home/software tar -xvf jdk-8u181-linux-x64.tar.gz 配置环境变量 vim /etc/profile 末尾添加 export JAVA_HOME=/home/

MacOS上通过虚拟机搭建基础CentOS7系统环境 尽管从Mac的Terminal可以看出,macOS与UNIX.Linux或多或少都有血缘关系(shell.bash等),但是在mac进行Linux开发,或者把macOS直接当作Linux来使用依然是说不过去的,这其中包括一些命令行的使用,一些基本的文件夹体系等(如,在Linux上的/home目录与在macOS下的/Users)不一致.如果想要在macOS上进行Linux的学习,或者进行Linux开发,最完美的方案自然是安装虚拟机. 虚拟机的选

VM虚拟机搭建Linux CentOS7(手把手教程) 目录 VM虚拟机搭建Linux CentOS7(手把手教程) 一.VM虚拟机和Linux镜像文件下载 1. 登录VM虚拟机官方地址: 2. 安装VM虚拟机: 3.Linux镜像文件下载地址 二.安装Linux 1.打开虚拟机,点击创建 2.安装步骤进行安装 三.设置虚拟机 1.安装系统前设置 2.初始设置 3.切换终端模式 四.通过XShell连接虚拟机 1.查看虚拟网络编辑器(普通网卡配置) 2.设置虚拟机IP.DNS和主机名 3.查看网

用户的网络环境千姿百态,弱网的.高延时的.丢包的.常有用户反馈偶发bug,我们测试人员却始终无法复现,根据用户的描述,开发排查可能是网络不稳定导致的,所以急需建个弱网环境来测试. 弱网工具简介: Augmented Traffic Control(ATC)是Facebook的一款开源的移动网络模拟工具,能很方便的模拟2g,3g,4g,delay,loss等各种网络场景. 硬件准备: 我是搭建在本机的,所以需要用VM虚拟出一个Linux系统. 1.Ubuntu 16.04 LTS 2.USB无线网

前言:       前段时间自己参考网上的文章,梳理了一下基于分布式环境部署的业务系统在解决数据一致性问题上的方案,其中有一个方案是使用ZooKeeper,加之在大数据处理中,ZooKeeper确实起到协调服务的作用,所以利用周末休息时间,自己在虚拟机上简单搭建了一个ZooKeeper集群,学习了解一下. ===============================================================长长的分割线===========================

Linux是一套免费使用和自由传播的类Unix操作系统,非常适用于搭建网络服务器等,我本人日常工作时,是使用的LINUX和WIN7双操作系统,但每次更换系统总要关机重启很不方便,所以也在WIN7下搭建了LINUX虚拟机. 本篇经验,是以UBUNTU为例,不过您搭建其他版本的LINUX系统,比如CENTOS等,也都适用. 工具/原料   VMware Ubuntu镜像文件/光盘 一.安装VMware   1 以下这是您必备的文件: 1)ubuntu镜像文件,.iso文件: 2)VMware安装文件

由于工作需要,需要在LINUX环境搭建服务器,但是工作中使用的是MAC系统,只好用虚拟机来搭建LINUX服务器环境.下面记录介绍一下搭建步骤以供需要的人参考使用. 下载准备 虚拟机使用VMWare  下载地址:http://pan.baidu.com/s/1c0EwLck 因为工作需要,我使用的环境是Ubuntu 下载地址:http://pan.baidu.com/s/1dTihw 开发环境使用Nginx+php5+mysql 安装虚拟机VMWare 安装服务器环境Nginx+php+Mysql