安装Mahout之前,一定要把hadoop装好,hadoop的安装方法可以参考我的前一篇随笔,我安装的是hadoop2.7.0,具体方法在此不做介绍. 1.首先下载相应版本的Mahout: axel -n 10 http://archive.apache.org/dist/mahout/0.9/mahout-distribution-0.9.tar.gz 2.解压: tar -zxvf mahout-distribution-0.9.tar.gz 3.将文件转移至安装好的hadoop下: mv…

安装hadoop需要jdk依赖,我这里是用jdk8 jdk版本:jdk1.8.0_151 hadoop版本:hadoop-2.5.0-cdh5.3.6 hadoop下载地址:链接:https://pan.baidu.com/s/1qZNeVFm 密码:ciln jdk下载地址:链接:https://pan.baidu.com/s/1qZLddl6 密码:c9w3 一切准备好以后,开始安装 1.上传hadoop软件包和jdk软件包到Linux系统指定目录:/opt/softwares/cdh 2.…

一．实验目的 1. 掌握Linux虚拟机的安装方法. 2. 掌握Hadoop的伪分布式安装方法. 二．实验内容 (一)Linux基本操作命令 Linux常用基本命令包括: ls,cd,mkdir,rm,man,cat,ssh,yum,vim,vi等. (二)安装JDK Hadoop是Java实现的,运行在Java虚拟机上,安装JDK并设置JAVA环境变量. (三)配置各节点间无密码验证 Hadoop集群的启动需要通过SSH启动各从节点,需要配置各节点之间SSH无密码验证. (四)配置和启动Had…

查看IP地址,设为手动模式: 配置hadoop用户sudo权限 su切换到root身份,配置vim /etc/sudoers文件,加入 hadoop ALL=(root)NOPASSWD:ALL     配置/opt文件夹的属主 将/opt文件夹的属于由root:root改为hadoop sudo -R hadoop:hadoop /opt 关闭防火墙和禁用SELinux # service iptables stop # vim /etc/sysconfig/selinux 设置 SELINU…

目录 前文 hive3.1.2 安装及其配置(本地模式和远程模式) 1.下载hive包 2.修改其环境变量 3.MySQL配置 Centos7 MySQL安装步骤: 1.设置MySQL源 2.安装MySQL Community Server 3.启动MySQL服务 4.查找MySQL root密码 5.重置root密码 6.MySQL 服务加入开机启动项,并启动mysql进程 7.登录MySQL 8.配置mysql允许远程访问 9.附mysql常用命令: 4.将MySQL的JDBC驱动拷贝到Hi…

OLE DB访问接口"MICROSOFT.JET.OLEDB.4.0"配置为在单线程单位模式下运行,所以该访问接口无法用于分布式 数据库操作excel时遇到的以上问题的解决方法 解决方法: 我的环境:SQL Server 2008(64位)+windows2008r2(64位) 下载最新的驱动 原因:在64SQL Engine中已经不提供jet.oledb.4.0的驱动了 解决方法: 下载一个ACE.Oledb.12.0 for X64位的驱动,并把连接字符串Microsoft.jet…

Python虚拟环境的安装和配置-virtualenv与windows下多个python版本共存 windows下多个python版本共存 https://www.python.org/downloads/ 1.下载并安装python3.6版本与2.7版本 2.添加python3.6和2.7的环境变量 3.将python36目录下的python.exe重新命名为python3.exe 将python27目录下的python.exe重新命名为python2.exe 4.在命令行下分别输入pytho…

JMeter是一款非常不错的免费开源压力测试工具,越来越多的公司在使用.不过,在使用过程中可能会存在一些问题,比如:GUI模式非常消耗资源,单个客户端测试无法达到目标压力.而使用非 GUI 模式,即命令行模式运行JMeter测试脚本能够大大缩减所需要的系统资源,使用远程启动模式也可以像Loadrunner那样进行分布式测试.下面跟随小编一起来看看吧. 工具/原料   JMeter安装包 一台客户机 一台服务器 非GUI模式下运行JMeter   1 非GUI模式包括在Windows和Linux下…

(17)Avoid running sites in debug mode 招数17: 避免在调试模式下运行网站 When it comes to ASP.NET, one of the most common performance blunders I see on a regular basis is accidentally or intentionally running sites in debug mode. Language-level optimizations, such a…

MySQL-Front 出现“程序注册时间到期 程序将被限制模式下运行”解决方式 在用mysql-front的时候遇到显示:程序注册时间到期程序将被限制模式下运行.可以在“帮助”菜单下的点“登记”-->把以下的key复制试试,留下以后需要.注意:是整十行一起复制.     gNBpPFgyOw9Rwt/ozsnjgM7tJNo2bhaaAThangemMkaz2tQhq3/f7dZ7Vj29WeGHjuupj/AhYqymjAuokhYiX1T/fG+q1yR22PdcEP39dxU3ovEol…

当Case在本地运行成功,在Grid模式下运行失败时,我们需要在Grid模式下进行调试,同时登录远程的node去查看运行的情况. Hub是随机将case分配到某台node上运行的,怎样知道当前的case是运行在哪台node上呢? 可以通过这段代码获取node的信息: public void getComputerNameOfNode(WebDriver driver){ String hub = "SZAUTOTEST1"; int port = 4444; HttpClientBui…

docker 1.下载docker镜像 docker pull registry.cn-hangzhou.aliyuncs.com/kaibb/hadoop:latest 注:此镜像为阿里云个人上传镜像,比较符合目前我的需求,镜像为搭建好的hadoop环境,见https://dev.aliyun.com/detail.html?spm=5176.1972343.2.14.Q2Swxa&repoId=4030 2.运行docker镜像 docker run -itd --name hadoop -…

我的Hadoop版本是1.2.0,mysql版本是5.6.12. 先介绍一下嵌入式derby模式: 1.下载/解压 在hive官网上选择要下载的版本,我选择的版本是hive-0.10.0. 下载好解压到:/usr/local/hadoop,因为我的hadoop安装在了这个文件下 leefon@ubuntu:~/Download$ sudo .tar.gz -C /usr/local/hadoop leefon@ubuntu:~/Download$ cd /usr/local/hadoop 之后便…

docker+redis安装与配置 docker安装redis并且使用redis挂载的配置启动 1.拉取镜像 docker pull redis:3.2 2.准备准备挂载的目录和配置文件 首先在/docker_data/redis/data 创建好文件夹用于存放redis数据,这个文件夹位置也可以自己选. 然后在/docker_data/redis/ 创建好redis.conf文件.用户redis的配置.redis.conf可以从redis官网下载 然后启动的时候导入redis的配置文件,就可以…

ZooKeeper的定义用一句话就能说清:分布式服务框架 Zookeeper -- 管理分布式环境中的数据.下面从安装开始,对这个框架进行分析. 1.安装 1. 官网下载压缩包并解压到D:\Program Files (x86)\zookeeper-3.4.12 2. 在D:\Program Files (x86)\zookeeper-3.4.12目录下新建data和log文件夹 3. 复制conf目录下zoo_sample.cfg文件到同目录下,重命名为zoo.cfg(Zookeeper 在启…

一.jmeter压测 在线程组中设置好,然后添加http请求,t添加聚合报告查看压力测试结果,如图: 一般压测时间10-15分钟,如果是稳定性测试,一般n*12小时,这些并发用户一直在请求. tps:服务端每秒钟能处理的请求数. 响应时间:就是你从发出请求到服务端返回给你数据的时间. 二.jmeter操作数据库 在测试计划中添加mysql-connector-java-5.1.7-bin.jar 最后添加查看结果树.如果既要查询又要修改操作选择Callable Statement这个模式. 断言…

一.sublime Sublime Text 3是轻量级的,安装包很小,它的大部分功能是依靠丰富的插件实现的,而且占用资源少.目前主流版本是Sublime Text3,在官网就可以下载,http://www.sublimetext.com/3,进入官网,选择与自己电脑匹配的版本下载,下载完成后就一路点击next,直到完成安装即可.完成安装以后是英文界面,后面会介绍汉化版. 二.安装Package Control 安装Package Control自动安装,手动安装都可以.但是我不建议使用自动安装…

安装环境:Hadoop 1.2.0, Java 1.7.0_21 1.下载/解压 在hbase官网上选择自己要下的hbase版本,我选择的是hbase-0.94.8. 下载后解压到/usr/local/hadoop,因为我的hadoop装在这个目录下: leefon@ubuntu:~/Download$ .tar.gz -C /usr/local/hadoop leefon@ubuntu:~/Download$ cd /usr/local/hadoop 将解压好的文件夹更名为hbase(当然也可…

接下来将以傻瓜模式进行安装,跟着流程走,没错的~ 1.首先进入到apache官网https://www.apache.org/dist/jmeter/binaries下载Windows版本JMeter:(这里我以自己安装的版本为例) 2.接下来就是配置环境变量(这里以我自己安装的路径为例) 需要配置的第一个是:JMETER_HOME=D:\MyData\Administrator\Downloads\apache-jmeter-5.1.1   找到系统变量,在系统变量点新建,新建一个变量名为:J…

分布式原理 配置 详细过程 假设有三台虚拟机,1台master主机namenode,2台slave奴隶机datanode 所有机器都要配好jdk.Java环境变量.hadoop_env.sh里java路径改好 主机 Use the following: 先在解压的hadoop-2.6.0目录下创建data/tmp文件夹 etc/hadoop/core-site.xml: <configuration> <property> <name>fs.defaultFS</…

1.Hadoop中为什么要配置免密码登录 最近在学习Hadoop,在集群中,Hadoop控制脚本依赖SSH来执行针对整个集群的操作.例如,某个脚本能够终止并重启集群中的所有守护进程.所以,需要安装SSH,但是,SSH远程登陆的时候,需要密码验证,集群中数千台计算机,数千台计算机都需要手工输入密码,这是不太现实的,所以,就需要配置SSH无密码登录. 2.环境 Hadoop中有三个节点,分别是centosNameNode,centosDateNode1,centosDateNode2,我们现在要实现…

部署win服务时出现下面的问题: 在事件查看器中看到如下错误: 日志名称: Application来源: ***调度服务日期: 2014/5/21 12:53:21事件 ID: 0任务类别: 无级别: 错误关键字: 经典用户: 暂缺计算机: ams-webserver描述:Service cannot be started. Achievo.Utility.DataAccess.DbException: Attempt to load Oracle client libraries threw…

VMWare 12.5.2 CentOS 6.5 basic VMWare网卡配置选择Bridge方式 问题: 默认情况下ifconfig命令只能看到网络设备lo,看不到eth0,也没有分配合理的IP地址.(在最新的CentOS 7中ifconfig工具消失了,取而代之的是ip addr show) 分析: 使用ifconfig -a能看到eth0和lo,说明系统中还是存在eth0的,只是没有被激活.(CentOS 7中网卡默认是关闭状态,需要激活) 解决: vi /etc/sysconfig/…

没有安装readline相关的模块 yum install readline readline-devel 再重新变异安装python就可以了…

昨天终于改好了一个开源但是用起来有问题的串口调试助手,想把它打包一下以后在其他电脑上也可以用. 找了网上的一个教程打包后,在本机上可以正常使用,但是移植到另一台上就出现缺少xcb的提示. 上网搜资料倒腾了一番后,发现libqxcb.so链接文件出了一些问题,问题有点大,也意识到这一部分依赖的配置是有问题的. 于是重新搜索QT在Linux下的打包流程,发现了有一份教程比之前的教程多了一步用脚本给libqxcb.so寻找依赖库的操作,感觉找到了正解. 果然,这次没有再出现xcb的加载问题.感谢网络上…

1.通读http://spark.incubator.apache.org/docs/latest/spark-standalone.html 2.在每台机器上将spark安装到/opt/spark 3.在第一台机器上启动spark master. [root@jfp3-1 latest]# ./sbin/start-master.sh 在logs目录查看日志: [root@jfp3-1 latest]# tail -100f logs/spark-root-org.apache.spark.d…

我遇到的问题是:把edit secheme调到debug模式运行没有问题,然后调到release模式的时候报目录下没有libTuyoo.a 解决办法 把断开真机设备,用IOS device下release模式编译一遍,然后把真机插上,运行,就好了.…

Steps to run the SPLASH-2 Benchmarks on M5 in full system mode using the alpha ISA. This Guide is aimed at the M5 beginner. 1.下载gem5稳定版 Get M5 hg clone http://repo.m5sim.org/m5-stable 2.编译gem5 ALPHA Build M5 scons build/ALPHA_FS/m5.opt 3.下载全系统文件 Get…

原因是在代码中使用了dynamic关键字,导致release时.net native优化了代码造成元数据丢失 所以在代码中要尽量不用dynamic.…

32 bit: HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Internet Explorer\MAIN\FeatureControl\FEATURE_BROWSER_EMULATION Value Key: yourapplication.exe 64 bit: HKEY_LOCAL_MACHINE\SOFTWARE\Wow6432Node\Microsoft\Internet Explorer\MAIN\FeatureControl\FEATURE_BROWS…