hadoop jar包 在hadoop安装目录下,找到share\hadoop目录,搜索jar,全选,然后在安装目录新建_jar文件夹,将所有的jar包拷进去 idea添加jar包 在Project Structure下,Libraries下添加jar包所在目录即可 使用maven管理jar包更方便,添加依赖就行了

1.下载mysql的rpm包,创建一个文件夹例如software来放置下面文件 可以通过wget下载具体的地址 (1)MySQL-server-5.6.10-1.rhel5.x86_64.rpm:MySQL服务器: (2)MySQL-client-5.6.10-1.rhel5.x86_64.rpm:MySQL客户端: (3)MySQL-devel-5.6.10-1.rhel5.x86_64.rpm:Mysql开发依赖包. 2.安装MySQL Server的rpm包 rpm -ivh MySQL-

一.下载TPC-H 下载地址:http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp .从这个页面中找到tpc-h,我下载的版本是v2.17.3.下载后会得到一个名为*-tpc-h-tool.zip的压缩包,使用unzip命令将压缩包解压并将解压后的文件夹重命名为tpch_2_17_3, 文件夹tpch_2_7_13结构如下图所示: 操作主要在文件夹dbgen下进行. 二.修改makefile.su

1. 解药hadoop包 1, C:\hadoop-2.7.2\share\hadoop  提取出所有的 jar 包, 到 _lib 文件夹下 2,将有含有source 名称的jar包 剪切出来 3,再 将含有 test名称的jar包剪切出来. 4, 留下剩余的jar包, 拷贝到eclipse 中的lib文件夹. 2, 在 项目底下,新建lib文件夹, 将jar包拷贝进去. 3,全选 lib 下的jar 包: 按住shift,点击第一个,不松开shift,点击最后一个 4  全选状态下右键 bu

1.准备工作 首先去官网下载好 apache-nutch-1.3-bin.zip 解压apache-nutch-1.3-bin.zip [pig@CentOs ]$ unzip   apache-nutch-1.3-bin.zip 解压后生成的文件夹 nutch-1.3 Apache官只有最近版本,没有1.3的了,我已将相关版本分享到 http://yunpan.cn/Q9LQVKuhBnSJ3 2.新建项目,导入jar包以及配置文件和插件 a.在eclipse中新建一个Java项目,取名 nu

原文链接:http://blog.chinaunix.net/uid-692788-id-2681136.htmlJAR包是Java中所特有一种压缩文档,其实大家就可以把它理解为.zip包.当然也是有区别的,JAR包中有一个META-INF\MANIFEST.MF文件,当你找成JAR包时,它会自动生成.JAR包是由JDK安装目录\bin\jar.exe命令生成的,当我们安装好JDK,设置好path路径,就可以正常使用jar.exe命令,它会用lib\tool.jar工具包中的类.这些细节就不用管

原文链接:http://blog.chinaunix.net/uid-692788-id-2681136.html JAR包是Java中所特有一种压缩文档,其实大家就可以把它理解为.zip包.当然也是有区别的,JAR包中有一个META-INF\MANIFEST.MF文件,当你找成JAR包时,它会自动生成.JAR包是由JDK安装目录\bin\jar.exe命令生成的,当我们安装好JDK,设置好path路径,就可以正常使用jar.exe命令,它会用lib\tool.jar工具包中的类.这些细节就不用

python有着强大的第三方库,数量很多且功能强大. 最原始的办法是在官网上下载压缩包,解压,然后运行setup.py来进行安装. 显然这种方法很繁琐,不方便.因此有了包管理工具. pip是一个包管理工具,可以用来安装,升级,卸载各种第三方库. 由于本人系统是linux,上面同时存在python2与python3,这在里需要安装pip3 在安装pip之前,最好进行如下操作:sudo apt install setuptools 安装完毕后,就可以安装第三方库了. 以安装requests库为例.

启动eclipse:打开windows->open perspective->other->map/reduce 可以看到map/reduce开发视图.设置Hadoop location. 打开windows->show view->other-> map/reduce Locations视图,在点击大象后[new Hadoop location]弹出的对话框(General tab)进行参数的添加: Location name: 任意 map/reduce maste

expdp和impdp expdp假设a用户的默认表空间是a,导出用户a所有数据: 如果是多实例 需要在命令行或终端手工指定实例 set ORACLE_SID=实例名 否则回报ORA-12560: TNS: 协议适配器错误 SQL> conn  / as sysdbaSQL> create directory dir as '/home/oracle/';SQL> grant read,write on directory dir to system; $expdp system/ora

1.修改配置文件 在 /etc/my.conf 中添加 local_infile=1 2.重启MySQL >service mysqld restart 3.登录数据库 登录时添加参数 --local-infile >mysql --local-infile -uroot -p 4.进入相应的数据库导入数据

mysql数据库的导出,导入 1. 导出数据库为sql文件 mysqldump 数据库名 -uroot -p > xxx.sql 导出数据表结构和数据 eg.   mysqldump cloudres -uroot -p > cloudres.sql 2. 导出为gz压缩文件 mysqldump 数据库名 -uroot -p | gzip > xxx.sql.gz 3. 导入sql文件 首先先在数据库中建一个同名的数据库,然后执行以下命令进行导入 mysql -uroot -p 数据库名

1,每天4点备份mysql数据: 2,为节省空间,删除超过3个月的所有备份数据: 3,删除超过7天的备份数据,保留3个月里的 10号 20号 30号的备份数据: mysqldump -u用戶名 -p密码 -d 数据库名 表名 > 脚本名; 导出整个数据库结构和数据 mysqldump -h localhost -uroot -p123456 database > dump.sql 导出单个数据表结构和数据 mysqldump -h localhost -uroot -p123456  data

在前面一篇文章中介绍了如果在完全分布式的环境下搭建Hadoop0.20.2,现在就再利用这个环境完成开发. 首先用hadoop这个用户登录linux系统(hadoop用户在前面一篇文章中创建的),然后下载eclipse的tar.gz包到/home/hadoop/这个目录下,直接解压缩,于是就会存在/home/hadoop/eclipse这个目录.在开发之前需要将hadoop0.20.2目录下面的一个jar复制到eclipse下面去.(注:在上一篇文章中我将hadoop0.20.2文件夹修改成了h

一.引言 在完成了Storm的环境配置之后,想着鼓捣一下Hadoop的安装,网上面的教程好多,但是没有一个特别切合的,所以在安装的过程中还是遇到了很多的麻烦,并且最后不断的查阅资料,终于解决了问题,感觉还是很好的,下面废话不多说,开始进入正题. 本机器的配置环境如下: Hadoop(2.7.1) Ubuntu Linux(64位系统) 下面分为几个步骤来详解配置过程. 二.安装ssh服务 进入shell命令,输入如下命令,查看是否已经安装好ssh服务,若没有,则使用如下命令进行安装: sudo

装好虚拟机+Linux.而且主机网络和虚拟机网络互通. 以及Linux上装好JDK 1:在Linux下输入命令vi /etc/profile 加入HADOOP_HOME export JAVA_HOME=/home/hadoop/export/jdk export HADOOP_HOME=/home/hadoop/export/hadoop export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin 2:改动hadoop/conf文件夹以下hadoop

1. 前提 部署全分布式环境,我们肯定不能在一台服务器上了,这里我用了7台服务器,在VMware上开了7个虚拟机,如下图所示: 我基本配置了一晚上才搞定,第一次配置一般都有错,这时候不妨去到hadoop的logs文件夹下查看日志,如果实在找不出来,索性把所有hadoop文件删掉,重新安装. hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA.YARN等.hadoop-2.4.1又增加了YARN HA 注意:apache提供的hadoop-2.4.1的安装包是在32位操作系

Hadoop的安装非常简单,可以在官网上下载到最近的几个版本,最好使用稳定版.本例在3台机器集群安装.hadoop版本如下: 工具/原料 hadoop-0.20.2.tar.gz Ubuntu12.10 安装步骤: 1 安装ubuntu Ubuntu12.10交换空间4G(内存2G).具体安装过程不赘述. 用户名统一为:hadoop: 组群:hadoop: 机器名:namenode(主节点),datanode1(从节点1),datanode2(从节点2). 2 在Ubuntu下创建hadoop用

最近在搞一个shell脚本启动jar文件个关闭jar文件的东东.搞得我都蛋疼了.今天晚上终于弄好了 话说,小弟的linux只是刚入门,经过各方查资料终于搞定了.话不多说,下面开始上小弟写的shell脚本 #!/bin/bash #description: 启动重启server服务 #端口号,根据此端口号确定PID PORT= #启动命令所在目录 HOME='/usr/etc/server/java/server' #查询出监听了PORT端口TCP协议的程序 pid=`netstat -anp|g

Linux 运行jar包命令如下: 方式一: java -jar XXX.jar 特点:当前ssh窗口被锁定,可按CTRL + C打断程序运行,或直接关闭窗口,程序退出 那如何让窗口不锁定? 方式二 java -jar XXX.jar & &代表在后台运行. 特定:当前ssh窗口不被锁定,但是当窗口关闭时,程序中止运行. 继续改进,如何让窗口关闭时,程序仍然运行? 方式三 nohup java -jar XXX.jar & nohup 意思是不挂断运行命令,当账户退出或终端关闭时,