#!/bin/bashrm ~/log.logecho "Please Input JobID:"read NAMEmap_log="/home/grid/hadoop-1.2.1/logs/userlogs/${NAME}/attempt_${NAME#*job_}_m_000000_0/stdout"red_log="/home/grid/hadoop-1.2.1/logs/userlogs/${NAME}/attempt_${NAME#*job_}_…

脚本内容: #!/usr/bin/expect set database [lindex $argv 0] set username [lindex $argv 1] set password [lindex $argv 2] set command [lindex $argv 3] spawn psql -U $username -d $database -c "$command" -W expect "Password: " send "$passwo…

出现这个问题, 我首先去找了一下几个问题: 1.文件是否是utf-8 2.上传到Linux中的hadoop, 在Linux下去查看是否乱码 3.上面都没有问题, 就去检查eclipse,将项目工程改成了utf-8, 发现不行 4.看了一下的介绍, 将eclipse的系统设置改成了uft-8, 就可以了 eclipse中UTF-8设置 1.windows->Preferences   打开"首选项"对话框: 2.然后,general->Workspace,右侧Text fil…

看文件信息 hadoop fsck /user/filename 更详细的 hadoop fsck /user/filename -files  -blocks -locations -racks   -files  文件分块信息, -blocks    在带-files参数后才显示block信息 -locations   在带-blocks参数后才显示block块所在datanode的具体IP位置, -racks       在带-files参数后显示机架位置…

1.打印进度条(待完善) #!/bin/sh printf -- 'Performing asynchronous action..'; DONE=; printf -- '...................'; ]; do printf -- $DONE ; let DONE++ done; printf -- ' DONE!\n'; 2.检查命令可用性 #!/bin/sh _=$(command -v docker); " ]; then printf -- 'You don\'t se…

如果你不能订阅一个应用的小工具,你需要将小工具一个一个的添加进来.针对网站不支持小工具订阅和你的应用和你的 Confluence 不能建立信任连接的情况,你就只能这样添加了. 首先你需要获得小工具的 URL,并将这个 URL 复制粘贴到你的文本记事本上. 获得 Atlassian 应用的小工具 URL 如果你的应用是一个其他的 Atlassian 应用: 一个小工具的 URL 指向了这个小工具的 XML 参数配置文件.一般来说一个小工具的 URL 看起来如下所示: http://example.…

做项目经常遇到需要开发Java应用,我喜欢用Jetty进行开发.部署,主要是由于Jetty的轻量级. Jetty 项目主页:http://www.eclipse.org/jetty/, 最新版9.30刚刚添加对 HTTP/2的支持. 但是Jetty在Windows下部署不是很方便,需要用命令行. 每次都要使用命令行,很是麻烦,于是我打算做一个Jetty的小工具,把命令行操作封装一下,可以在GUI中启动.停止Jetty,可以配置常用参数等. 完成之后的界面如下: 测试代码下载 编译好的可执行文件:…

在linux的脚本中,如果不对机器做其他的处理,不能实现在linux的机器上执行命令.为了解决这个问题,写了个小工具来解决这个问题. 后面的代码是利用java实现的可远程执行linux命令的小工具,代码中使用了jsch这个开源包. JSch 是SSH2的一个纯Java实现.它允许你连接到一个sshd 服务器,使用端口转发,X11转发,文件传输等等.jsch的jar,可从官网下载. import java.io.IOException; import java.io.InputStream; im…

1.提出问题 在上篇博文中,提到了为什么要配置ssh免密码登录,说是Hadoop控制脚本依赖SSH来执行针对整个集群的操作,那么Hadoop中控制脚本都是什么东西呢?具体是如何通过SSH来针对整个集群的操作?网上完全分布模式下Hadoop的搭建很多,可是看完后,真的了解吗?为什么要配置Hadoop下conf目录下的masters文件和slaves文件,masters文件里面主要记录的是什么东西,slaves文件中又记录的是什么东西,masters文件和slaves文件都有什么作用?好,我看到过一…

前言 使用Hadoop进行离线分析或者数据挖掘的工程师,经常会需要对Hadoop集群或者mapreduce作业进行性能调优.也许你知道通过浏览器访问http://master:18088/conf来查看配置信息,如下图所示: 但是当Linux工程师们只面对命令行时,如何查看呢?而且如果运维工程师根据集群状况及运行历史使用shell.Python.ruby等脚本写些运维代码,甚至动态调整集群参数时,该怎么办呢?性能调优的前提是需要能准确知道目前针对Hadoop集群或者mapreduce作业配置的参…