用java代码调用shell脚本执行sqoop将hive表中数据导出到mysql

1:创建shell脚本 touch sqoop_options.sh chmod 777 sqoop_options.sh 编辑文件特地将执行map的个数设置为变量测试可以java代码传参数同时也验证sqoop的 options 属性支持这种写法 #!/bin/bash /opt/cdh-5.3.6/sqoop-1.4.5-cdh5.3.6/bin/sqoop --options-file /opt/cdh-5.3.6/sqoop-1.4.5-cdh5.3.6/sqoop-impor…

Java代码调用Shell脚本并传入参数实现DB2数据库表导出到文件

本文通过Java代码调用Shell脚本并传入参数实现DB2数据库表导出到文件,代码如下: import java.io.File; import java.io.IOException; import java.io.InputStreamReader; import java.io.LineNumberReader; import java.util.HashMap; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import…

（MySQL里的数据）通过Sqoop Import Hive 里和通过Sqoop Export Hive 里的数据到（MySQL）

Sqoop 可以与Hive系统结合,实现数据的导入和导出,用户需要在 sqoop-env.sh 中添加HIVE_HOME的环境变量. 具体,见我的如下博客: hadoop2.6.0(单节点)下Sqoop-1.4.6安装与配置(数据读取涉及hadoop.hbase和hive) hadoop2.2.0(单节点)下Sqoop-1.4.6安装与配置(数据读取涉及hadoop.hbase和hive) 前期工作 (MySQL里的数据)通过Sqoop Import HDFS 里和通过Sqoop Expor…

Java如何调用shell脚本的

有些时候会碰到这样的场景:java的功能里面要嵌入一个功能点,这个功能是通过是shell脚本实现的.这种时候就需要Java对脚本调用的支持了. 测试环境 Ubuntu16.04 i3-6100,12GB Hello World 来看一个基本的例子 Process exec = Runtime.getRuntime().exec(new String[] { "uname" ,"-a"}); exec.waitFor(); BufferedReader reader…

通过ant调用shell脚本执行adb命令

在Hudson或者Jenkins中利用ant的exec 来调用shell命令,通过shell脚本来执行adb shell命令,可以正常执行,不会出现在ant中直接调用adb shell出现的假死情况. 其中shell 脚本也很简单 #!/bin/sh adb root adb shell /system/data/lib adb shell ./system/data/lib/helloworld 可以执行手机端中的程序进行测试.…

利用jmeter发起java请求调用shell脚本

1.创建maven项目在pom文件中加入依赖: 2.在路径src/main/java下创建类,如类名shellclass 3. 创建jmeter调用类,如jmtershell,完成jmetershell编写后导出成jar包. 3. 将shelljmeter.jar放入jmeter安装路径\lib\ext目录下:将依赖的maven包ganymed-ssh2-210-huson-1.jar放入jmet…

java调用shell脚本执行操作

//定时清空日志 String shellString = "sh /home/jyapp/delete_log.sh"; Process process = Runtime.getRuntime().exec(shellString); int exitValue = process.waitFor(); if (0 != exitValue) { logger.error("call shell failed. error code is :" + exitV…

Java 调用 shell 脚本详解

这一年的项目中,有大量的场景需要Java 进程调用 Linux的bash shell 脚本实现相关功能. 从之前的项目中拷贝的相关模块和网上的例子来看,有个别的“陷阱”造成调用shell 脚本在某些特殊的场景下,有一些奇奇怪怪的bug. 大家且听我一一道来. 先看看网上搜索到的例子: package someTest; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamRead…

python调用shell脚本时需要切换目录

最近遇到了一个问题,就是python代码调用shell脚本时,发现输入输出的文件,总是和自己预想的有偏差,但是单独在linux下执行命令的时候,却没有错误.后来发现是相对路径的问题,因为执行python文件的时候,会有一个工作目录,而执行shell脚本的时候,又会有一个工作目录,这样就很容易混淆.最好的办法:在执行shell脚本时,将目录切换到shell脚本下: cmd = '/home/usr/asdasd/' os.system(cmd) 这样问题就解决了.…

Java代码调用服务器上的Shell脚本

Java代码调用服务器上的Shell脚本这里主要是因为我们报表平台有用到用户手工录入的数据作为结果数据且需要纳入saiku去展示如我们所知,saiku不会自动刷新,所以需要在数据更新接口中调用服务器上的shell脚本话不多说,上代码: (直接使用Eclipse, run Java Application ,执行成功后脚本中的输出内容会打印到控制台) package saikuDemo1; import ch.ethz.ssh2.Connection; import ch.ethz.ssh…

[转载]JAVA调用Shell脚本

FROM:http://blog.csdn.net/jj12345jj198999/article/details/11891701 在实际项目中,JAVA有时候需要调用C写出来的东西,除了JNI以外,我认为一种比较好的方法是JAVA调用Shell.先把C写出来的make成可执行文件,然后再写一个shell脚本执行该可执行文件,最后是JAVA调用该shell脚本. JAVA调用很简单,例子如下: 首先是shell脚本 #!/bin/sh echo Begin word cluster /home…

java调用shell脚本小demo

复制指定文件cpp.sh: [root@localhost soft]# vim cpp.sh#!/bin/bash name="$1"\cp /home/soft/test/${name} /opt/echo "co ok"~~ java: public class YY { public static void main(String[] args) throws IOException { System.out.println("java linux…

AJPFX编写cmd界面下一键编译、执行java代码的bat脚本

此脚本适合刚接触java的同学,在cmd界面下用jc取代复杂的 javac *.java + java main使用说明:把脚本内容复制到txt文本中,修改后缀名为.bat,运行一次即可完成配置,以后在cmd界面下输入 jc 即可完成编译+执行功能:1.将当前目录下的java文件编译并执行如遇多个主函数的java文件是,会提示并选择执行bat代码如下, @echo off if not exist %SystemRoot%\system32\choice.exe echo 抱歉,系统缺少程序…

Android应用程序如何调用shell脚本（一）

转自: Android应用程序如何调用shell脚本(一) 一般来说, Android 下的应用程序可以“直接”得到的最大的权限为 system ,但是如果我们需要在程序中执行某些需要 root 权限的命令,就需要 root 权限了.按照 Simon 的文章中提到的,应用程序有以下两种办法临时获得 root 权限: 1) 在 init.rc 实现一个 Service ,来帮助 Android 应用程序执行 root 权限的命令. 2) 实现一个虚拟设备,这个设备帮助 …

Spring Boot 实现看门狗功能 (调用 Shell 脚本)

需要实现看门狗功能,定时检测另外一个程序是否在运行,使用 crontab 仅可以实现检测程序是否正在运行,无法做到扩展,如:手动重启.程序升级(如果只需要实现自动升级功能可以使用 inotify)等功能:最后决定使用 Spring Boot 调用 Shell 脚本来实现一.脚本 1.1 启动脚本 #!/bin/bash ps -ef | grep "demo-app-0.0.1-SNAPSHOT.jar" | grep -v "grep" if [ "$…

调用shell脚本，IP处理

//调用shell脚本,IP处理 package com.letv.sdns.web.utils; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.stereotype.Service; import javax.net.ssl.HostnameVerifier; import javax.net.ssl.HttpsURLConnection; import javax.net…

C程序调用shell脚本共有三种方法

C程序调用shell脚本共有三种法子 :system().popen().exec系列函数call_exec1.c ,内容为:system() 不用你自己去产生进程,它已经封装了,直接加入自己的命令exec 需要你自己 fork 进程,然后exec 自己的命令popen() 也可以实现执行你的命令,比system 开销小 1.system(执行shell 命令) 相关函数 fork,execve,waitpid,popen表头文件 #include<stdlib.h>定义函数 int syst…

python调用shell脚本

# coding=utf-8 //设置文本格式import os //导入os方法print('hello')n=os.system('/home/csliyb/kjqy_xcy/bdse-tour-dp-2.1/bin/test.sh') //调用shell脚本print '执行完毕'…

Java代码调用Oracle的存储过程,存储函数和包

Java代码调用存储过程和存储函数要使用CallableStatement接口查看API文档: 上代码: java代码调用如下的存储过程和函数: 查询某个员工的姓名月薪职位 create or replace procedure queryEmpinfo(eno in number, pename out varchar2, psal out number, pjob out varchar2) as begin select ename,sal,empjob into pename,p…

Jmeter自定义编写Java代码调用socket通信

一.前言最近需要测试一款手机游戏的性能,找不到啥录制脚本的工具,然后,另外想办法.性能测试实际上就是对服务器的承载能力的测试,和各种类型的手机客户端没有啥多大关系,手机再好,服务器负载不了,也不能够运行,依照这个思路,测试该手游的性能就化为对服务器的性能测试,也就是服务器和手机客户端所联系的接口的测试. 如果是可以用HTTP调用的,那样很好解决,直接带上地址参数就OK,开始一两个很顺利,设计参数化了一下数据就很顺利的解决,然后,遇到了一个切换场景的接口,用的是socket通信,再用上述方法貌似…

Centos下使用php调用shell脚本

我们在实际项目中或许会遇到php调用shell脚本的需求.下面就用简单案例在Centos环境下实践准备查看php.ini中配置是否打开安全模式 //php.ini safe_mode = //这个如果为off下面两个就不用管了.我用的是php7,默认没有当前配置项 disable_functions = safe_mode_exec_dir= 因为safe_mode配置项默认没有,那么我修改了php.ini中的disable_function选项,把其中一个被禁用的函数去掉,去掉[passt…

Python 调用 Shell脚本的方法

Python 调用 Shell脚本的方法 1．os模块的popen方法通过 os.popen() 返回的是 file read 的对象,对其进行读取 read() 的操作可以看到执行的输出. >>> os.popen('date -u |wc') <open file 'date -u |wc', mode 'r' at 0x7f9539eb34b0> >>> os.popen('date -u |wc').read() ' 1 6 43\n' 2.利用c…

java代码调用数据库存储过程

由于前边有写java代码调用数据库,感觉应该把java调用存储过程也写一下,所以笔者补充该篇! package testSpring; import java.sql.CallableStatement; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import oracle.jdbc.OracleTypes; public class Test1 { public s…