背景

是这样的,最近在研究一个定时任务系统的改造,可能有点像jenkins做到的那种吧。

可以输入shell命令,也可以执行py脚本等等,相比之前来说,也要能够及时停止!

但是遇到了这么个问题,golang执行py脚本的时候获取不到脚本的输出。

首先来看看go里面怎么运行shell脚本吧,我比较喜欢执行全部命令。

普通用法(一次性获取所有输出)

package main

import (
"fmt"
"os/exec"
) func main() {
Command("ls")
} // 这里为了简化,我省去了stderr和其他信息
func Command(cmd string) error {
c := exec.Command("bash", "-c", cmd)
// 此处是windows版本
// c := exec.Command("cmd", "/C", cmd)
output, err := c.CombinedOutput()
fmt.Println(string(output))
return err
}

可以看到,当前命令执行的是输出当前目录下的文件/文件夹

实时显示

效果图:

package main

import (
"bufio"
"fmt"
"io"
"os/exec"
"sync"
) func main() {
// 执行ping baidu的命令, 命令不会结束
Command("ping www.baidu.com") } func Command(cmd string) error {
//c := exec.Command("cmd", "/C", cmd) // windows
c := exec.Command("bash", "-c", cmd) // mac or linux
stdout, err := c.StdoutPipe()
if err != nil {
return err
}
var wg sync.WaitGroup
wg.Add(1)
go func() {
defer wg.Done()
reader := bufio.NewReader(stdout)
for {
readString, err := reader.ReadString('\n')
if err != nil || err == io.EOF {
return
}
fmt.Print(readString)
}
}()
err = c.Start()
wg.Wait()
return err
}

可关闭+实时输出

package main

import (
"bufio"
"context"
"fmt"
"io"
"os/exec"
"sync"
"time"
) func main() {
ctx, cancel := context.WithCancel(context.Background())
go func(cancelFunc context.CancelFunc) {
time.Sleep(3 * time.Second)
cancelFunc()
}(cancel)
Command(ctx, "ping www.baidu.com")
} func Command(ctx context.Context, cmd string) error {
// c := exec.CommandContext(ctx, "cmd", "/C", cmd)
c := exec.CommandContext(ctx, "bash", "-c", cmd) // mac linux
stdout, err := c.StdoutPipe()
if err != nil {
return err
}
var wg sync.WaitGroup
wg.Add(1)
go func(wg *sync.WaitGroup) {
defer wg.Done()
reader := bufio.NewReader(stdout)
for {
// 其实这段去掉程序也会正常运行,只是我们就不知道到底什么时候Command被停止了,而且如果我们需要实时给web端展示输出的话,这里可以作为依据 取消展示
select {
// 检测到ctx.Done()之后停止读取
case <-ctx.Done():
if ctx.Err() != nil {
fmt.Printf("程序出现错误: %q", ctx.Err())
} else {
fmt.Println("程序被终止")
}
return
default:
readString, err := reader.ReadString('\n')
if err != nil || err == io.EOF {
return
}
fmt.Print(readString)
}
}
}(&wg)
err = c.Start()
wg.Wait()
return err
}

效果图:

可以看到输出了3次(1秒1次)之后程序就被终止了,确切的说是读取输出流的循环结束了。

执行Python脚本(阻塞)

其实很简单,只要python -u xxx.py这样执行就可以了, -u参数

简单的说就是python的输出是有缓存的,-u会强制往标准流输出,当Python脚本阻塞的时候

也不会拿不到输出!

其他

"bash" 和"-c",据我的观察,这2个参数代表在当前cmd窗口执行,而不加这2个参数,直接上shell的话,会启动一个新窗口,目前观察是stdout拿不到数据。

仍有缺陷

上面的命令可以解决大部分问题,但是获取不到stderr的信息,所以我们需要改造一下。

下面是输出和错误一并输出的实时读取,类似于jenkins那种。
package main

import (
"bufio"
"context"
"fmt"
"io"
"os/exec"
"sync"
"time"
) func main() {
ctx, cancel := context.WithCancel(context.Background())
go func(cancelFunc context.CancelFunc) {
time.Sleep(3 * time.Second)
cancelFunc()
}(cancel)
Command(ctx, "ping www.baidu.com")
} func read(ctx context.Context, wg *sync.WaitGroup, std io.ReadCloser) {
reader := bufio.NewReader(std)
defer wg.Done()
for {
select {
case <-ctx.Done():
return
default:
readString, err := reader.ReadString('\n')
if err != nil || err == io.EOF {
return
}
fmt.Print(readString)
}
}
} func Command(ctx context.Context, cmd string) error {
//c := exec.CommandContext(ctx, "cmd", "/C", cmd) // windows
c := exec.CommandContext(ctx, "bash", "-c", cmd) // mac linux
stdout, err := c.StdoutPipe()
if err != nil {
return err
}
stderr, err := c.StderrPipe()
if err != nil {
return err
}
var wg sync.WaitGroup
// 因为有2个任务, 一个需要读取stderr 另一个需要读取stdout
wg.Add(2)
go read(ctx, &wg, stderr)
go read(ctx, &wg, stdout)
// 这里一定要用start,而不是run 详情请看下面的图
err = c.Start()
// 等待任务结束
wg.Wait()
return err
}

windows输出乱码问题

参考资料: https://blog.csdn.net/rznice/article/details/88122923

最后给一个解决windows乱码的完整案例

 需要下载golang.org/x/text/encoding/simplifiedchinese
package main

import (
"bufio"
"fmt"
"io"
"os/exec"
"sync"
"golang.org/x/text/encoding/simplifiedchinese"
) type Charset string const (
UTF8 = Charset("UTF-8")
GB18030 = Charset("GB18030")
) func main() {
// 执行ping baidu的命令, 命令不会结束
Command("ping www.baidu.com") } func Command(cmd string) error {
//c := exec.Command("cmd", "/C", cmd) // windows
c := exec.Command("bash", "-c", cmd) // mac or linux
stdout, err := c.StdoutPipe()
if err != nil {
return err
}
var wg sync.WaitGroup
wg.Add(1)
go func() {
defer wg.Done()
reader := bufio.NewReader(stdout)
for {
readString, err := reader.ReadString('\n')
if err != nil || err == io.EOF {
return
}
byte2String := ConvertByte2String([]byte(readString), "GB18030")
fmt.Print(byte2String)
}
}()
err = c.Start()
wg.Wait()
return err
} func ConvertByte2String(byte []byte, charset Charset) string {
var str string
switch charset {
case GB18030:
var decodeBytes, _ = simplifiedchinese.GB18030.NewDecoder().Bytes(byte)
str = string(decodeBytes)
case UTF8:
fallthrough
default:
str = string(byte)
}
return str
}

golang调用shell命令(实时输出, 终止等)的更多相关文章

  1. python 调用 shell 命令方法

    python调用shell命令方法 1.os.system(cmd) 缺点:不能获取返回值 2.os.popen(cmd) 要得到命令的输出内容,只需再调用下read()或readlines()等   ...

  2. Awk中调用shell命令

    Awk中调用shell命令 需求 在awk中,有时候需要调用linux系统中命令,如计算字符串的MD5值,并保存下来. 方法参考 call a shell command from inside aw ...

  3. 【转载】如何在C语言中调用shell命令

    转载自:http://blog.csdn.net/chdhust/article/details/7951576 如何在C语言中调用shell命令 在linux操作系统中,很多shell命令使用起来非 ...

  4. python 调用shell命令三种方法

    #!/usr/bin/python是告诉操作系统执行这个脚本的时候,调用/usr/bin下的python解释器: #!/usr/bin/env python这种用法是为了防止操作系统用户没有将pyth ...

  5. python 调用shell命令的方法

    在python程序中调用shell命令,是件很酷且常用的事情…… 1. os.system(command) 此函数会启动子进程,在子进程中执行command,并返回command命令执行完毕后的退出 ...

  6. python 中调用shell命令

    subprocess模块 根据Python官方文档说明,subprocess模块用于取代上面这些模块.有一个用Python实现的并行ssh工具—mssh,代码很简短,不过很有意思,它在线程中调用sub ...

  7. iTOP-开发板-MiniLinux-C程序调用shell命令

    本文档介绍的是在 linux 系统环境下 linux-C 调用 shell 命令实验步骤,和文档压缩包一起的“iTOP-开发板-MiniLinux-SHELL_V1.0.zip”是 c 程序源码.Li ...

  8. awk 调用 shell 命令,并传递参数

    from:awk 调用 shell 命令的两种方法:system 与 print shell 向awk传递命令,这样使用即可: awk -v  ...  但反过来呢?awk调用外部命令,同时也传参呢? ...

  9. python 调用 shell 命令

    记录 python 调用 shell 命令的方法 加载 os 模块, 使用 os 类 import os; os.system("ls /");

随机推荐

  1. C# Dictionary(字典)源码解析&效率分析

    通过查阅网上相关资料和查看微软源码,我对Dictionary有了更深的理解. Dictionary,翻译为中文是字典,通过查看源码发现,它真的内部结构真的和平时用的字典思想一样. 我们平时用的字典主要 ...

  2. 使用Github+jsDelivr搭建图床和存储服务

    使用元素 我的博客NLNet 并未搭建自己的博客,使用博客园(cnblogs),自定义了主题NLNet-Theme. 写作工具Typora 优秀的Markdown编辑器.参考NLNet-Theme,我 ...

  3. Selenium刚玩一会儿,就感受了私人秘书的体验

    学习python的过程中,少不了接触第三方库,毕竟作为胶水语言python的强大之处也就是第三方库体量庞大,无疑大大增强了python的战斗力. 有时候想完成网页自动化操作,这时候Selenium进入 ...

  4. c#记两个变量进行值交换

    今天腊月二十九啦,无心上班,专注划水.然后就在那里翻帖子消磨时光. 看到了这样一个问题,有人提问为什么   a=b+(b=a)*0  ??? 第一眼看上去,我也有点蒙,仔细推敲了一下,嗯~的确是交换了 ...

  5. VS常用命令

    1.查看Windows文件首部信息 dumpbin/headers 项目名称. 例如:dumpbin/headers test.exe 2.查看CLR首部信息 dumpbin/clrheader 项目 ...

  6. Java RMI 实现一个简单的GFS(谷歌文件系统)——背景与设计篇

    目录 背景 系统设计 1. 系统功能 2. Master组件 2.1 命名空间 2.2 心跳机制 2.3 故障恢复和容错机制 3. ChunkServer组件 3.1 本地存储 3.2 内存命中机制 ...

  7. JVM ZeroTLAB 是什么意思呢?

    ZeroTLAB 是 JVM 的一个布尔型 Flag,意思是是否将新创建的 TLAB 内的所有字节归零. 默认:false 举例:-XX:+ZeroTLAB 当分配出来 TLAB 之后,根据 Zero ...

  8. TypeScript keyof typeof All In one

    TypeScript keyof typeof All In one keyof typeof refs https://www.typescriptlang.org/docs/handbook/re ...

  9. 如何实现 React 模块动态导入

    如何实现 React 模块动态导入 React 模块动态导入 代码分割 webpack & code splitting https://reactjs.org/docs/code-split ...

  10. 前端安全 All In One

    前端安全 All In One refs xgqfrms 2012-2020 www.cnblogs.com 发布文章使用:只允许注册用户才可以访问!