go os/exec 简明教程
gudong366 2025-06-23 18:01 17 浏览
Go标准库提供了便利的方法,可以很容易地运行外部命令,一般我们会使用os/exec包下的方法实现执行外部命令以及和外部命令交互。os/exec包装了os.StartProcess方法,更方便的进行输入和输出的访问,提供I/O pipe等功能。我会通过两篇文章专门介绍Go启动新进程,执行外部命令的方法,这是第一篇,专门介绍os/exec库。
os/exec库提供方法和POSIX标准中定义的C语言的方法类似,但是提供了进一步的封装,更方便使用。接下来我会一一给你介绍。
运行一个命令
最简单的运行一个外部命令的方式就是调用Command方法,你需要传入要执行的程序和参数,它会返回一个*Cmd的数据结构,代表了一个执行的外部命令,主要调用它的Run、Output、CombinedOutput方法后这个对象就不能重用了,一般我们也不会重用这个对象,而是在需要的时候新生成一个。
下面这段代码就是执行ls命令,并传给它参数-lah。
cmd := exec.Command("ls", "-lah")
err := cmd.Run()
if err != nil {
log.Fatalf("failed to call cmd.Run(): %v", err)
}
如果你执行这个命令,控制台中并没有任何输出,其实这个命令已经执行了,只不过我们的Go程序并没有捕获和处理输出,所以控制台中并没有任何输出。
Run方法会执行外部命令并等待命令完成,如果命令正常执行,没有错误,返回码为0,那么Run返回的err == nil,那么返回一个*ExitError,有时候你需要读取cmd.Stdout甚至cmd.Stderr以便获取详细的错误信息。
如果你不想等待,那么可以调用Start方法,如果Start成功,Process和ProcessState字段会被设置。你可以检查ProcessState.Exited()判断程序是否退出。如果你想再阻塞等待程序的完成,你可以调用Wait方法。
事实上,Run方法就是利用Start方法和Wait方法实现的:
func (c *Cmd) Run() error {
if err := c.Start(); err != nil {
return err
}
return c.Wait()
}
显示外部命令的输出
Cmd命令包含输入和输出字段,你可以设置这些字段,实现定制输入和输出:
Stdin io.Reader
Stdout io.Writer
Stderr io.Writer
如果Stdin为空,那么进程会从null device(os.DevNull)中读取。
如果Stdin是*os.File对象,那么会从这个文件中读取。
如果Stdin是os.Stdin,那么会从标准输入比如命令行中读取数据。
Stdout和Stderr代表外部程序进程的标准输出和错误输出,如果为空,那么输出到null device中。
如果Stdout和Stderr是*os.File对象,那么会往文件中输出数据。
如果Stdout和Stderr分别设置为os.Stdout、os.Stderr的话,会输出到命令行中。
我们改造上一个例子,显示命令输出结果:
cmd := exec.Command("ls", "-lah")
cmd.Stdout = os.Stdout
cmd.Stderr = os.Stderr
err := cmd.Run()
if err != nil {
log.Fatalf("failed to call cmd.Run(): %v", err)
}
工作路径
默认情况下进程的工作路径是调用这个进程的文件夹,但是你也可以手工指定,比如我们将工作路径指定为根路径:
cmd := exec.Command("ls", "-lah")
cmd.Stdout = os.Stdout
cmd.Stderr = os.Stderr
cmd.Dir = "/"
err := cmd.Run()
if err != nil {
log.Fatalf("failed to call cmd.Run(): %v", err)
}
外部程序path
Cmd.Path是要执行的程序的路径,如果是相对路径,那么它基于Cmd.Dir计算相对路径。如果程序已经在系统$PATH路径下,那么可以直接写程序名。
cmd := exec.Command("/usr/local/go/bin/go", "env")
cmd.Stdout = os.Stdout
cmd.Stderr = os.Stderr
log.Printf("path: %s", cmd.Path)
err := cmd.Run()
if err != nil {
log.Fatalf("failed to call cmd.Run(): %v", err)
}
设置环境变量
Cmd还有一个字段叫做Env,用来设置进程的环境变量,格式是key=value。
如果Env为空,那么新进程将使用调用者进程的环境变量。
比如下面的例子,我们设置了myvar变量,你可以注释掉cmd.Enc = ...那一行比较一下结果。
cmd := exec.Command("bash", "-c", "echo $myvar")
cmd.Stdout = os.Stdout
cmd.Stderr = os.Stderr
cmd.Env = []string{"myvar=abc"}
err := cmd.Run()
if err != nil {
log.Fatalf("failed to call cmd.Run(): %v", err)
}
底层的Process和ProcessState
在上面我提到过,os/exec是封装的一个便利库,底层它是使用os.StartProcess实现的,所以你可以得到底层的Process对象和ProcessState对象,分别代表进程和进程的状态。
cmd := exec.Command("bash", "-c", "sleep 1;echo $myvar")
cmd.Stdout = os.Stdout
cmd.Stderr = os.Stderr
err := cmd.Start()
if err != nil {
log.Fatalf("failed to call cmd.Start(): %v", err)
}
log.Printf("pid: %d", cmd.Process.Pid)
cmd.Process.Wait()
log.Printf("exitcode: %d", cmd.ProcessState.ExitCode())
判断外部命令是否存在
有时候,你需要在执行一个外部命令的时候需要先检查它是否存在,你可以使用LookPath方法。
如果传入参数包含路径分隔符,那么它会基于Cmd.Dir的相对路径或者绝对路径查找这个程序。如果不包含路径分隔符,那么会从PATH环境变量中查找文件。
path, err := exec.LookPath("ls")
if err != nil {
log.Printf("'ls' not found")
} else {
log.Printf("'ls' is in '%s'\n", path)
}
获取命令结果
Cmd提供了Output()方法,如果命令正确执行,可以得到命令执行结果的bytes:
cmd := exec.Command("ls", "-lah")
data, err := cmd.Output()
if err != nil {
log.Fatalf("failed to call Output(): %v", err)
}
log.Printf("output: %s", data)
如果命令出错,错误信息可以通过Stderr获得:
cmd := exec.Command("ls", "-lahxyz")
cmd.Stderr = os.Stderr
data, err := cmd.Output()
if err != nil {
log.Fatalf("failed to call Output(): %v", err)
}
log.Printf("output: %s", data)
组合Stdout和Stderr
如果你想不管出错与否都能一个方法获取输出结果的话,你可以调用CombinedOutput()方法,它会返回正常输出或者错误输出,并且第二个返回err可以指示是否执行出错:
cmd := exec.Command("ls", "-lah")
data, err := cmd.CombinedOutput()
if err != nil {
log.Fatalf("failed to call CombinedOutput(): %v", err)
}
log.Printf("output: %s", data)
CombinedOutput方法的实现也很简单,其实就是共享同一个bytes.Buffer实现的。
func (c *Cmd) CombinedOutput() ([]byte, error) {
if c.Stdout != nil {
return nil, errors.New("exec: Stdout already set")
}
if c.Stderr != nil {
return nil, errors.New("exec: Stderr already set")
}
var b bytes.Buffer
c.Stdout = &b
c.Stderr = &b
err := c.Run()
return b.Bytes(), err
}
分别读取Stdout和Stderr
了解了CombinedOutput的实现,我们就可以为Stdout和Stderr分别设置bytes.Buffer,来实现独立的读取。
cmd := exec.Command("ls", "-lah")
var stdout, stderr bytes.Buffer
cmd.Stdout = &stdout
cmd.Stderr = &stderr
err := cmd.Run()
if err != nil {
log.Fatalf("failed to call Run(): %v", err)
}
log.Printf("out:\n%s\nerr:\n%s", stdout.String(), stderr.String())
显示命令执行进度
既然我们已经能够使用自己的io.Writer设置Stdout/Stderr,那么我们可以做更丰富的功能。
比如利用curl命令下载一个大的文件,我们可以实时的显示已下载的数据的大小。
cmd := exec.Command("curl", "https://dl.google.com/go/go1.15.6.linux-amd64.tar.gz")
var stdoutProcessStatus bytes.Buffer
cmd.Stdout = io.MultiWriter(ioutil.Discard, &stdoutProcessStatus)
done := make(chan struct{})
go func() {
tick := time.NewTicker(time.Second)
defer tick.Stop()
for {
select {
case <-done:
return
case <-tick.C:
log.Printf("downloaded: %d", stdoutProcessStatus.Len())
}
}
}()
err := cmd.Run()
if err != nil {
log.Fatalf("failed to call Run(): %v", err)
}
close(done)
设置Stdin
前面几个例子都是演示处理Output的情况,接下来这个例子演示了如何设置Stdin。
wc命令读取main.go文件,统计它一共有多少行。
stdin, err := os.Open("main.go")
if err != nil {
log.Fatalf("failed to open file: %v", err)
}
cmd := exec.Command("wc", "-l")
cmd.Stdin = stdin
cmd.Stdout = os.Stdout
cmd.Stderr = os.Stderr
err = cmd.Run()
if err != nil {
log.Fatalf("failed to call cmd.Run(): %v", err)
}
Pipe
你可以将一个命令的输出作为下一个命令的输入,以此类推,将多个命令串成一个管道。
os/exec提供了StderrPipe、StdinPipe、StdoutPipe方法,获取管道对象。
比如下面的命令,将cat main.go的输出作为wc -l命令的输入:
cmdCat := exec.Command("cat", "main.go")
catout, err := cmdCat.StdoutPipe()
if err != nil {
log.Fatalf("failed to get StdoutPipe of cat: %v", err)
}
cmdWC := exec.Command("wc", "-l")
cmdWC.Stdin = catout
cmdWC.Stdout = os.Stdout
err = cmdCat.Start()
if err != nil {
log.Fatalf("failed to call cmdCat.Run(): %v", err)
}
err = cmdWC.Start()
if err != nil {
log.Fatalf("failed to call cmdWC.Start(): %v", err)
}
cmdCat.Wait()
cmdWC.Wait()
首先将管道创建好,然后依次调用各命令的Start方法和Wait方法。
通用的Pipe方法
下面是一个更通用的创建Cmd管道的方法:
func main() {
cmdCat := exec.Command("cat", "main.go")
cmdWC := exec.Command("wc", "-l")
data, err := pipeCommands(cmdCat, cmdWC)
if err != nil {
log.Fatalf("failed to call pipeCommands(): %v", err)
}
log.Printf("output: %s", data)
}
func pipeCommands(commands ...*exec.Cmd) ([]byte, error) {
for i, command := range commands[:len(commands)-1] {
out, err := command.StdoutPipe()
if err != nil {
return nil, err
}
command.Start()
commands[i+1].Stdin = out
}
final, err := commands[len(commands)-1].Output()
if err != nil {
return nil, err
}
return final, nil
}
bash pipe
如果你通过bash命令执行,你可以使用bash pipe的功能,写起来更简单。
cmd := exec.Command("bash", "-c", "cat main.go| wc -l")
data, err := cmd.CombinedOutput()
if err != nil {
log.Fatalf("failed to call pipeCommands(): %v", err)
}
log.Printf("output: %s", data)
孤儿进程
当子进程还没有结束的时候,父进程先结束了,那么此时的子进程就叫做孤儿进程,这个时候子进程的ppid就被设置为了1。
cmd := exec.Command("curl", "-o", "go1.15.6.linux-amd64.tar.gz", "https://dl.google.com/go/go1.15.6.linux-amd64.tar.gz")
err := cmd.Start()
if err != nil {
log.Fatalf("failed to call Run(): %v", err)
}
当主程序退出时,这个curl子进程还会一直下载,它的ppid被设置为了1,你可以使用ps查看进程信息,比如在Mac中:
ps xao pid,ppid,pgid,sid,comm | grep curl
程序退出时Kill子进程
如果我们想在程序退出的时候Kill掉它启动的子进程,那么一个比较笨的办法就是得到子进程的 Process对象,然后调用它的Kill方法将其杀掉。但比较遗憾的是它不能把孙进程杀掉。
对于Linux系统,你可以通过下面的设置将孙进程也杀掉:
cmd := exec.Command("curl", "-o", "go1.15.6.linux-amd64.tar.gz", "https://dl.google.com/go/go1.15.6.linux-amd64.tar.gz")
cmd.SysProcAttr = &syscall.SysProcAttr{Pdeathsig: syscall.SIGKILL}
err := cmd.Start()
if err != nil {
log.Fatalf("failed to call Run(): %v", err)
}
或者更通用的使用下面的设置:
cmd := exec.Command("curl", "-o", "go1.15.6.linux-amd64.tar.gz", "https://dl.google.com/go/go1.15.6.linux-amd64.tar.gz")
cmd.SysProcAttr = &syscall.SysProcAttr{Setpgid: true}
err := cmd.Start()
if err != nil {
log.Fatalf("failed to call Run(): %v", err)
}
see https://groups.google.com/g/golang-nuts/c/XoQ3RhFBJl8
将父进程打开的文件传给子进程
除了标准输入输出0,1,2三个文件外,你还可以将父进程的文件传给子进程,通过Cmd.ExtraFiles字段就可以。
比较常用的一个场景就是graceful restart,新的进程继承了老的进程监听的net.Listener,这样网络连接就不需要关闭重打开了。
比如最早介绍go graceful restart技术的文章之一Graceful Restart in Golang的代码:
file := netListener.File() // this returns a Dup()
path := "/path/to/executable"
args := []string{
"-graceful"}
cmd := exec.Command(path, args...)
cmd.Stdout = os.Stdout
cmd.Stderr = os.Stderr
cmd.ExtraFiles = []*os.File{file}
err := cmd.Start()
if err != nil {
log.Fatalf("gracefulRestart: Failed to launch, error: %v", err)
}
文章来源:
https://colobu.com/2020/12/27/go-with-os-exec/
- 上一篇:Linux/Unix 系统中非常常用的命令
- 下一篇:Linux系统编程之进程控制
相关推荐
- 使用再生龙工具远程克隆Linux服务器
-
大家好,之前给大家介绍一个一款可以用来备份还原、远程克隆、P2V、V2V的工具--再生龙,今天就来给大家演示如何用该工具来远程克隆一台linux服务器。使用此方法,可以将一台物理服务器远程克隆到虚拟...
- Linux 下用 SSH 登录远程服务器后把远程服务器文件传本地电脑
-
在Linux下,使用SSH命令登录远程服务器后,可以使用scp命令将远程服务器上的文件复制到本地电脑。以下是scp命令的基本用法:scp[用户名]@[远程服务器地址]:[远程文件路径][本地存放路...
- 一文掌握怎么利用Shell+Python实现Linux系统数据异地备份程序
-
简介:在当今的信息化时代,数据安全已成为企业和个人运维的重中之重。无论是服务器宕机、硬盘损坏,还是遭遇勒索病毒,数据丢失都可能带来巨大损失。为了最大程度保障数据安全,异地备份成为了最佳实践之一。本文将...
- 如何在Linux上搭建本地Docker Registry并实现远程连接
-
在Linux上搭建本地DockerRegistry并实现远程连接,可以按照以下步骤操作:一、安装Docker确保Linux系统上已经安装了Docker。如果尚未安装,可以使用以下命令进行安装(以Ub...
- 服务器连接方法教程(服务器地址怎么连接)
-
连接服务器的方式多种多样,具体取决于服务器的类型、操作系统以及你的使用需求。以下是几种常见的服务器连接方法,包含详细步骤和注意事项:一、远程桌面连接(适用于Windows服务器)适用场景:需要图形...
- 自动化测试学习:使用python库Paramiko实现远程服务器上传和下载
-
前言测试过程中经常会遇到需要将本地的文件上传到远程服务器上,或者需要将服务器上的文件拉到本地进行操作,以前安静经常会用到xftp工具。今天安静介绍一种python库Paramiko,可以帮助我们通过代...
- 手把手教你安装、远程连接Ubuntu 22.04
-
Ubuntu分为桌面版和服务器版本,我们选择服务器版本1下载Ubuntu22.04Ubuntu22.04下载地址:https://releases.ubuntu.com/22.04/ubuntu...
- Windows服务器怎么连接?远程连接服务器命令
-
服务器操作系统可以实现对计算机硬件与软件的直接控制和管理协调,任何计算机的运行离不开操作系统,服务器也一样,服务器操作系统主要分为四大流派:WindowsServer、Netware、Unix和Li...
- 如何使用JuiceSSH实现手机端远程连接Linux服务器
-
在当今数字化时代,远程连接到服务器成为了许多人工作和生活中的必需品。JuiceSSH是一款比较强大的Android应用程序,它可以让您在手机上轻松地远程连接到Linux服务器。下面简单的向您介绍如何使...
- 本地电脑如何远程连接服务器(电脑如何远程桌面连接服务器)
-
下面就来说说如何远程登录服务器。服务器一般有两大类系统,一种是windows系统,一种是Linux系统。下面以Windows系统为例1、Windows系统有自带的登录系统,点击“运行”(或者windo...
- 如何用CHAT配置linux的远程连接?(chattr linux)
-
问CHAT:配置linux的远程连接1.下载ssh2.启动ssh服务3.查看ssh服务状态4.设置ssh服务开机自启动5.设置windows的cmd下ssh6.通过cmd的ssh命令远程到...
- 服务器怎么远程连接控制(服务器远程桌面连接设置方法)
-
我是艾西,还是有很多小白同学问我服务器怎么远程连接。那么今天我们重点来教教大家如何用电脑远程服务器配上图文教程,让不懂的新手小白一看就会,分分钟上手教程远程服务器需要一台电脑俗称“PC”就是我们自己平...
- 如何远程管理Linux服务器(linux远程登录管理)
-
在当今数字化的时代,Linux服务器凭借其稳定性和高效性,成为众多企业和开发者的首选。然而,很多时候我们无法直接在服务器前操作,这就需要掌握远程管理Linux服务器的技巧啦。别担心,今天就来给大家分享...
- Linux系统无法启动?别慌!这可能是全网最全的故障排查攻略
-
当Linux系统罢工时,盲目重装只会浪费时间!本文整理8种常见故障的解决方案,涵盖从引导修复到硬件检测全流程,建议收藏备用。一、引导阶段故障排查1.GRUB引导丢失现象:黑屏显示"grub&...
- Linux进程管理(linux进程管理实验报告)
-
原作者:Linux教程,原文「链接」:https://mp.weixin.qq.com/s/39rQMl3V2Egot9cZ14NCLg【获得原作者转载授权】每个计算机系统都包含一个核心软件集合,即操...
- 一周热门
- 最近发表
- 标签列表
-
- linux一键安装 (31)
- linux运行java (33)
- ln linux (27)
- linux 磁盘管理 (31)
- linux 内核升级 (30)
- linux 运行python (28)
- linux 备份文件 (30)
- linux 网络测试 (30)
- linux 网关配置 (31)
- linux jre (32)
- linux 杀毒软件 (32)
- linux语法 (33)
- linux博客 (33)
- linux 压缩目录 (37)
- linux 查看任务 (32)
- 制作linux启动u盘 (35)
- linux 查看存储 (29)
- linux乌班图 (31)
- linux挂载镜像 (31)
- linux 软件源 (28)
- linux题目 (30)
- linux 定时脚本 (30)
- linux 网站搭建 (28)
- linux 远程控制 (34)
- linux bind (31)