解决php中通过exec调用python脚本报ModuleNotFoundError错误

背景

出于某些原因，我们有时会在PHP中通过exec来调用Python代码，有可能是某些功能只能用Python实现（或用Python实现比较方便），有可能是出于性能考虑（Python可以执行耗时任务）。

但我们有时会发现，在控制台用命令行的方式运行python脚本一切正常，在 php 中用 exec 调用就报 ModuleNotFoundError: No module named 'xxx' 错误。

本文是在 Ubuntu 20.04 上以 ubuntu 用户身份进行的测试。

错误原因

用户不同

这种错误一般都是因为执行脚本的用户不同导致的，php用exec调用python脚本时，使用的用户一般是 www-data，而我们在控制台一般都是 root 或 ubuntu 用户。

这个可以通过 whoami 命令来验证。

php代码如下：

$pythonScript = "whoami";
Log::info("exec script:" . $pythonScript);
exec($pythonScript, $output, $returnValue);
Log::info("exec output:" . json_encode($output));
Log::info("exec returnValue:" . $returnValue);

输出如下：

[2023-07-13 10:34:27] local.INFO: exec script:whoami
[2023-07-13 10:34:27] local.INFO: exec output:["www-data"]
[2023-07-13 10:34:27] local.INFO: exec returnValue:0

为什么用户不同就会导致 ModuleNotFoundError: No module named 'xxx' 这个错误呢，根本原因还是权限问题。

权限问题

我们在控制台写python脚本时，一般会通过 pip[3] install [xxx]的形式安装依赖的包，这时包一般会安装在用户目录。

下面做个测试，我们安装 python-dotenv这个包，然后查看包的安装位置：

可以看到这个包安装在了 /home/ubuntu/.local/lib/python3.8/site-packages 这个目录。

下面我们试一下用 www-data 用户的身份是否有权限调用。

Python测试代码：

from dotenv import load_dotenv

load_dotenv()

分别用当前用户和www-data调用：

可以看到用www-data调用时果然报ModuleNotFoundError: No module named 'dotenv'错误。

我们查看一下我们安装的python-dotenv对www-data用户是否可用：

sudo -u www-data pip3 show python-dotenv

可以看到确实是没有的。

即然原因确定了，接下来就好办了。

解决方案

方案一：修改web服务器用户

即然是控制台用户可以运行脚本，我们把Web服务器用户改为控制台用户就可以了，以 apache 为例具体步骤如下：

1.打开apache配置文件：sudo vim /etc/apache2/apache2.conf

2.更改以下两行，将运行的用户和组设置为自己所需的：

User ${APACHE_RUN_USER}
Group ${APACHE_RUN_GROUP}
#更改为
User ubuntu
Group ubuntu

3.重启apache：sudo service apache2 restart

注：这种方案能解决问题，但并不好，因为权限给的太大了，有很大的安全风险，不建议用。

方案二：给 www-data 用户安装python依赖库

在安装之前我们确认一下www-data用户是否没有安装python-dotenv包：

sudo -u www-data pip3 show python-dotenv

下面我们给 www-data 用户安装python-dotenv包：

#安装
sudo -u www-data pip3 install python-dotenv

#显示安装路径
sudo -u www-data pip3 show python-dotenv

我们可以看到，安装到了 /var/www/.local/lib/python3.8/site-packages目录下。

我们来验证一下：

sudo -u www-data python3 pyscripts/test.py

可以看到不报错了。

大家还有别的方案吗？欢迎留言讨论。