基于PHP扩展Phpy实现Apache ORC高效读写，搞定大数据处理-51CTO.COM

概述

用于读取和写入 Apache ORC 文件格式的 PHP 库。它使用 swoole/phpy 扩展来调用 Python 模块 PyORC 以实现相关功能。

Apache ORC

Apache ORC 是一种专为 Hadoop 生态系统设计的列式存储文件格式，它具备高效的数据压缩和快速的查询性能。由于采用列式存储，ORC 格式在处理大规模数据时能够显著减少 I/O 开销，提高数据处理效率，广泛应用于大数据处理框架如 Apache Hive、Apache Spark 等。

特性：

读取 ORC 文件：PyORC 允许 Python 程序从 ORC 文件中读取数据。它支持按行或按列读取数据，并且可以根据需要选择读取特定的列，从而避免不必要的数据加载，提升读取效率。
写入 ORC 文件：能够将 Python 中的数据（如列表、字典等）以 ORC 格式写入文件。在写入过程中，可以指定数据的模式（schema），包括列名、数据类型等，以确保数据的正确存储。
数据模式处理：支持对 ORC 文件的数据模式进行解析和操作。可以获取文件的模式信息，也可以自定义模式来创建新的 ORC 文件。

Swoole Phpy

phpy 是识沃团队最新推出的开源项目，目标是为 PHP 引入 Python 生态，来弥补 PHP 生态的空缺和不足。phpy 使得 PHP 可以调用所有 Python 的包。

它为 PHP 开发者提供了一种在 PHP 代码里调用 Python 模块和函数的能力，搭建起了 PHP 和 Python 这两种编程语言之间的桥梁，极大地扩展了 PHP 的功能边界。

特性：

无缝调用 Python 代码：借助 phpy 扩展，PHP 开发者能够在 PHP 脚本里直接调用 Python 编写的函数、类和模块。这意味着可以利用 Python 丰富的科学计算、机器学习、数据分析等领域的库，比如 NumPy、SciPy、TensorFlow 等，而无需离开 PHP 开发环境。
数据类型映射：phpy 实现了 PHP 和 Python 数据类型之间的自动映射。例如，PHP 的数组可以自动转换为 Python 的列表或字典，PHP 的标量类型（如整数、浮点数、字符串等）也能正确地转换为 Python 对应的类型，反之亦然。这使得在两种语言之间传递数据变得非常方便。
高性能：phpy 在设计上注重性能优化，通过高效的底层实现，减少了 PHP 和 Python 之间的交互开销，确保数据传递和函数调用的高效性。

安装

Composer安装

composer require workbunny/php-orc1.

查看帮助

./vendor/bin/php-orc --help
Description:
List commands

Usage:
list [options] [--] [<namespace>]

Arguments:
namespace             Thenamespacename

Options:
      --raw             Tooutputrawcommandlist
      --format=FORMAT   Theoutputformat (txt, xml, json, ormd) [default: "txt"]
      --short           Toskipdescribingcommands' arguments
  -h, --help            Displayhelpforthegivencommand. Whennocommandisgivendisplayhelpforthelistcommand
      --silent          Donotoutputanymessage
  -q, --quiet           Onlyerrorsaredisplayed. Allotheroutputissuppressed
  -V, --version         Displaythisapplicationversion
      --ansi|--no-ansiForce (ordisable --no-ansi) ANSIoutput
  -n, --no-interactionDonotaskanyinteractivequestion
  -v|vv|vvv, --verboseIncreasetheverbosityofmessages: 1 fornormaloutput, 2 formoreverboseoutputand 3 fordebug1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.

依赖环境安装

安装Python

通过.vendor/bin/php-orc install:python安装

./vendor/bin/php-orc install:python
[>] Checking and installing Python 3.10+ ...
[i] Python 3.10+ is already installed.
[√] Python installation complete.1.
2.
3.
4.

安装成功后，查看安装成功的python版本号

# python -V
Python 3.12.81.
2.

安装PHPy拓展

通过.vendor/bin/php-orc install:phpy安装

./vendor/bin/php-orc install:phpy
[?] Please specify the installation directory (default: .runtime): 

[>] Downloading the latest source code ...
Cloning into '/var/www/webman/workerman5.1/.runtime/swoole_phpy_latest'...
remote: Enumerating objects: 827, done.
remote: Counting objects: 100% (827/827), done.
remote: Compressing objects: 100% (516/516), done.
remote: Total 827 (delta 327), reused 642 (delta 289), pack-reused 0 (from 0)
Receiving objects: 100% (827/827), 560.36 KiB | 1.74 MiB/s, done.
Resolving deltas: 100% (327/327), done.
Updating files: 100% (749/749), done.
warning: the following paths have collided (e.g. case-sensitive paths
on a case-insensitive filesystem) and only one from the same
colliding group is in the working tree:
'lib/python/ast/BoolOp.php'
'lib/python/ast/boolop.php'
'lib/python/ast/ExceptHandler.php'
'lib/python/ast/excepthandler.php'
'lib/python/ast/Expr.php'
'lib/python/ast/expr.php'
'lib/python/ast/Mod.php'
'lib/python/ast/mod.php'
'lib/python/ast/Slice.php'
'lib/python/ast/slice.php'
'lib/python/ast/UnaryOp.php'
'lib/python/ast/unaryop.php'
[>] Installing dependencies...
[>] fetch https://mirrors.ustc.edu.cn/alpine/v3.21/main/x86_64/APKINDEX.tar.gz
[>] fetch https://mirrors.ustc.edu.cn/alpine/v3.21/community/x86_64/APKINDEX.tar.gz
[>] OK: 422 MiB in 104 packages
...
[√] PHPy installation completed successfully.1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.

安装成功后，查看安装成功的phpy扩展和版本号

# php -m |grep phpy
phpy1.
2.

查看phpy版本号

# php --ri phpy

phpy

phpy support => enabled
Copyright => 上海识沃网络科技有限公司
Email => service@swoole.com
Website => https://www.swoole.com/
Extension Version => 1.0.10
Python Version => 3.12.8 (main, Dec  7 2024, 05:56:13) [GCC 14.2.0]1.
2.
3.
4.
5.
6.
7.
8.
9.
10.

安装pyorc模块

通过.vendor/bin/php-orc install:pyorc安装

./vendor/bin/php-orc install:pyorc
[>] Checking and installing Python PyORC ...
[>] Upgrading pip ...
[i] pip is already up-to-date.
[>] Installing TZData ...
WARNING: Package(s) not found: tzdata
[>] Collecting tzdata
[>] Downloading tzdata-2025.1-py2.py3-none-any.whl.metadata (1.4 kB)
[>] Downloading tzdata-2025.1-py2.py3-none-any.whl (346 kB)
[>] Installing collected packages: tzdata
[>] Successfully installed tzdata-2025.1
WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager, possibly rendering your system unusable.It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv. Use the --root-user-action option if you know what you are doing and want to suppress this warning.
[>] Installing PyORC-latest ...
WARNING: Package(s) not found: pyorc
[>] Collecting pyorc
[>] Downloading pyorc-0.10.0-cp312-cp312-musllinux_1_2_x86_64.whl.metadata (3.0 kB)
[>] Downloading pyorc-0.10.0-cp312-cp312-musllinux_1_2_x86_64.whl (3.8 MB)
[>] ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 3.8/3.8 MB 8.1 MB/s eta 0:00:00
[>] Installing collected packages: pyorc
[>] Successfully installed pyorc-0.10.0
WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager, possibly rendering your system unusable.It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv. Use the --root-user-action option if you know what you are doing and want to suppress this warning.
[√] Python and PyORC installation complete.1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.

开源技术小栈
安装过程如果提示以下错误：

[>] Checking and installing Python PyORC ...
[>] Upgrading pip ...
sh: pip: not found1.
2.
3.

请执行以下命令，安装 pip

apk update
apk add py3-pip1.
2.

执行案例

PHPY案例

os.php文件

<?php
/**
 * @desc 打印操作系统信息
 * @author Tinywan(ShaoBo Wan)
 */
declare(strict_types=1);

function main(): void
{
    $m = PyCore::import("os");
    var_dump($m instanceof PyObject);
    $rs = $m->uname();
    echo $rs . PHP_EOL;
    echo $rs->version . PHP_EOL;
}

main();1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.

执行输出

# php os.php 
bool(true)
posix.uname_result(sysname='Linux', nodename='b6fb15fcfed9', release='5.10.102.1-microsoft-standard-WSL2', version='#1 SMP Wed Mar 2 00:30:59 UTC 2022', machine='x86_64')
#1 SMP Wed Mar 2 00:30:59 UTC 20221.
2.
3.
4.

PyORC案例

文件读取 reader.php

<?php
/**
 * @desc 文件读取
 * @author Tinywan(ShaoBo Wan)
 * @date 2025/2/26 22:51
 */
declare(strict_types=1);

usefunctionWorkbunny\PhpOrc\open;

require_once__DIR__ . '/vendor/autoload.php';

$reader = new \Workbunny\PhpOrc\Reader(open(__DIR__ . '/vendor/workbunny/php-orc/examples/example-php.orc','rb'));
// header schema
var_dump(
// 总行数
    $reader->count(),
    // 头格式
    $reader->schema(),
    // 压缩类型
    $reader->compression(),
    // 元数据
    $reader->userMetadata(),
    // 写入方式
    $reader->writerId(),
    // 写入版本类型
    $reader->writerVersion(),
    // 基座版本
    $reader->softwareVersion(),
    // 格式版本
    $reader->formatVersion()
);
// 迭代
$reader->iteration(function ($i, $row) {
    var_dump($i, $row);
});1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.

执行输出

# php reader.php 
int(3)
string(52) "struct<id:int,group:string,name:string,email:string>"
int(0)
array(3) {
'group' =>
  string(9) "workbunny"
'user' =>
  string(9) "chaz6chez"
'email' =>
  string(25) "chaz6chez1993@outlook.com"
}
string(14) "ORC_CPP_WRITER"
int(6)
string(13) "ORC C++ 2.1.0"
array(2) {
  [0] =>
  int(0)
  [1] =>
  int(12)
}
int(0)
array(4) {
  [0] =>
  int(1)
  [1] =>
  string(9) "workbunny"
  [2] =>
  string(5) "test1"
  [3] =>
  string(19) "test1@workbunny.com"
}
int(1)
array(4) {
  [0] =>
  int(2)
  [1] =>
  string(9) "workbunny"
  [2] =>
  string(5) "test2"
  [3] =>
  string(19) "test2@workbunny.com"
}
int(2)
array(4) {
  [0] =>
  int(3)
  [1] =>
  string(9) "workbunny"
  [2] =>
  string(5) "test3"
  [3] =>
  string(19) "test3@workbunny.com"
}1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.