CLI 文档¶

警告

命令行界面是实验性的，版本之间可能会发生变化

dask-yarn¶

在 Apache YARN 上部署 Dask

usage: dask-yarn [--help] [--version] command ...

--help, -h¶: 显示此帮助消息然后退出

--version¶: 显示版本然后退出

dask-yarn kill¶

终止 Dask 应用程序

usage: dask-yarn kill [--help] APP_ID

app_id¶: 应用程序 ID

--help, -h¶: 显示此帮助消息然后退出

dask-yarn services¶

管理 Dask 服务

usage: dask-yarn services [--help] command ...

--help, -h¶: 显示此帮助消息然后退出

dask-yarn services client¶

启动 Dask 客户端进程

usage: dask-yarn services client [--help] script [args...]

script¶: 要运行的 Python 脚本路径。

args¶: 转发给 script 的任何额外参数

--help, -h¶: 显示此帮助消息然后退出

dask-yarn services scheduler¶

启动 Dask 调度器进程

usage: dask-yarn services scheduler [--help]

--help, -h¶: 显示此帮助消息然后退出

dask-yarn services worker¶

启动 Dask 工作进程

usage: dask-yarn services worker [--nthreads NTHREADS]
                                 [--memory_limit MEMORY_LIMIT] [--help]

--nthreads <nthreads>¶: 线程数。默认为容器中的 vcores 数量

--memory_limit <memory_limit>¶: 工作进程可用的最大内存。这可以是整数（以字节为单位），字符串（如 '5 GiB' 或 '500 MiB'），或 0（无内存管理）。默认为容器内存限制。

--help, -h¶: 显示此帮助消息然后退出

dask-yarn status¶

检查已提交 Dask 应用程序的状态

usage: dask-yarn status [--help] APP_ID

app_id¶: 应用程序 ID

--help, -h¶: 显示此帮助消息然后退出

dask-yarn submit¶

将 Dask 应用程序提交到 YARN 集群

usage: dask-yarn submit [--name NAME] [--queue QUEUE] [--user USER]
                        [--tags TAGS] [--environment ENVIRONMENT]
                        [--deploy-mode DEPLOY_MODE]
                        [--worker-count WORKER_COUNT]
                        [--worker-vcores WORKER_VCORES]
                        [--worker-memory WORKER_MEMORY]
                        [--worker-restarts WORKER_RESTARTS]
                        [--worker-env WORKER_ENV]
                        [--client-vcores CLIENT_VCORES]
                        [--client-memory CLIENT_MEMORY]
                        [--client-env CLIENT_ENV]
                        [--scheduler-vcores SCHEDULER_VCORES]
                        [--scheduler-memory SCHEDULER_MEMORY]
                        [--temporary-security-credentials] [--help]
                        script [args...]

script¶: 在客户端上运行的 python 脚本路径

args¶: 转发给 script 的任何额外参数

--name <name>¶: 应用程序名称

--queue <queue>¶: 要部署到的队列

--user <user>¶: 代表哪个用户提交应用程序。默认为当前用户 - 以不同用户身份提交需要 proxy-user 权限。

--tags <tags>¶: 用作此应用程序标签的逗号分隔字符串列表。

--environment <environment>¶: 要使用的 Python 环境路径。请参阅文档了解更多信息

--deploy-mode <deploy_mode>¶: ‘remote’（默认）或 ‘local’。如果选择 ‘remote’，调度器和客户端将部署在 YARN 容器中。如果选择 ‘local’，它们将在本地运行。

--worker-count <worker_count>¶: 初始启动的工作进程数量。

--worker-vcores <worker_vcores>¶: 为每个工作进程分配的虚拟核心数量。

--worker-memory <worker_memory>¶: 为每个工作进程分配的内存量。接受单位后缀（例如 '2 GiB' 或 '4096 MiB'）。将向上舍入到最接近的 MiB。

--worker-restarts <worker_restarts>¶: 在应用程序失败之前允许的最大工作进程重启次数。默认为不限制。

--worker-env <worker_env>¶: 在工作进程上设置的环境变量。以 --worker-env key=val 形式传递键值对。可多次使用。

--client-vcores <client_vcores>¶: 为客户端分配的虚拟核心数量。

--client-memory <client_memory>¶: 为客户端分配的内存量。接受单位后缀（例如 '2 GiB' 或 '4096 MiB'）。将向上舍入到最接近的 MiB。

--client-env <client_env>¶: 在客户端上设置的环境变量。以 --client-env key=val 形式传递键值对。可多次使用。

--scheduler-vcores <scheduler_vcores>¶: 为调度器分配的虚拟核心数量。

--scheduler-memory <scheduler_memory>¶: 为调度器分配的内存量。接受单位后缀（例如 '2 GiB' 或 '4096 MiB'）。将向上舍入到最接近的 MiB。

--temporary-security-credentials¶: 不为所有集群使用一致的 TLS 凭据，而是仅为此应用程序创建一套新的凭据。

--help, -h¶: 显示此帮助消息然后退出