tp钱包官方网站 YARN使用时的常见问题和解决方案
发布日期:2025-05-14 05:53 点击次数:122
Queue内部资源通常会被大作业占据,小作业较难获得资源,希望各作业能公平获得资源。您可以通过以下步骤处理:
https://www.sdqwwl.com修改Queue配置yarn.scheduler.capacity.<queue-path>.ordering-policy,tp钱包下载app官网正版使其调度次序由fifo(默认值)改为fair。
您还可以修改参数yarn.scheduler.capacity.<queue-path>.ordering-policy.fair.enable-size-based-weight, tp官方网站下载app该参数默认值false,表示按used资源值从小到大排序,参数值为true时表示按照used或demand计算值从小到大排序。
开启队列内抢占。