Queue内部资源通常会被大作业占据,小作业较难获得资源,希望各作业能公平获得资源。您可以通过以下步骤处理:
https://www.sdqwwl.com
修改Queue配置yarn.scheduler.capacity.<queue-path>.ordering-policy,tp官方正版下载使其调度次序由fifo(默认值)改为fair。
您还可以修改参数yarn.scheduler.capacity.<queue-path>.ordering-policy.fair.enable-size-based-weight,
tp官方正版下载该参数默认值false,表示按used资源值从小到大排序,参数值为true时表示按照used或demand计算值从小到大排序。
开启队列内抢占。