Получаем вот такое исключение:
Мол, не хватает ему дефолтных значений памяти
Exception in thread "main" java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster!
Лечиться установкой в конфигурации YARN вот этих параметров в нужные значения:
yarn.nodemanager.resource.memory-mb
yarn.scheduler.maximum-allocation-mb
Требуется перезапуск YARN
Комментариев нет:
Отправить комментарий