среда, 28 октября 2015 г.

Проблема с запуском Spark приложений под YARN


Получаем вот такое исключение:
Мол, не хватает ему дефолтных значений памяти

Exception in thread "main" java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster!

Лечиться установкой в конфигурации YARN вот этих параметров в нужные значения:

yarn.nodemanager.resource.memory-mb 
yarn.scheduler.maximum-allocation-mb 

Требуется перезапуск YARN

Комментариев нет:

Отправить комментарий