Проблема с запуском Spark приложений под YARN

Получаем вот такое исключение:
Мол, не хватает ему дефолтных значений памяти

Exception in thread "main" java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster!

Лечиться установкой в конфигурации YARN вот этих параметров в нужные значения:

yarn.nodemanager.resource.memory-mb 
yarn.scheduler.maximum-allocation-mb 

Требуется перезапуск YARN

Upgrade Java on Cloudera cluster

Ну вот и настало время ставить Java 8 на наш Cloudera-вский кластер.
Как оказалось - это не так уж сложно.

1. Ствим на все ноды новую версию Java
2. Тушим кластер
3. Открываем на каждой рабочей ноде файл:
   /etc/default/cloudera-scm-agent
   и прописываем переменную: 
   export CMF_AGENT_JAVA_HOME="/usr/lib/jvm/java-8-oracle"
4. Делаем тоже самое для ноды на которой стоит Cloudera manager, плюс открываем файл: /etc/default/cloudera-scm-server
   и прописываем переменную:
   export JAVA_HOME="/usr/lib/jvm/java-8-oracle"
   
5. Запускаем кластер

Вот и всё