DAG-планировщик Spark: от логического плана к физическому выполнению
При отправке задания Spark DAG-планировщик преобразует логический план (цепочку трансформаций RDD) в физический план выполнения:
- Построить DAG из последовательности трансформаций
- Определить границы стадий в точках перемешивания (широкие зависимости:
groupByKey,reduceByKey) - Топологически отсортировать стадии для определения порядка выполнения
- Отправить задачи для партиций каждой стадии планировщику задач
Стадии внутри одного конвейера (связанные узкими зависимостями) могут объединять трансформации, избегая промежуточной материализации.