Сравнение подходов к крупномасштабному анализу данных

       

Отказоустойчивость


В средах MR поддерживается более сложная модель обработки сбойных ситуаций, чем в параллельных СУБД. Хотя в обоих классах систем используется некоторая форма репликации для обработки отказов дисков, в подходе MR используются гораздо более искушенные методы обработки отказов узлов при выполнении MR-вычислений. Если в системе MR из-за отказа узла не удается выполнить некоторую единицу работы (т.е. обработку блока данных), то планировщик MR может автоматически перезапустить эту задачу в резервном узле. Эта гибкость частично следует из того, что выводные файлы фазы Map локально материализуются, а не передаются в узлы, выполняющие задачи Reduce, в потоковом режиме. Аналогично, в конвейерах заданий MR, один из которых описывается в п. 4.3.4, промежуточные результаты на каждом шаге материализуются в файлы. Это отличается от подхода параллельных СУБД, в которых в сбойных ситуациях перезапускаются более крупные единицы работы (т.е. транзакции). Этот подход частично обосновывается тем, что СУБД по мере возможности избегают сохранения на диске промежуточных результатов. Поэтому, если во время выполнения какого-либо сложного запроса происходит отказ какого-либо одного узла, то необходимо повторить выполнение всего запроса целиком.



Содержание раздела