Сравнение подходов к крупномасштабному анализу данных



Программа MapReduce


В MR-программе использовалась одна функция Map, которая расщепляла входное значение на основе поля-разделителя и выводила значения pageURL и pageRank в качестве новой пары «ключ/значение», если значение pageRank превышало заданное пороговое значение. Для выполнения этой задачи не требуется функция Reduce, поскольку все значения pageURL в наборе данных Rankings уникальны во всех узлах.


Рис. 6. Результаты задачи Selection




Содержание  Назад  Вперед