دانلود مقاله ISI انگلیسی شماره 79241
عنوان فارسی مقاله

الگوریتم زمان بندی بر اساس واکشی اولیه در خوشه MapReduce

کد مقاله سال انتشار مقاله انگلیسی ترجمه فارسی تعداد کلمات
79241 2016 10 صفحه PDF سفارش دهید محاسبه نشده
خرید مقاله
پس از پرداخت، فوراً می توانید مقاله را دانلود فرمایید.
عنوان انگلیسی
Scheduling algorithm based on prefetching in MapReduce clusters
منبع

Publisher : Elsevier - Science Direct (الزویر - ساینس دایرکت)

Journal : Applied Soft Computing, Volume 38, January 2016, Pages 1109–1118

کلمات کلیدی
محل داده ها؛ MapReduce؛ واکشی اولیه؛ وظیفه زمانبندی؛ حافظه؛ اطلاعات بزرگ
پیش نمایش مقاله
پیش نمایش مقاله الگوریتم زمان بندی بر اساس واکشی اولیه در خوشه MapReduce

چکیده انگلیسی

Due to cluster resource competition and task scheduling policy, some map tasks are assigned to nodes without input data, which causes significant data access delay. Data locality is becoming one of the most critical factors to affect performance of MapReduce clusters. As machines in MapReduce clusters have large memory capacities, which are often underutilized, in-memory prefetching input data is an effective way to improve data locality. However, it is still posing serious challenges to cluster designers on what and when to prefetch. To effectively use prefetching, we have built HPSO (High Performance Scheduling Optimizer), a prefetching service based task scheduler to improve data locality for MapReduce jobs. The basic idea is to predict the most appropriate nodes for future map tasks based on current pending tasks and then preload the needed data to memory without any delaying on launching new tasks. To this end, we have implemented HPSO in Hadoop-1.1.2. The experiment results have shown that the method can reduce the map tasks causing remote data delay, and improves the performance of Hadoop clusters.

خرید مقاله
پس از پرداخت، فوراً می توانید مقاله را دانلود فرمایید.