Проект Templet

акторный фреймворк для запуска задач
на множестве ядер, кластерах и в облаках
templet.ssau.ru

Инструменты пользователя

Инструменты сайта


translate:evaluation_of_a_workflow_scheduler_using_integrated_performance_modelling_and_batch_queue_wait_time_prediction

Различия

Показаны различия между двумя версиями страницы.

Ссылка на это сравнение

Предыдущая версия справа и слеваПредыдущая версия
Следующая версия
Предыдущая версия
Следующая версияСледующая версия справа и слева
translate:evaluation_of_a_workflow_scheduler_using_integrated_performance_modelling_and_batch_queue_wait_time_prediction [2013/12/03 21:25] – [Результаты] artamonovtranslate:evaluation_of_a_workflow_scheduler_using_integrated_performance_modelling_and_batch_queue_wait_time_prediction [2013/12/03 21:55] – [Заключение] artamonov
Строка 134: Строка 134:
 Учитывая большое количество экспериментального и выделенного времени, мы ожидаем в конце концов, что мы сможем завершить некоторые не-БМПОПС планировщики, но этот результат является в некотором смысле более ценным в краткосрочной перспективе. Мы наблюдаем тот факт, что в условиях, когда одно приложение пытается использовать сильно распределённые ресурсы, есть одна большая проблема в том, что ресурсы могут отказывать в любой момент. Одним из возможных решений, что, безусловно, помогает уменьшить взаимодействие, является исполнение частей приложения, которые требуют сильно распределённых ресурсов, так быстро как только возможно, чтобы избежать потенциальные отказы отдельных компонентов. Поскольку наш планировщик БМПОПС мог планировать задачи на этих ресурсах таким образом, чтобы в результате относительно коротких планов, в течение половины дня, они были в состоянии эффективно избежать простоев, которые затронули планировщики без БМПОПС, для которых части приложения были поставлены в очередь после 1.5 и 2х дней. Учитывая большое количество экспериментального и выделенного времени, мы ожидаем в конце концов, что мы сможем завершить некоторые не-БМПОПС планировщики, но этот результат является в некотором смысле более ценным в краткосрочной перспективе. Мы наблюдаем тот факт, что в условиях, когда одно приложение пытается использовать сильно распределённые ресурсы, есть одна большая проблема в том, что ресурсы могут отказывать в любой момент. Одним из возможных решений, что, безусловно, помогает уменьшить взаимодействие, является исполнение частей приложения, которые требуют сильно распределённых ресурсов, так быстро как только возможно, чтобы избежать потенциальные отказы отдельных компонентов. Поскольку наш планировщик БМПОПС мог планировать задачи на этих ресурсах таким образом, чтобы в результате относительно коротких планов, в течение половины дня, они были в состоянии эффективно избежать простоев, которые затронули планировщики без БМПОПС, для которых части приложения были поставлены в очередь после 1.5 и 2х дней.
 ==== Заключение ==== ==== Заключение ====
 +
 +Современный пользователь высокопроизводительных систем начинает сталкиваться с проблемой решения где исполнять свои приложения для достижения наименьшего времени, но не может эффективно сделать это, не имея некоторого представления о количестве времени, в течение которого работа останется в очереди. Кроме того, системы для планирования прикладных задач среди распределённых ресурсов обычно отправляют задания в очереди пакетных систем. В обоих случаях возможность иметь некоторое представление о времени, затраченном на ожидание в очередях, становится одним из важнейших вопросов для эффективного отображения задач на ресурсы.
 +
 +В этой работе мы описали идею, что хотя планировщик рабочего процесса может разумно выбирать отображнеие задач на ресурсы, которое оптимально с точки зрения времени исполнения, на самом деле тот факт, что ресурсы не мгновенно доступны, может существенно повлиять на общее время исполнения. Для того, чтобы преодолеть эту трудность, мы включили в планировщик наш метод БМПОПС, который используется для прогнозирования границ, с заданной уверенностью, на промежуток времени ожидания задачи в очереди до того, как ресурс станет доступен. Исследуя, что такое знание может помочь лучше выбрать ресурсы для снижения общего времени исполнения в реальных приложения (EMAN) на реальных системах (5 высокопроизводительных систем в 5 различных районах США), мы выполнили 2 эксперимента по сравнению планировщиков с БМПОПС с планировщиками, которые используют модели производительности по отдельности для определения размещения задач. В одном эксперименте мы обнаружили, что план, созданный планировщиком БМПОПС, даёт намного меньшее время исполнения, чем планировщик без БМПОПС, а в другом эксперименте результаты показали, что использование улучшенных планов БМПОПС позволило завершить реальное приложение EMAN, где ни один из наших планировщиков без БМПОПС не смог заврешить выполнение, так как они выполнялись так долго, что по крайней мере одна из машин отказывала, что вело к завершению работы приложения.
  
translate/evaluation_of_a_workflow_scheduler_using_integrated_performance_modelling_and_batch_queue_wait_time_prediction.txt · Последнее изменение: 2014/03/30 19:45 — artamonov