Различия

Показаны различия между двумя версиями страницы.

--- translate:evaluation_of_a_workflow_scheduler_using_integrated_performance_modelling_and_batch_queue_wait_time_prediction [2013/12/03 21:55] – [Заключение] artamonov
+++ translate:evaluation_of_a_workflow_scheduler_using_integrated_performance_modelling_and_batch_queue_wait_time_prediction [2014/03/30 19:45] (текущий) – [Аннотация] artamonov
@@ Строка 12: / Строка 12: @@
 ==== Аннотация ====
-Крупномасштабные распределённые системы предлагают вычислительные мощности на беспрецедентном уровне. В прошлом пользователи обычно имели доступ к относительно небольшому количеству отдельных суперкомьютеров и, в общем, могли бы назначать соответствие между приложениями и машинами как один-к-одному. Современные пользователи высокопроизводительных вычислений имеют одновременный доступ к большому количеству отдельных суперкомпьютеров и начинают использовать все их для исполнения одного приложения. Одним из методов, который разработали для того, чтобы воспользоваться преимуществами таких систем, является представление всего цикла выполнения приложения в виде рабочего процесса. Планирование таких рабочих процессов стало темой большого числа исследований в последние несколько лет, и, хотя были разработаны довольно сложные алгориты, очень специфический аспект этих распределённых систем, а именно использование ими ПО для пакетной обработки, был до сих пор исключён из рассмотрения, по-видимому, п из-за сложности точного его моделирования. В этой работе, мы усовершенствовали существующий планировщик рабочих процессов за счёт внедрения методов, которые делают точные предсказания о производительности приложения на конкретном оборудовании и количестве времени, которое затратят отдельные задачи рабочего процесса на ожидание в очереди пакетной системы. Наши результаты показывают, что, хотя в одиночку планировщик может выбрать правильное размещение задач на основе локальности данных или подключения к сети, это преимущество нередко снижается из-за того, что большинство работ добавленных в текущую систему должны ждать в переполненных очередях пакетной системы значительную часть времени. Однако, включив в него усовершенствования, мы заметим улучшение времени исполнения рабочего процесса в условиях, когда пакетные системы вносят значительные задержки в составляющие процесс задачи.
+Крупномасштабные распределённые системы предлагают вычислительные мощности на беспрецедентном уровне. В прошлом пользователи обычно имели доступ к относительно небольшому количеству отдельных суперкомпьютеров и, в общем, могли бы назначать соответствие между приложениями и машинами как один-к-одному. Современные пользователи высокопроизводительных вычислений имеют одновременный доступ к большому количеству отдельных суперкомпьютеров и начинают использовать все их для исполнения одного приложения. Одним из методов, который разработали для того, чтобы воспользоваться преимуществами таких систем, является представление всего цикла выполнения приложения в виде рабочего процесса. Планирование таких рабочих процессов стало темой большого числа исследований в последние несколько лет, и, хотя были разработаны довольно сложные алгориты, очень специфический аспект этих распределённых систем, а именно использование ими ПО для пакетной обработки, был до сих пор исключён из рассмотрения, по-видимому, п из-за сложности точного его моделирования. В этой работе, мы усовершенствовали существующий планировщик рабочих процессов за счёт внедрения методов, которые делают точные предсказания о производительности приложения на конкретном оборудовании и количестве времени, которое затратят отдельные задачи рабочего процесса на ожидание в очереди пакетной системы. Наши результаты показывают, что, хотя в одиночку планировщик может выбрать правильное размещение задач на основе локальности данных или подключения к сети, это преимущество нередко снижается из-за того, что большинство работ добавленных в текущую систему должны ждать в переполненных очередях пакетной системы значительную часть времени. Однако, включив в него усовершенствования, мы заметим улучшение времени исполнения рабочего процесса в условиях, когда пакетные системы вносят значительные задержки в составляющие процесс задачи.
 ==== Введение ====
@@ Строка 139: / Строка 139: @@
 В этой работе мы описали идею, что хотя планировщик рабочего процесса может разумно выбирать отображнеие задач на ресурсы, которое оптимально с точки зрения времени исполнения, на самом деле тот факт, что ресурсы не мгновенно доступны, может существенно повлиять на общее время исполнения. Для того, чтобы преодолеть эту трудность, мы включили в планировщик наш метод БМПОПС, который используется для прогнозирования границ, с заданной уверенностью, на промежуток времени ожидания задачи в очереди до того, как ресурс станет доступен. Исследуя, что такое знание может помочь лучше выбрать ресурсы для снижения общего времени исполнения в реальных приложения (EMAN) на реальных системах (5 высокопроизводительных систем в 5 различных районах США), мы выполнили 2 эксперимента по сравнению планировщиков с БМПОПС с планировщиками, которые используют модели производительности по отдельности для определения размещения задач. В одном эксперименте мы обнаружили, что план, созданный планировщиком БМПОПС, даёт намного меньшее время исполнения, чем планировщик без БМПОПС, а в другом эксперименте результаты показали, что использование улучшенных планов БМПОПС позволило завершить реальное приложение EMAN, где ни один из наших планировщиков без БМПОПС не смог заврешить выполнение, так как они выполнялись так долго, что по крайней мере одна из машин отказывала, что вело к завершению работы приложения.
+В ближайшее время, мы интегрируем нашу методологию пакетных систем в различные планировщики рабочих процессов, чтобы попытаться проверить наше убеждение, что такие прогнозы дают улучшения равномерно. Также в настоящее время мы работаем над несколькими методами, которые используют прогнозы очереди пакетных систем для реализации виртуальной системы предоставления ресурсов, которая бы позволила пользователю или системе обеспечить бронирование ресурсов используя ресурсы под управлением пакетных систем. Многие из наших методов интегрируются в инфраструктуру VGrADS.