translate:evaluation_of_a_workflow_scheduler_using_integrated_performance_modelling_and_batch_queue_wait_time_prediction
Различия
Показаны различия между двумя версиями страницы.
Предыдущая версия справа и слеваПредыдущая версияСледующая версия | Предыдущая версия | ||
translate:evaluation_of_a_workflow_scheduler_using_integrated_performance_modelling_and_batch_queue_wait_time_prediction [2013/12/03 18:53] – [Архитектура планировщика] artamonov | translate:evaluation_of_a_workflow_scheduler_using_integrated_performance_modelling_and_batch_queue_wait_time_prediction [2014/03/30 19:45] (текущий) – [Аннотация] artamonov | ||
---|---|---|---|
Строка 12: | Строка 12: | ||
==== Аннотация ==== | ==== Аннотация ==== | ||
- | Крупномасштабные распределённые системы предлагают вычислительные мощности на беспрецедентном уровне. В прошлом пользователи обычно имели доступ к относительно небольшому количеству отдельных суперкомьютеров и, в общем, могли бы назначать соответствие между приложениями и машинами как один-к-одному. Современные пользователи высокопроизводительных вычислений имеют одновременный доступ к большому количеству отдельных суперкомпьютеров и начинают использовать все их для исполнения одного приложения. Одним из методов, | + | Крупномасштабные распределённые системы предлагают вычислительные мощности на беспрецедентном уровне. В прошлом пользователи обычно имели доступ к относительно небольшому количеству отдельных суперкомпьютеров и, в общем, могли бы назначать соответствие между приложениями и машинами как один-к-одному. Современные пользователи высокопроизводительных вычислений имеют одновременный доступ к большому количеству отдельных суперкомпьютеров и начинают использовать все их для исполнения одного приложения. Одним из методов, |
==== Введение ==== | ==== Введение ==== | ||
Строка 100: | Строка 100: | ||
Мы изменили исходный алгоритм планирования рабочих процессов чтобы включить время ожидания в очередях пакетных систем. Изначально для каждого правила расчётное время наличия каждого ресурса заполняется с использованием предсказанного времени ожидания ресурса. Мы используем 95% верхней границы для предсказания среднего времени ожидания в очереди. Таким образом, | Мы изменили исходный алгоритм планирования рабочих процессов чтобы включить время ожидания в очередях пакетных систем. Изначально для каждого правила расчётное время наличия каждого ресурса заполняется с использованием предсказанного времени ожидания ресурса. Мы используем 95% верхней границы для предсказания среднего времени ожидания в очереди. Таким образом, | ||
==== Эксперимент ==== | ==== Эксперимент ==== | ||
+ | |||
+ | Конечная цель данной работы - определить, | ||
+ | |||
+ | Первый эксперимент сравнивает длительности для планов рабочих процессов с использованием прогнозирования моделей производительности и БМПОПС с теми, что используют только информацию о модели производительности рабочих процессов для выбора ресурсов. Соответственно, | ||
+ | |||
+ | Второй эксперимент пытается проверить результаты предыдущего на практике, | ||
+ | |||
+ | Для лучшего понимания экспериментальной установки этот раздел будет начинаться с краткого обсуждения приложения //EMAN// и рабочего процесса следующего за описанием используемых нами 5 машин, и, наконец, | ||
=== Тестовое окружение === | === Тестовое окружение === | ||
+ | |||
+ | Для этой работы мы решили использовать пять суперкомпьютеров, | ||
=== Приложение === | === Приложение === | ||
+ | |||
+ | Мы использовали приложение EMAN как тестовый образец рабочего процесса. EMAN (электронный анализ микрографии) - является приложением биологических изображений разработанным в Медицинском Колледже Baylor. В первую очередь оно работает с 3D реконструкциями отдельных частиц из электронной микрографии. Опыт человека необходим для построения предварительной 3D модели из зашумлённых электронных микрографий. Из шагов рабочего процесса приложения EMAN, уточнение от предварительной 3D модели до конечной 3D модели является вычислительно-сложным шагом, который наиболее выигрывает от использования силы высокопроизводительных вычислений. Уточнение EMAN может быть представлено как рабочий процесс, | ||
=== Проведение эксперимента === | === Проведение эксперимента === | ||
+ | Два наших эксперимента похожи, | ||
+ | |||
+ | Каждое измерение инициируется получением метки времени UNIX для указания того, что измерение началось. Затем наш новый планировщик генерирует план рабочего процесса по отображению на ресурсы, | ||
==== Результаты ==== | ==== Результаты ==== | ||
+ | В этом разделе мы будем изучать результаты нашего эксперимента и покажем как сравнить расширенные при помощи БМПОПС планировщики рабочих процессов с планировщиками только на базе моделей производительности. | ||
+ | |||
+ | Рисунок 4 показывает результат нашего первого эксперимента, | ||
+ | |||
+ | Хотя мы считаем, | ||
+ | |||
+ | Из первого эксперимента, | ||
+ | |||
+ | Учитывая большое количество экспериментального и выделенного времени, | ||
==== Заключение ==== | ==== Заключение ==== | ||
+ | Современный пользователь высокопроизводительных систем начинает сталкиваться с проблемой решения где исполнять свои приложения для достижения наименьшего времени, | ||
+ | |||
+ | В этой работе мы описали идею, что хотя планировщик рабочего процесса может разумно выбирать отображнеие задач на ресурсы, | ||
+ | |||
+ | В ближайшее время, мы интегрируем нашу методологию пакетных систем в различные планировщики рабочих процессов, |
translate/evaluation_of_a_workflow_scheduler_using_integrated_performance_modelling_and_batch_queue_wait_time_prediction.1386096799.txt.gz · Последнее изменение: 2013/12/03 18:53 (внешнее изменение)