Проект Templet

акторный фреймворк для запуска задач
на множестве ядер, кластерах и в облаках
templet.ssau.ru

Инструменты пользователя

Инструменты сайта


translate:how_effective_are_neural_networks_at_forecasting_and_prediction

Различия

Показаны различия между двумя версиями страницы.

Ссылка на это сравнение

Предыдущая версия справа и слеваПредыдущая версия
Следующая версия
Предыдущая версия
translate:how_effective_are_neural_networks_at_forecasting_and_prediction [2013/10/24 20:12] – [Результаты] artamonovtranslate:how_effective_are_neural_networks_at_forecasting_and_prediction [2013/10/24 21:12] (текущий) – [Критерий оценки обучения] artamonov
Строка 2: Строка 2:
  
 Перевод статьи:  Перевод статьи: 
-How E€ective are Neural Networks at Forecasting and Prediction? - Journal of Forecasting J. Forecast. 17, 481-495 (1998)+How Effective are Neural Networks at Forecasting and Prediction? - Journal of Forecasting J. Forecast. 17, 481-495 (1998)
  
 Авторы: Monica Adya<sup>1</sup>, Fred Collopy<sup>2</sup> Авторы: Monica Adya<sup>1</sup>, Fred Collopy<sup>2</sup>
   - University of Maryland at Baltimore County, USA   - University of Maryland at Baltimore County, USA
   - Case Western Reserve University, USA   - Case Western Reserve University, USA
 +
 +Перевод: Артамонов Юрий
  
 ==== Аннотация ==== ==== Аннотация ====
Строка 25: Строка 27:
  
 Нас интересовало, в какой степени исследования в области НС внесли свой вклад в повышение точности прогнозов в бизнесе. Мы просмотрели 3 базы данных статей (Индекс цитирования социальных наук, Научный индекс цитирования и база статей бизнес тематики ABI Inform) и труды объединённой международной конференции IEEE/INNS. Наш поиск выдал широкий спектр приложений, ориентированных на задачи прогноза, от прогнозирования погоды до предсказаний цен на бирже. Для этой оценки мы исключили исследования, связанные с погодой, биологическими процессами, чисто математические ряды, а также другие приложения не относящиеся к бизнесу. Мы определили дополнительные исследования по цитатам. Этот процесс выдал всего 46 исследований. Впоследствии мы опросили авторов исследований, чтобы определить точной ли была наша интерпретация их исследований и найти другие исследования, которые должны быть включены в этот обзор. 12 (26%) авторов ответили и 2 указали по одному дополнительному исследованию. Эти два исследования были включены в обзор. Текущий вариант обзора включает 48 исследований между 1988 и 1994 годами, которые были использованы в задачах прогнозирования для бизнеса. Нас интересовало, в какой степени исследования в области НС внесли свой вклад в повышение точности прогнозов в бизнесе. Мы просмотрели 3 базы данных статей (Индекс цитирования социальных наук, Научный индекс цитирования и база статей бизнес тематики ABI Inform) и труды объединённой международной конференции IEEE/INNS. Наш поиск выдал широкий спектр приложений, ориентированных на задачи прогноза, от прогнозирования погоды до предсказаний цен на бирже. Для этой оценки мы исключили исследования, связанные с погодой, биологическими процессами, чисто математические ряды, а также другие приложения не относящиеся к бизнесу. Мы определили дополнительные исследования по цитатам. Этот процесс выдал всего 46 исследований. Впоследствии мы опросили авторов исследований, чтобы определить точной ли была наша интерпретация их исследований и найти другие исследования, которые должны быть включены в этот обзор. 12 (26%) авторов ответили и 2 указали по одному дополнительному исследованию. Эти два исследования были включены в обзор. Текущий вариант обзора включает 48 исследований между 1988 и 1994 годами, которые были использованы в задачах прогнозирования для бизнеса.
-==== Критерий оценки обучения ====+==== Критерий оценки исследования ====
  
 При оценке исследований мы были заинтересованы в ответах на 2 вопроса. Во-первых, сделали ли в исследовании оценку возможностей прогнозирования сети? Во-вторых, реализует ли исследование НС в соответствии с подходом, дающим реальный шанс на эффективность? Мы называем это эффективностью проверки и эффективностью реализации соответственно. При оценке исследований мы были заинтересованы в ответах на 2 вопроса. Во-первых, сделали ли в исследовании оценку возможностей прогнозирования сети? Во-вторых, реализует ли исследование НС в соответствии с подходом, дающим реальный шанс на эффективность? Мы называем это эффективностью проверки и эффективностью реализации соответственно.
Строка 109: Строка 111:
 Из 27 исследований, которые были фактически подтверждены, 18 (67%) сделали анализ чувствительности, для определения более подходящей структуры сети. В общем, большинство решили, что одного скрытого слоя достаточно для решаемой задачи. Однако, не было согласия относительно количества узлов, которое требуется включить в скрытый слой, что свидетельствует о необходимости дальнейших эмпирических исследований по этому вопросу. 11 (41%) исследований пытались контролировать градиентный спуск путём реализации динамического управления коэффициентом обучения. И вновь, необходимы дальнейшие эмпирические исследования, прежде чем предложить соответствующий диапазон скорости обучения. Интересно, что 27 исследований пытались контролировать потенциальные проблемы переобучения, которые могли возникнуть во время обучения с помощью перекрёстной проверки. Это разочаровывающий вывод, особенно в свете того, что алгоритм обратного распространения ошибки в НС, как известно, серьёзно склонен к переобучению. 18 (67%) из 26 исследований сообщили об использовании сигмоидальной функции активации. Остальные 9 не сообщали о конкретной функции преобразования. Эти исследования приведены в приложении В. Из 27 исследований, которые были фактически подтверждены, 18 (67%) сделали анализ чувствительности, для определения более подходящей структуры сети. В общем, большинство решили, что одного скрытого слоя достаточно для решаемой задачи. Однако, не было согласия относительно количества узлов, которое требуется включить в скрытый слой, что свидетельствует о необходимости дальнейших эмпирических исследований по этому вопросу. 11 (41%) исследований пытались контролировать градиентный спуск путём реализации динамического управления коэффициентом обучения. И вновь, необходимы дальнейшие эмпирические исследования, прежде чем предложить соответствующий диапазон скорости обучения. Интересно, что 27 исследований пытались контролировать потенциальные проблемы переобучения, которые могли возникнуть во время обучения с помощью перекрёстной проверки. Это разочаровывающий вывод, особенно в свете того, что алгоритм обратного распространения ошибки в НС, как известно, серьёзно склонен к переобучению. 18 (67%) из 26 исследований сообщили об использовании сигмоидальной функции активации. Остальные 9 не сообщали о конкретной функции преобразования. Эти исследования приведены в приложении В.
 ==== Заключение ==== ==== Заключение ====
 +
 +Из 48 исследований, которые мы оценивали, только 11 соответствовали всем нашим критериям эффективности проверки и реализации. Из оставшихся 38, в 17 представлены эффективные проверки, но недостаточно хорошая реализация. 11 из них сообщили о положительных результатах, несмотря на проблемы реализации. Всего из 48 исследований, 22 внесли вклад в наше знание относительно применимости НС для задач прогнозирования. 19 (86%) из этих результатов были благоприятны, 3 были отрицательными.
 +
 +Можно сделать 2 вывода из нашей оценки реализации НС для задач прогнозирования. Во-первых НС, когда они эффективно реализованы и проверены, показывают потенциал для задач прогнозирования. Во-вторых, значительной части исследований НС в области прогнозирования не хватает проверки. Более половины исследований страдали от проверки или реализации, что ставит их результаты под сомнение. Поэтому мы рекомендуем в будущих исследованиях в этой области приложить больше усилий к проверке.
 +
 +Пока значение НС для задач прогнозирования не установлено, требуется проводить сравнение между НС и альтернативными методами. Альтернативы, используемые для сравнения, должны быть простыми и признанными. Литература по прогнозированию выражает предпочтения простым моделям, кроме случая когда сложность даёт силу. Кроме того, результаты исследований показывают, что относительно простые модели экстраполяции являются надёжными. Сравнения должны быть основаны на работе вне обучающих выборок. Наконец, чтобы быть убедительным, существенный образец прогноза должен быть сгенерирован и сравнён.
 +
 +Исследователи возлагали надежды на потенциал НС в бизнес приложениях. Мы оценили 48 эмпирических исследований прикладных НС для задач прогнозирования в бизнесе. Около 48% исследований не смогли проверить предлагаемые НС. Из оставшихся 26 исследований 54% не смогли надлежащим образом реализовать методику НС, что не позволило им превзойти альтернативные методы, так что их неспособность не даёт ценной информации о полезности НС в целом. Это означает, что мы должны основывать какие-либо выводы о полезности НС для прогнозирования только на 46% исследований, проведённых в этой области. Эти 22 исследования содержат многообещающие результаты. У 19 (86%) из них НС превзошли альтернативные подходы. В восьми исследованиях, в которых были успешно проведены сравнения, НС работают менее, чем альтернативные варианты. Но в пяти из них были вопросы по качеству реализации НС. Это требует с некоторой оговоркой интерпретировать их результаты. Ещё раз предупреждаем, что предубеждение относительно публикации нулевого или отрицательного результата может привести к переизбытку успешных применений представленных в опубликованной литературе.
translate/how_effective_are_neural_networks_at_forecasting_and_prediction.1382645552.txt.gz · Последнее изменение: 2013/10/24 20:12 — artamonov