Различия

Показаны различия между двумя версиями страницы.

--- translate:how_effective_are_neural_networks_at_forecasting_and_prediction [2013/10/24 19:10] – [Результаты] artamonov
+++ translate:how_effective_are_neural_networks_at_forecasting_and_prediction [2013/10/24 21:12] (текущий) – [Критерий оценки обучения] artamonov
@@ Строка 2: / Строка 2: @@
 Перевод статьи:
-How Eective are Neural Networks at Forecasting and Prediction? - Journal of Forecasting J. Forecast. 17, 481-495 (1998)
+How Effective are Neural Networks at Forecasting and Prediction? - Journal of Forecasting J. Forecast. 17, 481-495 (1998)
 Авторы: Monica Adya<sup>1</sup>, Fred Collopy<sup>2</sup>
   - University of Maryland at Baltimore County, USA
   - Case Western Reserve University, USA
+Перевод: Артамонов Юрий
 ==== Аннотация ====
@@ Строка 15: / Строка 17: @@
 ==== Введение ====
-Искусственные нейронные сети (НС) - вычислительные структуры, моделирующие свободные биологические процессы. НС изучают множество конкурирующих гипотез одновременно, используя массивно параллельные сети состоящие из нелинейных относительно вычислений элементов,  соединённых связями с различными весами. Этот соединённый набор весов, который содержит знание, генерируется НС. НСи были удачно использованы для низкоуровневых задач распознавания, таких как распознавание речи или символов. В настоящее время они изучаются для задач принятия решений и индукции.
+Искусственные нейронные сети - вычислительные структуры, моделирующие свободные биологические процессы. НС ((Нейронные Сети)) изучают множество конкурирующих гипотез одновременно, используя массивно параллельные сети состоящие из нелинейных относительно вычислений элементов,  соединённых связями с различными весами. Этот соединённый набор весов, который содержит знание, генерируется НС. НСи были удачно использованы для низкоуровневых задач распознавания, таких как распознавание речи или символов. В настоящее время они изучаются для задач принятия решений и индукции.
 В общем, модели НС описываются топологией сети, характеристиками узлов и правилами тренировки или обучения. НС состоят из большого числа простых обрабатывающих элементов, каждый из которых взаимодействует с другими посредством возбуждающих или тормозящих соединений. Распределённое представление поверх большого числа элементов вместе с взаимосвязью обрабатывающих элементов обеспечивает допустимую ошибку. Обучение достигается посредством правил, которые адаптируют веса связей в ответ на входные шаблоны. Изменения весов ассоциированных со связями позволяют приспосабливаться к новым ситуациям. Липман открыл широкий спектр топологий, которые используются для реализации НС.
@@ Строка 22: / Строка 24: @@
 Структура работы состоит в следующем. Во-первых, мы объясняем как были выбраны процедуры обучения. Затем мы описываем критерии, которые были использованы для их оценки. Далее мы обсудим наши результаты после применения критерия к обучающим процедурам. Наконец мы дадим некоторые рекомендации для улучшения исследований в этой области.
-==== Как выбирать обучение ====
+==== Как выбирались исследования ====
 Нас интересовало, в какой степени исследования в области НС внесли свой вклад в повышение точности прогнозов в бизнесе. Мы просмотрели 3 базы данных статей (Индекс цитирования социальных наук, Научный индекс цитирования и база статей бизнес тематики ABI Inform) и труды объединённой международной конференции IEEE/INNS. Наш поиск выдал широкий спектр приложений, ориентированных на задачи прогноза, от прогнозирования погоды до предсказаний цен на бирже. Для этой оценки мы исключили исследования, связанные с погодой, биологическими процессами, чисто математические ряды, а также другие приложения не относящиеся к бизнесу. Мы определили дополнительные исследования по цитатам. Этот процесс выдал всего 46 исследований. Впоследствии мы опросили авторов исследований, чтобы определить точной ли была наша интерпретация их исследований и найти другие исследования, которые должны быть включены в этот обзор. 12 (26%) авторов ответили и 2 указали по одному дополнительному исследованию. Эти два исследования были включены в обзор. Текущий вариант обзора включает 48 исследований между 1988 и 1994 годами, которые были использованы в задачах прогнозирования для бизнеса.
-==== Критерий оценки обучения ====
+==== Критерий оценки исследования ====
 При оценке исследований мы были заинтересованы в ответах на 2 вопроса. Во-первых, сделали ли в исследовании оценку возможностей прогнозирования сети? Во-вторых, реализует ли исследование НС в соответствии с подходом, дающим реальный шанс на эффективность? Мы называем это эффективностью проверки и эффективностью реализации соответственно.
@@ Строка 91: / Строка 93: @@
 === Эффективно проверенные положительные результаты, несмотря на проблемы реализации ===
+дополнительных исследований, которые были фактически подтверждены, показывают что НС работают лучше, чем сравниваемые модели. Датта (1994) использовала искусственные данные, рейтинг корпоративных облигаций и частоту покупки продукции как тестовые выборки для реализации НС. НС работали лучше чем множественная регрессия на искусственных данных, несмотря на подготовленное преимущество для регрессии. В предсказании рейтинга облигаций, НС последовательно превзошли регрессии, в то время как только одна конфигурация сетей превзошла регрессии в области частоты покупки продукции. Ли и Джи (1994) использовали НС для идентификации модели ARMA с расширенной автокорреляционной функцией образца. НС продемонстрировали превосходную точность классификации на искусственных данных. Затем НС были протестированы на данных из трёх предыдущих исследований, где модели были определены с использованием традиционных подходов. Авторы отмечают, что НС правильно определили модель ВНП США, индекс потребительских цен и кофеин.
+Другие исследования в области прогнозирования включают исследования Флетчера и Госса (1993), Десилтса (1992) и Кимото (1990). Флетчер и Госс (1993) разработали НС для классификации банкротств и сравнили свою НС с логическими моделями. НС превзошли логические модели, имея более низкую ошибку предсказания и меньшую дисперсию. Десилетс (1992) сравнил работу моделей регрессии с НС в прогнозировании солёности в заливе Чесапик. Результаты показывают, что НС работали эффективно по сравнению с регрессионными моделями. Кимото с соавторами (1990) прогнозировал время покупки и продажи акций на Токийской бирже. Их система, состоящая из многих НС, была сравнена с множественной регрессией. Коэффициенты корреляции с реальными движениями акций показали более высокое значение для НС, чем для регрессии. В этой же области Юн (1993) сравнивал работу НС с дискриминантным анализом для прогнозирования стоимости акций. Хотя исследование не проводило поперечных проверок, результаты показали, что НС работали значительно лучше чем дискриминантный анализ в классификации показателей акций.
+В области прогнозирования временных рядов, Чен, Ю и Моджадамжо (1992) использовали НС для прогнозирования электрической нагрузки. НС обеспечили лучший прогноз чем модели ARIMA. Они также лучше адаптированы к изменениям, показывая надёжность. Парк и др. (1991) также разработали НС прогнозирования в области электрической нагрузки и сравнили её работу с подходом, использующемся в электроцехах. Их НС значительно превзошла традиционные подходы. Танг, де Альмеида и Фишвик (1991) протестировали работу НС в прогнозировании продаж отечественных и зарубежных автомобилей, а также на данных авиапассажиров. Они сообщили, что НС работали лучше чем Бокс+Дженкинс для долгосрочных (12 и 24 месяцев) прогнозов, и также как Бокс+Дженкинс для краткосрочных (1 и 6 месяцев) прогнозов.
+=== Дальнейшая оценка реализаций алгоритма обратного распространения ошибки ===
+Из 48 исследований, 44 (88%) использовали алгоритм обратного распространения ошибки как алгоритм обучения. В литературе хорошо освещено, что этот подход может страдать от трёх потенциальных проблем. Во-первых, нет ни одной конфигурации, которая является достаточной для всех областей или даже в пределах одной области. А следовательно, топология должна быть определена методом проб и ошибок. Во-вторых такие НС восприимчивы к проблемам с локальными минимумами (Гроссберга 1998). Наконец, они склонны к переобучению. Рефенс (1995) предлагает 5 параметров управления, которые можно использовать, чтобы направлять эффективный дизайн НС. Мы рассмотрели 27 исследований, которые соответствовали нашим критериям эффективности проверки в отношении их подходов к этим управляющим критериям:
+  * Структура сети: Некоторые проблемы, такие как количество скрытых слоёв и узлов, вес соединений, дизайн снизу-вверх или сверху-вниз, можно определить как проблему наиболее эффективной структуры НС. Мы учитывали сделали ли в исследовании анализ чувствительности НС к количеству слоёв и узлов. Оценка других особенностей сети представляется сложной, учитывая уровень раскрытия информации, характерной для этих исследований.
+  * Градиентный спуск: манипуляции с коэффициентом обучения во время тренировки показали тенденцию к более эффективному снижению градиента на поверхности ошибок.
+  * Перекрёстная проверка: для предотвращения переобучения, Рефенс (1995) рекомендует проводить перекрёстную проверку во время обучения. Это облегчает завершение обучения и предотвращает переобучение.
+  * Перекрёстная функция: пока мы определили передаточные функции, мы не пытались оценить их относительные достоинства, а литература по этому вопросу остаётся неубедительной.
+  * Функция трансформации: все исследования, которые сообщили о них, использовали сигмоидальные функции.
+Из 27 исследований, которые были фактически подтверждены, 18 (67%) сделали анализ чувствительности, для определения более подходящей структуры сети. В общем, большинство решили, что одного скрытого слоя достаточно для решаемой задачи. Однако, не было согласия относительно количества узлов, которое требуется включить в скрытый слой, что свидетельствует о необходимости дальнейших эмпирических исследований по этому вопросу. 11 (41%) исследований пытались контролировать градиентный спуск путём реализации динамического управления коэффициентом обучения. И вновь, необходимы дальнейшие эмпирические исследования, прежде чем предложить соответствующий диапазон скорости обучения. Интересно, что 27 исследований пытались контролировать потенциальные проблемы переобучения, которые могли возникнуть во время обучения с помощью перекрёстной проверки. Это разочаровывающий вывод, особенно в свете того, что алгоритм обратного распространения ошибки в НС, как известно, серьёзно склонен к переобучению. 18 (67%) из 26 исследований сообщили об использовании сигмоидальной функции активации. Остальные 9 не сообщали о конкретной функции преобразования. Эти исследования приведены в приложении В.
 ==== Заключение ====
+Из 48 исследований, которые мы оценивали, только 11 соответствовали всем нашим критериям эффективности проверки и реализации. Из оставшихся 38, в 17 представлены эффективные проверки, но недостаточно хорошая реализация. 11 из них сообщили о положительных результатах, несмотря на проблемы реализации. Всего из 48 исследований, 22 внесли вклад в наше знание относительно применимости НС для задач прогнозирования. 19 (86%) из этих результатов были благоприятны, 3 были отрицательными.
+Можно сделать 2 вывода из нашей оценки реализации НС для задач прогнозирования. Во-первых НС, когда они эффективно реализованы и проверены, показывают потенциал для задач прогнозирования. Во-вторых, значительной части исследований НС в области прогнозирования не хватает проверки. Более половины исследований страдали от проверки или реализации, что ставит их результаты под сомнение. Поэтому мы рекомендуем в будущих исследованиях в этой области приложить больше усилий к проверке.
+Пока значение НС для задач прогнозирования не установлено, требуется проводить сравнение между НС и альтернативными методами. Альтернативы, используемые для сравнения, должны быть простыми и признанными. Литература по прогнозированию выражает предпочтения простым моделям, кроме случая когда сложность даёт силу. Кроме того, результаты исследований показывают, что относительно простые модели экстраполяции являются надёжными. Сравнения должны быть основаны на работе вне обучающих выборок. Наконец, чтобы быть убедительным, существенный образец прогноза должен быть сгенерирован и сравнён.
+Исследователи возлагали надежды на потенциал НС в бизнес приложениях. Мы оценили 48 эмпирических исследований прикладных НС для задач прогнозирования в бизнесе. Около 48% исследований не смогли проверить предлагаемые НС. Из оставшихся 26 исследований 54% не смогли надлежащим образом реализовать методику НС, что не позволило им превзойти альтернативные методы, так что их неспособность не даёт ценной информации о полезности НС в целом. Это означает, что мы должны основывать какие-либо выводы о полезности НС для прогнозирования только на 46% исследований, проведённых в этой области. Эти 22 исследования содержат многообещающие результаты. У 19 (86%) из них НС превзошли альтернативные подходы. В восьми исследованиях, в которых были успешно проведены сравнения, НС работают менее, чем альтернативные варианты. Но в пяти из них были вопросы по качеству реализации НС. Это требует с некоторой оговоркой интерпретировать их результаты. Ещё раз предупреждаем, что предубеждение относительно публикации нулевого или отрицательного результата может привести к переизбытку успешных применений представленных в опубликованной литературе.