Различия

Показаны различия между двумя версиями страницы.

--- translate:how_effective_are_neural_networks_at_forecasting_and_prediction [2013/10/24 19:22] – [Результаты] artamonov
+++ translate:how_effective_are_neural_networks_at_forecasting_and_prediction [2013/10/24 20:12] – [Результаты] artamonov
@@ Строка 22: / Строка 22: @@
 Структура работы состоит в следующем. Во-первых, мы объясняем как были выбраны процедуры обучения. Затем мы описываем критерии, которые были использованы для их оценки. Далее мы обсудим наши результаты после применения критерия к обучающим процедурам. Наконец мы дадим некоторые рекомендации для улучшения исследований в этой области.
-==== Как выбирать обучение ====
+==== Как выбирались исследования ====
 Нас интересовало, в какой степени исследования в области НС внесли свой вклад в повышение точности прогнозов в бизнесе. Мы просмотрели 3 базы данных статей (Индекс цитирования социальных наук, Научный индекс цитирования и база статей бизнес тематики ABI Inform) и труды объединённой международной конференции IEEE/INNS. Наш поиск выдал широкий спектр приложений, ориентированных на задачи прогноза, от прогнозирования погоды до предсказаний цен на бирже. Для этой оценки мы исключили исследования, связанные с погодой, биологическими процессами, чисто математические ряды, а также другие приложения не относящиеся к бизнесу. Мы определили дополнительные исследования по цитатам. Этот процесс выдал всего 46 исследований. Впоследствии мы опросили авторов исследований, чтобы определить точной ли была наша интерпретация их исследований и найти другие исследования, которые должны быть включены в этот обзор. 12 (26%) авторов ответили и 2 указали по одному дополнительному исследованию. Эти два исследования были включены в обзор. Текущий вариант обзора включает 48 исследований между 1988 и 1994 годами, которые были использованы в задачах прогнозирования для бизнеса.
@@ Строка 93: / Строка 93: @@
 дополнительных исследований, которые были фактически подтверждены, показывают что НС работают лучше, чем сравниваемые модели. Датта (1994) использовала искусственные данные, рейтинг корпоративных облигаций и частоту покупки продукции как тестовые выборки для реализации НС. НС работали лучше чем множественная регрессия на искусственных данных, несмотря на подготовленное преимущество для регрессии. В предсказании рейтинга облигаций, НС последовательно превзошли регрессии, в то время как только одна конфигурация сетей превзошла регрессии в области частоты покупки продукции. Ли и Джи (1994) использовали НС для идентификации модели ARMA с расширенной автокорреляционной функцией образца. НС продемонстрировали превосходную точность классификации на искусственных данных. Затем НС были протестированы на данных из трёх предыдущих исследований, где модели были определены с использованием традиционных подходов. Авторы отмечают, что НС правильно определили модель ВНП США, индекс потребительских цен и кофеин.
+Другие исследования в области прогнозирования включают исследования Флетчера и Госса (1993), Десилтса (1992) и Кимото (1990). Флетчер и Госс (1993) разработали НС для классификации банкротств и сравнили свою НС с логическими моделями. НС превзошли логические модели, имея более низкую ошибку предсказания и меньшую дисперсию. Десилетс (1992) сравнил работу моделей регрессии с НС в прогнозировании солёности в заливе Чесапик. Результаты показывают, что НС работали эффективно по сравнению с регрессионными моделями. Кимото с соавторами (1990) прогнозировал время покупки и продажи акций на Токийской бирже. Их система, состоящая из многих НС, была сравнена с множественной регрессией. Коэффициенты корреляции с реальными движениями акций показали более высокое значение для НС, чем для регрессии. В этой же области Юн (1993) сравнивал работу НС с дискриминантным анализом для прогнозирования стоимости акций. Хотя исследование не проводило поперечных проверок, результаты показали, что НС работали значительно лучше чем дискриминантный анализ в классификации показателей акций.
+В области прогнозирования временных рядов, Чен, Ю и Моджадамжо (1992) использовали НС для прогнозирования электрической нагрузки. НС обеспечили лучший прогноз чем модели ARIMA. Они также лучше адаптированы к изменениям, показывая надёжность. Парк и др. (1991) также разработали НС прогнозирования в области электрической нагрузки и сравнили её работу с подходом, использующемся в электроцехах. Их НС значительно превзошла традиционные подходы. Танг, де Альмеида и Фишвик (1991) протестировали работу НС в прогнозировании продаж отечественных и зарубежных автомобилей, а также на данных авиапассажиров. Они сообщили, что НС работали лучше чем Бокс+Дженкинс для долгосрочных (12 и 24 месяцев) прогнозов, и также как Бокс+Дженкинс для краткосрочных (1 и 6 месяцев) прогнозов.
+=== Дальнейшая оценка реализаций алгоритма обратного распространения ошибки ===
+Из 48 исследований, 44 (88%) использовали алгоритм обратного распространения ошибки как алгоритм обучения. В литературе хорошо освещено, что этот подход может страдать от трёх потенциальных проблем. Во-первых, нет ни одной конфигурации, которая является достаточной для всех областей или даже в пределах одной области. А следовательно, топология должна быть определена методом проб и ошибок. Во-вторых такие НС восприимчивы к проблемам с локальными минимумами (Гроссберга 1998). Наконец, они склонны к переобучению. Рефенс (1995) предлагает 5 параметров управления, которые можно использовать, чтобы направлять эффективный дизайн НС. Мы рассмотрели 27 исследований, которые соответствовали нашим критериям эффективности проверки в отношении их подходов к этим управляющим критериям:
+  * Структура сети: Некоторые проблемы, такие как количество скрытых слоёв и узлов, вес соединений, дизайн снизу-вверх или сверху-вниз, можно определить как проблему наиболее эффективной структуры НС. Мы учитывали сделали ли в исследовании анализ чувствительности НС к количеству слоёв и узлов. Оценка других особенностей сети представляется сложной, учитывая уровень раскрытия информации, характерной для этих исследований.
+  * Градиентный спуск: манипуляции с коэффициентом обучения во время тренировки показали тенденцию к более эффективному снижению градиента на поверхности ошибок.
+  * Перекрёстная проверка: для предотвращения переобучения, Рефенс (1995) рекомендует проводить перекрёстную проверку во время обучения. Это облегчает завершение обучения и предотвращает переобучение.
+  * Перекрёстная функция: пока мы определили передаточные функции, мы не пытались оценить их относительные достоинства, а литература по этому вопросу остаётся неубедительной.
+  * Функция трансформации: все исследования, которые сообщили о них, использовали сигмоидальные функции.
+Из 27 исследований, которые были фактически подтверждены, 18 (67%) сделали анализ чувствительности, для определения более подходящей структуры сети. В общем, большинство решили, что одного скрытого слоя достаточно для решаемой задачи. Однако, не было согласия относительно количества узлов, которое требуется включить в скрытый слой, что свидетельствует о необходимости дальнейших эмпирических исследований по этому вопросу. 11 (41%) исследований пытались контролировать градиентный спуск путём реализации динамического управления коэффициентом обучения. И вновь, необходимы дальнейшие эмпирические исследования, прежде чем предложить соответствующий диапазон скорости обучения. Интересно, что 27 исследований пытались контролировать потенциальные проблемы переобучения, которые могли возникнуть во время обучения с помощью перекрёстной проверки. Это разочаровывающий вывод, особенно в свете того, что алгоритм обратного распространения ошибки в НС, как известно, серьёзно склонен к переобучению. 18 (67%) из 26 исследований сообщили об использовании сигмоидальной функции активации. Остальные 9 не сообщали о конкретной функции преобразования. Эти исследования приведены в приложении В.
 ==== Заключение ====