МГС  Московская Гигабитная Сеть
 www.umos.su info@umos.su  Выделенные линии Ве/б-Студия Хостинг Collocation
 Тарифы Вопросы и ответы Полезная информация Контакты

Трейдинг >> Системы

Страниц в ветке: 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | >> (все)
Aivenum
Гость


Зарегистрирован: 28/01/2010
Сообщений: 10
Нейронная сеть и генетический алгоритм - опыт использования
      #326975 - 02/03/2011 16:52 прикреплённые файлы (378 загрузок)

Решил поделиться своим опытом изучения рынка Forex. Для построения торговой системы выбрал как часто это бывает у всех кто любит халяву нейронные сети и генетический алгоритм. Что в общем логично, когда не знаешь где искать профит на рынке. Всегда есть надежда, что алгоритмы сами найдут, как обеспечить безбедную жизнь начинающего и не очень трейдера.

Для этого я выбрал:
1. Open BEAGLE - evolutionary computation framework.
2. NeuroSolutions - neural network.

Входные данные
Первая проблема которая возникает это выбор входных данных для нейронной сети. Тут я пошел по пути наименьшего сопротивления. Было решено подавать на вход все данные, которые дает рынок в неискаженном виде. То есть цена открытия, закрытия, максимум, минимум и объем. Все эти данные представлены в виде логарифма относительного приращения log(C(t)/C(t+1)).

Также на всякий случай для улавливания закономерностей были добавлены данные о дне недели и времени.

Тут рассмотрим поиск стратегии на 3х барах. От одного бара 5 входов соответственно для 3х это 15 + день и время. Итого 17 входов для нейронной сети.

Архитектура сети
На этом этапе можно потратить массу времени. Опять же если выбирать простейший путь нужно выбирать максимально простейшую архитектуру сети. Казалось бы, если такая сеть будет плохо справляться с построением системы, то с помощью увеличения сложности сети все можно исправить. Но как выяснилось все не так. Даже самая простейшая сеть в состоянии заучить рынок без найденной закономерности (если она даже теоретически есть).

И так простейшая сеть это всего 1 сигмоидальный нейрон. То есть входные данные передаются всего на один нейрон и на выходе получаем сигнал для торговли.

Поиск
Процесс поиска прост, перебираются варианты весов сети. Алгоритм был выбран CMA-ES. Для простейшей сети он подходит лучше всего. Функция оценки стратегии представляет из себя рост отхваченных пипсов за неделю. В борьбе с переоптимизацией решено тупо установить лимит профита. То есть если у рынка отхвачено больше 100 пипсов за неделю в течении года то эта стратегия хорошая.

Оптимизации на тейк профиты, стоплоcсы и и максимальную длинну сделки не рассматриваю намеренно. Т.к. они реально мешают оптимизации весов. Тут рассматриваем только возможности самой нейронной сети.

Тестирование
Оптимизация проводится на тренировочном участке истории (Train). Для оценки пригодности сети используем форвард тест(CV). Период тестирования будет отображать реальную торговлю (Test).

Для полноты картины приведу пример смещенных во времени оптимизаций. Так если бы трейдер искал новую оптимальную стратегию раз в 2 недели.

Инструмент: EURUSD
Таймфрейм: H1
История: 2009.12.21 -> 2011.02.28

Делалась генерация 45 сетей. Из них выбирались самые прибыльные на участке форвард тестирования(CV). Ниже показаны по 3 самые-самые...









Как результат видно, что действительно есть вероятность побывать в плюсе. Но субъективно кажется, что вероятность оказаться в минусе намного выше. То есть если перевернуть сигнал системы и вместо продажи покупать и т.д. то шанс отхватит у рынка немного пипсов чуть выше.

Сама же нейронная сеть (с одним нейроном!!!) на таком минимальном наборе входных данных показала слишком круто. Что даже страшно добавлять другие сигналы (например новости и т.п.). Т.к. выделить успешную торговую систему будет практически не возможно.

Заключение
И так для себя сделал вывод, что нейронные сети не самый лучший инструмент для поиска паттернов или чего-то там еще, что есть на рынке. Если у вас есть какие то идеи или камень в мой огород ,пожалуйста. Технические моменты и детали не описываю и не буду. Т.к. рассчитываю на подготовленную аудиторию.


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Tarasp
Статистик
****

Зарегистрирован: 09/03/2007
Сообщений: 413
Нахождение: moscow
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: Aivenum]
      #326995 - 02/03/2011 20:38

много перепробовал сетей и пришел к следующему выводу:

в таком применении нейросети малопригодны. если я правильно понял, то тут сеть - это аналог авторегрессии, чуть более умной. и прогнозирование (тип сигнала на сделку) идет непрерывно. но для прибыльной торговли это абсолютно не нужно! в основном рынок хаотичен и лишь изредка этот хаос немного упорядочивается. вот именно эти моменты и нужны.

поэтому после обучения сети из нее нужно извлечь комбинации входов, которые дают минимальную ошибку. у меня более выгодным оказалось использование сети, как классификатора.

--------------------
Усложнять - просто, упрощать - сложно...


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Aivenum
Гость


Зарегистрирован: 28/01/2010
Сообщений: 10
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: Tarasp]
      #327002 - 02/03/2011 22:49

По поводу торгового сигнала уточню. На выходе выходного нейрона проверяем если:
1. сигнал >= 0.5 покупка
2. сигнал <= -0.5 продажа
3. сигнал >= 0.2 завершаем short сделку
4. сигнал <= -0.2 завершаем long сделку

В данном подходе на самом деле абсолютно не важно, какой принцип реализует сеть внутри себя. Чем и привлекло меня с самого начала.

По поводу уменьшения какой-то ошибки. Какую ошибку вы уменьшали не понятно. То есть вы заранее знали, что нужно искать. А если есть идея, то мучиться с нейронными сетями есть ли смысл. Я же в идеале хотел получить систему без идей из своей головы. Мечта вечного халявщика.


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
fingoldo
Свой человек


Зарегистрирован: 03/05/2005
Сообщений: 40
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: Aivenum]
      #339713 - 26/07/2011 09:54

Ребят, добрый день.
Я понял после нескольких лет периодических попыток использования ИНС для прогнозирования в общем-то простую вещь. :-)
Прежде чем применять какой-либо инструмент для прогноза (неважно, линейную регрессию или ИНС или нечёткую экспертную систему) на рядах данных, нужно убедиться, что между интересующими Вас переменными вообще есть зависимость. Иначе 100% "мусор на входе-мусор на выходе". Совет: смотрите в сторону теоретико-информационных методов (mutual information и производные).


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
fingoldo
Свой человек


Зарегистрирован: 03/05/2005
Сообщений: 40
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: fingoldo]
      #339714 - 26/07/2011 10:02

А насчёт замечания Тараса о врЕменных "окнах", когда прогнозирование или классификация становятся возможны - тут можно применять коэффициент Хёрста, который показывает степень и характер предсказуемости временного ряда. Правда, он считается на основе только одного ряда, многомерных аналогов я не знаю..

Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
VovaMМодератор
майор
****

Зарегистрирован: 20/08/2003
Сообщений: 2504
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: fingoldo]
      #339775 - 26/07/2011 22:48

Все совершенно справедливо - для того что бы что то применять, нужно примерно понимать модель происходящего ("почему", "откуда", "как"). Но когда вы ее поймете - для достижение главной цели - прибыли, нейросеть уже нафиг не нужна.

--------------------
Все проблемы от того, что люди плохо фильтруют базар


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
DXiT
Свой человек


Зарегистрирован: 18/02/2009
Сообщений: 46
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: VovaM]
      #339866 - 28/07/2011 01:28

Был преподаватель на кафедре, лекции нам читал по нейронным сетям и искусственному интеллекту, и "про между делом" диссер по данной теме защитил. Фанат своего дела! Так вот бился он пару лет с прикручиванием нейронных сетей для прогнозирования поведения цены на форексе, на выходе увы получил пшик. Кстати в книге Кац и МакКормик-а результаты применения НС при walk forward проверке оказались тоже весьма плачевными. Для себя сделал выводы о не применимости данных методов "в лоб".

--------------------
Статистика - обоснованное отражение объективной реальности


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Dmitry_A_E
Unregistered




Re: Нейронная сеть и генетический алгоритм - опыт использования [re: Tarasp]
      #339867 - 28/07/2011 02:30

Нейросеть это один из классов универсальных апроксиматоров (проще говоря подгонщик под оригинал). Видов сетей много. Видел отчеты о неплохих результатах тестингов в т.ч. на данных которые сеть не видела в процессе обучения, провести эксперимент самому пока не хватает времени. Лично я чесно говоря пока придерживаюсь мнения что неудачи с сетями в неучитывании рыночных процессов, хотя-бы базовых - что рынок меняется, что погрешности будут полюбому и т.п.

Редактировано Dmitry_A_E (28/07/2011 02:31)


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Dmitry_A_E
Unregistered




Re: Нейронная сеть и генетический алгоритм - опыт использования [re: VovaM]
      #339868 - 28/07/2011 02:38

С другой стороны применяемая модель (вид сети) уже содержит в себе определенную идею и философию. Если точнее то не каждая сеть подойдет для рынка, т.к. рынок это процесс нестационарный (все знают я думаю какие у этой тайм серии свойства), а о моделировании нестационарных процессов нужно иметь представление еще до запуска сети...

Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
alles
Свой человек


Зарегистрирован: 01/09/2004
Сообщений: 44
Нахождение: Москва
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: ]
      #339926 - 28/07/2011 17:57

Все правильно: нейросеть - обычный аппроксиматор, коэффициенты подбираются так, чтобы результат был похож на исходную функцию. Поэтому прогнозировать она не может. Я тоже увлекался одно время нейросетями. После построения и оптимизации сети она мне прогнозировала таким образом: повторяла предыдущее движение - если вчера было плюс 100 пипсов, то прогноз на сегодня +100 пипсов. И это логично: это - самая лучшая аппроксимация случайного процесса

--------------------
С уважением,
alles


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Барин
Реинкарнировавший Kent
****

Зарегистрирован: 19/10/2009
Сообщений: 1478
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: alles]
      #339932 - 28/07/2011 18:35

прогнозировать нейросеть может

--------------------
Паттерн это регулярность.


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Andrewso
Верю, СССР
будет восстановлен
***

Зарегистрирован: 31/07/2006
Сообщений: 1624
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: Барин]
      #339941 - 28/07/2011 19:31

agree

Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
VovaMМодератор
майор
****

Зарегистрирован: 20/08/2003
Сообщений: 2504
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: ]
      #339947 - 28/07/2011 20:24

В ответ на :

Dmitry_A_E писал:
С другой стороны применяемая модель (вид сети) уже содержит в себе определенную идею и философию. Если точнее то не каждая сеть подойдет для рынка, т.к. рынок это процесс нестационарный (все знают я думаю какие у этой тайм серии свойства), а о моделировании нестационарных процессов нужно иметь представление еще до запуска сети...




На мой взгляд этот тип альтернативности примерно соответствует трудностям в выборе пластилина для детей - разный цвет, разные наборы, разные производители.
Но это все - пластилин.

--------------------
Все проблемы от того, что люди плохо фильтруют базар


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Юджин
Долгожитель
****

Зарегистрирован: 20/01/2008
Сообщений: 1076
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: VovaM]
      #339964 - 29/07/2011 00:14

Нейросеть это как полином n-й степени, отлично интерполирует, чуть хуже экстраполирует. Вообще c точки зрения математики нс корректно применять только к стационарным процессам, хоть и нелинейным по своей природе. Так что присоединюсь к тренду - нс в сторонку

--------------------
Не верь глазам своим


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Барин
Реинкарнировавший Kent
****

Зарегистрирован: 19/10/2009
Сообщений: 1478
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: Юджин]
      #339987 - 29/07/2011 10:14

поскольку нейросети могут согласно вики:
2.1 Распознавание образов и классификация
2.2 Принятие решений и управление
2.3 Кластеризация
2.4 Прогнозирование
2.5 Аппроксимация
2.6 Сжатие данных и Ассоциативная память

и для извлечения знаний (закономерностей) из данных, то нейросети вполне нормальный инструмент со своими плюсами и минусами

другой момент - кому какой инструмент удобнее, это скорее дело личных предпочтений и пристрастий

--------------------
Паттерн это регулярность.


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
KnyazSeverov
Душа форума
***

Зарегистрирован: 06/09/2010
Сообщений: 250
Нахождение: Rostov-on-Don
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: Барин]
      #340009 - 29/07/2011 12:27

На тему нужности/не нужности нейронных сетей: Интервью с Леонидом Величковским (LeoV)
Может быть это конечно уже баян, но тем кто не читал и интересуется нейронными сетями, я думаю стоит прочитать.

Цитата от туда:
В ответ на :


Обучали ли Вы сначала нейросеть на поиск оптимальных сигналов для входа в позицию, а затем уже дорабатывали стратегию по поиску стратегий выхода, или это происходило как то по-другому?
Я люблю переворотные стратегии. То есть вход является выходом из предыдущего входа. Я считаю, что если найти хорошие входы в рынок, к примеру buy, то они будут являться хорошими выходами из предыдущего sell, и наоборот. Хороших входов, на самом деле, не так уж и много. Поэтому я обучаю сеть на поиск только входов. Обычно для длинных входов использую одну нейросеть, для коротких входов другую. Но иногда одну и для длинных и для коротких. Но, кстати, могу сделать ТС без нейросетей. И она будет работать. Нейросеть - не грааль и не панацея. Это всего лишь инструмент, которым нужно уметь пользоваться. Есть очень много других инструментов, которые с успехом работают на финрынках не хуже, а может даже лучше нейросетей. В принципе, задача, как сделать на Форексе прибыльную торговую стратегию, как найти закономерности рынка, для меня решена. До конца не решенным остается вопрос выбора наиболее оптимальных параметров ТС для будущей торговли (наибольшей прибыльности) после ее оптимизации.





--------------------
Путь осилит идущий

Редактировано KnyazSeverov (29/07/2011 13:34)


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Dmitry_A_E
Unregistered




Re: Нейронная сеть и генетический алгоритм - опыт использования [re: KnyazSeverov]
      #340162 - 31/07/2011 23:51

Reading forex memory with five-day Markov chains

Для себя я сделал это более или менее строгое определение сантимента: Сантимент - это однонаправленное движение цены в течении нескольких баров. Оценивается приблизительно следующим образом:



Рост сантимента - рост однонарправленности движения цены.

Простейший пример использования сантимента (Марковости) - продолжение движения в течении нескольких баров после мощной свечи.

Редактировано Dmitry_A_E (01/08/2011 00:04)


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Барин
Реинкарнировавший Kent
****

Зарегистрирован: 19/10/2009
Сообщений: 1478
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: ]
      #340181 - 01/08/2011 09:58

марковость и сантимент разные вещи имхо
во всяком случае марковость имеет строгое определение
марковость здесь не причем

--------------------
Паттерн это регулярность.


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Dmitry_A_E
Unregistered




Re: Нейронная сеть и генетический алгоритм - опыт использования [re: Барин]
      #340182 - 01/08/2011 10:01

Не понял

Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Барин
Реинкарнировавший Kent
****

Зарегистрирован: 19/10/2009
Сообщений: 1478
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: ]
      #340189 - 01/08/2011 11:55

фраза "Простейший пример использования сантимента (Марковости)" подразумевает в моем понятии "сантимент = марковость"
смысл моего поста заключается в том, что это не так в моем понимании

--------------------
Паттерн это регулярность.


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Юджин
Долгожитель
****

Зарегистрирован: 20/01/2008
Сообщений: 1076
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: Барин]
      #340203 - 01/08/2011 15:00

А что есть такое сантимент в Вашем понимании?

--------------------
Не верь глазам своим


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Барин
Реинкарнировавший Kent
****

Зарегистрирован: 19/10/2009
Сообщений: 1478
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: Юджин]
      #340207 - 01/08/2011 15:39

в моем понимании это когерентное (согласованное, коррелированное) поведение участников рынка

--------------------
Паттерн это регулярность.


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Юджин
Долгожитель
****

Зарегистрирован: 20/01/2008
Сообщений: 1076
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: Барин]
      #340209 - 01/08/2011 15:47

Которое в свою очередь приводит к появлению "памяти" в ценах, так?

--------------------
Не верь глазам своим


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Барин
Реинкарнировавший Kent
****

Зарегистрирован: 19/10/2009
Сообщений: 1478
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: Юджин]
      #340214 - 01/08/2011 16:14

возможно, честно говоря, я не знаю, что точно приводит к появлению "памяти", думаю, много разных причин, в том числе новости, фундаментальные данные

--------------------
Паттерн это регулярность.


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Барин
Реинкарнировавший Kent
****

Зарегистрирован: 19/10/2009
Сообщений: 1478
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: Барин]
      #340231 - 01/08/2011 20:52

посмотрел статью по линку от Dmitry_A_E
Reading forex memory with five-day Markov chains
http://www.futuresmag.com/Issues/2011/May-2011/Pages/Reading-market-memory.aspx?page=1
попись Aleksey Yudin is a professional quantitative analyst. Reach him at yudinaleksey@hotmail.com
он же Алексей Юдин, он же Axiom( ник на данном форуме), вероятно он же ФеликсВайт

--------------------
Паттерн это регулярность.


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Барин
Реинкарнировавший Kent
****

Зарегистрирован: 19/10/2009
Сообщений: 1478
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: Барин]
      #340232 - 01/08/2011 21:11

вот еще:
First of all it is necessary to note that our approach can work only with liquid shares, therefore we selected only ones satisfying to the condition:

Average ((Closing of a day)*(Day Volume), 52 Weeks) >= $30 mio to construct the basket.
http://community.scottrade.com/blogs/310/461
Aleksey Yudin has been researching nonlinear methods as applied to markets since 2005 and he is an investment analyst of Universal Finance Systems Limited, United Kingdom. He can be reached at [Email]yudinaleksey@hotmail.com.[/Email]

т.е. вероятно на данном сайте был некий поиск клиентов под ником Аксиом и далее ФеликсВайт

тем же примерно пытался заняться и ник Cr

признаки так называемого приема - партизанский маркетинг

--------------------
Паттерн это регулярность.


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Dmitry_A_E
Unregistered




Re: Нейронная сеть и генетический алгоритм - опыт использования [re: ]
      #340238 - 02/08/2011 00:20

http://club.investo.ru/viewtopic.php?f=9&t=42053&start=45

Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Kobra007Модератор
Змей007
***

Зарегистрирован: 09/06/2003
Сообщений: 1727
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: ]
      #340240 - 02/08/2011 00:32

Ссылка заражена трояном JS/Kriptik.BP об ентом мне eSet мотюгнулся

Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Dmitry_A_E
Unregistered




Re: Нейронная сеть и генетический алгоритм - опыт использования [re: Kobra007]
      #340242 - 02/08/2011 00:37

Странно. У меня не показало трояна. Ссылка к тому, что Марковость обсуждали в далеком 2002-2003м гг., Атаман, Акело, Нео, ну и в сявязи с тем что картинки показанные там были тогда мной многократно просмотрены но не поняты, решил показать интересную статью, т.к. на форумах таких обсуждений я уже давно не видел.

Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Kobra007Модератор
Змей007
***

Зарегистрирован: 09/06/2003
Сообщений: 1727
Re: Нейронная сеть и генетический алгоритм - опыт использования [re: ]
      #340243 - 02/08/2011 00:42

Ну а у мну не токмо мотюгнулся, так еще и доступ сразу же перекрыл
01.08.2011 23:29:10 HTTP filter file http://club.investo.ru/viewtopic.php?f=9&t=42053&start=45 JS/Kryptik.BP trojan connection terminated - quarantined

А с интересными обсуждениями и темами действительно в последнее время йок, а может быр. Видимо все уже переговорено и иссякли силы у "старичков" с молодыми постоянно бодаться попусту.


Опции: Распечатать пост   Напомнить мне!   Оповестить модератора  
Страниц в ветке: 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | >> (все)



Дополнительная информация
0 зарегистрированных и 54 незарегистрированных пользователей просматривает форум.

Модератор:  Poul, Poul, 000, Akelo, mda, x4x, Uliss, TradingS, KMS, VovaM, mpfeltz, EVM, Stone, Apprentice, Neo, JC, Kobra007, GOOD_MAN, Oldman, Igonter, TradeSwing 

Распечатать тему

Доступ и ограничения:
      Вы не можете начать новую тему
      Вы не можете отвечать на тему
      HTML включён
      UBBCode включён

Рейтинг: ***
Тема прочитана: 114717

Рейтинг темы

Перейти на

Send letter to Poul | Предупреждение Poul Trade Forum

Powered by UBB.threads™ 6.5.4

Generated in 0.036 seconds in which 0.011 seconds were spent on a total of 13 queries. Zlib compression enabled.