„Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski
description
Transcript of „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski
![Page 1: „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski](https://reader030.fdocument.pub/reader030/viewer/2022033104/56814654550346895db369b6/html5/thumbnails/1.jpg)
„Sieci neuronowew zagadnieniach predykcji
danych finansowych”Autor: Marcin Mierzejewski
Promotor: Dr hab. Inż. Jacek Mańdziuk
![Page 2: „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski](https://reader030.fdocument.pub/reader030/viewer/2022033104/56814654550346895db369b6/html5/thumbnails/2.jpg)
Sieci neuronowe w zagadnieniach predykcji finansowych
Spis treści
1. Zastosowane rodzaje sieci
2. Szeregi czasowe, a predykcja
3. Sieci neuronowe rozszerzeniem popularnych modeli
4. Omówienie zastosowanych algorytmów
5. Przykładowe rezultaty
6. EMH (Hipoteza Rynku Efektywnego)
7. Podsumowanie
![Page 3: „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski](https://reader030.fdocument.pub/reader030/viewer/2022033104/56814654550346895db369b6/html5/thumbnails/3.jpg)
Sieci neuronowe w zagadnieniach predykcji finansowych
Zastosowane sieci
w. ukryta
w. wejściowa w. kontekstowa
w. wyjściowa
w. ukryta
w. wejściowa w. kontekstowa
w. wyjściowa
w. ukryta
w. wejściowa
w. wyjściowa
Sieć Elmana Sieć Jordana
Sieć jednokierunkowa
![Page 4: „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski](https://reader030.fdocument.pub/reader030/viewer/2022033104/56814654550346895db369b6/html5/thumbnails/4.jpg)
Sieci neuronowe w zagadnieniach predykcji finansowych
Defnicja problemu
• Szeregi czasowe w predykcji– uporządkowane w czasie ciągi ,
gdzie
• Predykcja – aproksymacja funkcji
–
},...,1),,{( NtzX htt
N
thtt zXgeE
1
)),((
htt zXf )(
)( tXg )( tXf
![Page 5: „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski](https://reader030.fdocument.pub/reader030/viewer/2022033104/56814654550346895db369b6/html5/thumbnails/5.jpg)
Sieci neuronowe w zagadnieniach predykcji finansowych
Predykcja, a sieci neuronowe
• Sieci neuronowe jednokierunkowe– Uniwersalny aproksymator. Funkcję
można aproksymować siecią opisaną przez:
– Rozszerzenie modelu autoregresji
o nieliniowość
mn RRpF )(
))(()(1 1
k
jl
n
ijiijjl pwvpF
)())(),...,1(()()()(1
teqtxtxFteitxtx Lq
ii
![Page 6: „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski](https://reader030.fdocument.pub/reader030/viewer/2022033104/56814654550346895db369b6/html5/thumbnails/6.jpg)
Sieci neuronowe w zagadnieniach predykcji finansowych
Sieci Jordana – rozszerzenie ARMA
• ARMA– – Kolejne elementy szeregu mogą być modelowane siecią neuronową
równoważną do Jordana:
)(ˆ)()(ˆ txtxte
)())(ˆ),...,1(ˆ),(),...,1(()( teqteteptxtxFtx NN
p
i
q
iii teiteitxtx
1 1
)()()()(
)1( tx )1(ˆ tx
)(ˆ tx
![Page 7: „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski](https://reader030.fdocument.pub/reader030/viewer/2022033104/56814654550346895db369b6/html5/thumbnails/7.jpg)
Sieci neuronowe w zagadnieniach predykcji finansowych
Sieć Jordana - mechanizm
• Sieć Jordana opisuje
• Równoważność
• „Ulepszenie” – pamięć
))(ˆ),...,1(ˆ),(),...,1(()(ˆ qtxtxptxtxFtx NN
k
jl
p
ijijjpi
ite
ijij itxwwitxitxwvtx1 1
,
)(ˆ
)))(ˆ)())(ˆ)(((()(ˆ
))1(ˆ)1(( txvtafa iiCi
Ci
![Page 8: „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski](https://reader030.fdocument.pub/reader030/viewer/2022033104/56814654550346895db369b6/html5/thumbnails/8.jpg)
Sieci neuronowe w zagadnieniach predykcji finansowych
Liniowy model przestrzeni stanów
• Założenie– Szeregi czasowe mogą być opisane przez liniową
transformację stanów zależnych od czasu:
– Wektor stanu opisany jest przez model ARMA[1,1]:
)()()( tetsCtx
)()1()( tBtsAts
![Page 9: „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski](https://reader030.fdocument.pub/reader030/viewer/2022033104/56814654550346895db369b6/html5/thumbnails/9.jpg)
Sieci neuronowe w zagadnieniach predykcji finansowych
Powiązanie z siecią Elmana
– Zakładamy, że wektor stanów jest zależny od przeszłego wektora w sekwencji i otrzymujemy równanie opisujące stan warstwy kontekstowej w sieci Elmana:
– Aktywacja warstwy ukrytej:
))1())1(()( txDtsAts
)1()1()( txDtsAts
![Page 10: „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski](https://reader030.fdocument.pub/reader030/viewer/2022033104/56814654550346895db369b6/html5/thumbnails/10.jpg)
Sieci neuronowe w zagadnieniach predykcji finansowych
Algorytmy - Backprop
• Klasyczna metoda propagacji wstecznej (Backprop)– Iteracyjne poszukiwanie minimum funkcji błędu w kierunku przeciwnym
do gradientu funkcji względem wagi– Cechy
• Metoda lokalna
• Łatwo wpada w płytkie minima
• „Wolna” zbieżność
• Backprop z momentem– Do poprawki wagi dodano tzw. czynnik momentu– Cechy
• Zwiększenie szybkości zbieżności na płaskich obszarach funkcji błędu
![Page 11: „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski](https://reader030.fdocument.pub/reader030/viewer/2022033104/56814654550346895db369b6/html5/thumbnails/11.jpg)
Sieci neuronowe w zagadnieniach predykcji finansowych
Algorytmy - Quickprop
• Quickprop– Metoda lokalna, drugiego rzędu– Zakłada się, że funkcja błędu ma kształt paraboli– Poprawki wag są ustalane tak żeby funkcja osiągała minimum paraboli– Cechy:
• Znacznie szybsza zbieżność niż w metodach backprop
• Znacznie mniejsze prawdopodobieństwo utknięcia w płytkim minimum lokalnym
![Page 12: „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski](https://reader030.fdocument.pub/reader030/viewer/2022033104/56814654550346895db369b6/html5/thumbnails/12.jpg)
Sieci neuronowe w zagadnieniach predykcji finansowych
Algorytmy - Rprop
• Rprop– Metoda lokalna, drugiego rzędu– Nie korzysta z wielkości pochodnej cząstkowej f. błędu względem wagi,
a tylko z jej znaku– Jeżeli dwie kolejne pochodne mają ten sam znak to następuje
zwiększenie poprawki– Cechy:
• Bardzo szybka (nawet od Quickprop)
• Także znacznie mniejsze prawdopodobieństwo wpadnięcia w minimum lokalne niż w Backprop
![Page 13: „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski](https://reader030.fdocument.pub/reader030/viewer/2022033104/56814654550346895db369b6/html5/thumbnails/13.jpg)
Sieci neuronowe w zagadnieniach predykcji finansowych
Algorytmy - TBPTT
• Truncated Backpropagation Throught Time– Wyliczanie gradientu analogiczne do klasycznego Backpropagation, ale
korzysta się z historii aktywacji (ustalonej głębokości)– Jeżeli przechowywane są wszystkie aktywacje to obliczony gradient jest
dokładny– Cechy:
• Bardzo kosztowne jest przechowywanie historii aktywacji
• Nie ma gwarancji zbieżności do minimum lokalnego
• Trudno jest uzyskać dobre wyniki
![Page 14: „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski](https://reader030.fdocument.pub/reader030/viewer/2022033104/56814654550346895db369b6/html5/thumbnails/14.jpg)
Sieci neuronowe w zagadnieniach predykcji finansowych
Predykcja - rezultaty
• Jednodniowa predykcja zmiany względnej microsoftu:
Sieć: ElmanKorelacja: 0.0136MAPE: 140.34%Theil: 1.0132MPpT: 0.46
![Page 15: „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski](https://reader030.fdocument.pub/reader030/viewer/2022033104/56814654550346895db369b6/html5/thumbnails/15.jpg)
Sieci neuronowe w zagadnieniach predykcji finansowych
Predykcja - rezultaty
• Jednodniowa predykcja normalizacji średnią kroczącą 7 okresową
Sieć: ElmanKorelacja: 0.7386MAPE: 23.59%Theil: 1.0646MPpT: 0.485
![Page 16: „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski](https://reader030.fdocument.pub/reader030/viewer/2022033104/56814654550346895db369b6/html5/thumbnails/16.jpg)
Sieci neuronowe w zagadnieniach predykcji finansowych
Predykcja - rezultaty
• Jednodniowa predykcja normalizacji trendem wielomianowym
Sieć: ElmanKorelacja: 0.9604MAPE: 15.67%Theil: 1.1532MPpT: 0.5
Po przesunięciu:Korelacja: 0.9932MAPE: 1.159396Theil: 0.662319MPpT: 0.935
![Page 17: „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski](https://reader030.fdocument.pub/reader030/viewer/2022033104/56814654550346895db369b6/html5/thumbnails/17.jpg)
Sieci neuronowe w zagadnieniach predykcji finansowych
Hipoteza efektywności rynku
• Hipoteza:– Rynek jest efektywny gdy wartości walorów na rynku odzwierciedlają
wszystkie informacje na ich temat– Trzy formy: słaba (predykcja na podstawie analizy technicznej jest
niemożliwa), średnia (predykcja na podstawie analizy technicznej i fundamentalnej jest niemożliwa, mocna (predykcja niemożliwa)
– Jeżeli rynek jest efektywny to ceny generowane są przez proces błądzenia losowego
![Page 18: „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski](https://reader030.fdocument.pub/reader030/viewer/2022033104/56814654550346895db369b6/html5/thumbnails/18.jpg)
Sieci neuronowe w zagadnieniach predykcji finansowych
Interpretacja
• Średnia zmian względnych bliska zeru• Próba predykcji podjęta na podstawie danych z analizy
technicznej (słaba forma efektywności ?)• Zmiany cen nie są skorelowane z przedmiotem predykcji• „Echo” – jeżeli zmiany cen są losowe więc niezależne,
najlepszą predykcją jest cena z dnia poprzedniego (błądzenie)
![Page 19: „Sieci neuronowe w zagadnieniach predykcji danych finansowych” Autor: Marcin Mierzejewski](https://reader030.fdocument.pub/reader030/viewer/2022033104/56814654550346895db369b6/html5/thumbnails/19.jpg)
Sieci neuronowe w zagadnieniach predykcji finansowych
Zakończenie
• Predykcja za pomocą sieci jest możliwa (liczne publikacje)
• Do cen Microsoftu może stosować się słaba forma efektywności rynku