polski
Ostatnia modyfikacja podstrony: 08.03.2019 11:52
Wykład
Sieci neuronowe i algorytmy genetyczne
| Lp. | Tematy zajęć: | Materiały pomocnicze |
|---|---|---|
| 1 | Biologiczne sieci neuronowe: system nerwowy organizmów, neuron biologiczny, pompa sodowo-potasowa – Jens Christian Skou, potencjał czynnościowy komórki nerwowej, model Huxley’a i Hodgkina błony neuronu, synapsa (osiągnięcia Johna Carewa Ecclesa). | 01_neuron-biologiczny_www.pdf |
| 2 | Sztuczne sieci neuronowe (ANN) – nowa dziedzina nauk technicznych, historia i przegląd zagadnień: neuron McCullocha-Pittsa, reguła Hebba, perceptron Rosenblatta, koncepcje sztucznego mózgu Johna von Neumanna, sieci ADALINE i MADALINE Bernarda Widrowa i Teda Hoffa, krytyczna monografia Marvina Minsky’ego i Seymoura Paperta – okres zniechęcenia zagadnieniami sieci neuronowych i stagnacji, sieci asocjacyjne Johna Andersona i Teuva Kohonena, metoda wstecznej propagacji błędu, cognitron i neocognitron, nowe koncepcje – ART (adaptive resonance theory), CNN (cellular neural networks) Leona Chuy, ponowny okres entuzjazmu i burzliwego rozwoju ANN. | 02_historia-ANN_www.pdf |
| 3 | Modele sztucznych sieci neuronowych: zastosowania modelu neuronu McCullocha-Pittsa, ogólny model neuronu w ANN, funkcje aktywacji, perceptron, przestrzeń sygnałów warstwy ANN; neuron jako klasyfikator, jednokierunkowa sieć neuronowa, przykład dwuwarstwowej sieci neuronowej, sieci neuronowe ze sprzężeniem zwrotnym. | 03_modele-ANN_www.pdf |
| 4 | Reguły uczenia sieci neuronowych: proces uczenia się – adaptacja i uogólnienie, twardo- i miękkodecyzyjne metody optymalizacji, dobieranie stanów równowagi, uczenie z nauczycielem i bez nauczyciela, ogólna reguła uczenia sieci neuronowych – reguła Amariego, reguła Hebba, reguła perceptronowa, reguła delta, reguła Widrowa-Hoffa, reguła korelacyjna, reguła „wygrywający bierze wszystko”, reguła gwiazdy wyjść. | 04_uczenie-ANN_www.pdf |
| 5 | Klasyfikatory neuronowe: neuronowe układy decyzyjne, funkcja decyzyjna, sygnalizacja klasyfikacji do wielu klas, dychotomizator, klasyfikacja minimalno-odległościowa, liniowo separowane i nieseparowane obszary decyzyjne, uczenie (projektowanie nieparametryczne) dychotomizatora. | 05_klasyfikator-dyskretny_www.pdf |
| 6 | Dychotomizatory ciągłe: funkcje aktywacji, sygnał nauczyciela, błąd a poprawka i ich energia, gradientowy algorytm uczenia neuronu, uczenie dychotomizatora ciągłego. | 06_klasyfikator-ciagly_www.pdf |
| 7 | Klasyfikatory do wielu klas: sygnalizacja klasyfikacji do wielu klas (reprezentacja lokalna, reprezentacja rozproszona), klasyfikator z selektorem maksimum, klasyfikator z dyskretnymi funkcjami aktywacji. | 07_klasyfikator-do-wielu-klas_www.pdf |
| 8 | Sieci wielowarstwowe jednokierunkowe: koncepcja wielowarstwowych sieci neuronowych – przestrzeń odwzorowań, klasyfikacja sygnałów liniowo nieseparowanych, realizacja funkcji XOR; reguła uczenia delta sieci jednowarstwowych, reguła uczenia delta sieci dwuwarstwowych, metoda wstecznej propagacji błędu. | 08_sieci-wielowarstwowe_www.pdf |
| 9 | Pamięci asocjacyjne: tradycyjne systemy pamięci a pamięci asocjacyjne, asocjacje i autoasocjacje, opis pamięci asocjacyjnych, asocjator liniowy, asocjator Hopfielda. | |
| 10 | Metoda klasyfikacji danych za pomocą wektorów nośnych (maszyna wektorów nośnych SVM): koncepcja SVM, algorytmy SVM, „trik” obliczeniowy polegający na zmianie i doborze funkcji jądra. |
10_SVM-1_www.pdf |
| 11 | Komórkowe sieci neuronowe: przestrzenne struktury sieci neuronowych, znaczenie oddziaływań lokalnych i sprzężeń zwrotnych, generacja i rozpoznawanie wzorców w nieliniowych sieciach komórkowych. | |
| 12 | Algorytmy genetyczne: optimum globalne i optima lokalne, koncepcja twardej i miękkiej selekcji, koncepcja ewolucji populacji poprzez przypadkowe mutacje i dobór naturalny, probabilistyczne metody optymalizacji, obliczenia ewolucyjne. | 12_algorytmy-genetyczne_www.pdf |
| 13 | Separacja sygnałów: koncepcja ślepej separacji sygnałów, metody i algorytmy PCA (SVD) oraz ICA, realizacja metody ICA za pomocą sieci neuronowych, separacja sygnałów z wykorzystaniem informacji pomocniczych. |
13_separacja-sygnalow-1_www.pdf |
| 14 | Głębokie sieci neuronowe i przetwarzanie danych nieujemnych: głębokie, splotowe sieci neuronowe, metoda nieujemnej faktoryzacji macierzy (NNMF), przetwarzanie dużych zbiorów danych, algorytmy iteracyjne NNMF, zastosowania NNMF do rozpoznawania tekstów, twarzy i głosu. | |
| 15 | Podsumowanie i przykłady zastosowań sieci neuronowych i algorytmów genetycznych: zagadnienia sztucznej inteligencji i inteligencji obliczeniowej, algorytmy OCR, odtwarzanie i poprawa jakości sygnałów. | |
Wybrana literatura:
1. J. Żurada, M. Barski, W. Jędruch, Sztuczne sieci neuronowe, PWN, Warszawa 1996
2. A. Rutkowski, M. Czoków, J. Piersa, Wstęp do sieci neuronowych, SVM, Uniwersytet M. Kopernika, Toruń, 2016