Ostatnia modyfikacja podstrony: 08.03.2019 11:52

Wykład

Sieci neuronowe i algorytmy genetyczne

Lp.	Tematy zajęć:	Materiały pomocnicze
1	Biologiczne sieci neuronowe: system nerwowy organizmów, neuron biologiczny, pompa sodowo-potasowa – Jens Christian Skou, potencjał czynnościowy komórki nerwowej, model Huxley’a i Hodgkina błony neuronu, synapsa (osiągnięcia Johna Carewa Ecclesa).	01_neuron-biologiczny_www.pdf
2	Sztuczne sieci neuronowe (ANN) – nowa dziedzina nauk technicznych, historia i przegląd zagadnień: neuron McCullocha-Pittsa, reguła Hebba, perceptron Rosenblatta, koncepcje sztucznego mózgu Johna von Neumanna, sieci ADALINE i MADALINE Bernarda Widrowa i Teda Hoffa, krytyczna monografia Marvina Minsky’ego i Seymoura Paperta – okres zniechęcenia zagadnieniami sieci neuronowych i stagnacji, sieci asocjacyjne Johna Andersona i Teuva Kohonena, metoda wstecznej propagacji błędu, cognitron i neocognitron, nowe koncepcje – ART (adaptive resonance theory), CNN (cellular neural networks) Leona Chuy, ponowny okres entuzjazmu i burzliwego rozwoju ANN.	02_historia-ANN_www.pdf
3	Modele sztucznych sieci neuronowych: zastosowania modelu neuronu McCullocha-Pittsa, ogólny model neuronu w ANN, funkcje aktywacji, perceptron, przestrzeń sygnałów warstwy ANN; neuron jako klasyfikator, jednokierunkowa sieć neuronowa, przykład dwuwarstwowej sieci neuronowej, sieci neuronowe ze sprzężeniem zwrotnym.	03_modele-ANN_www.pdf
4	Reguły uczenia sieci neuronowych: proces uczenia się – adaptacja i uogólnienie, twardo- i miękkodecyzyjne metody optymalizacji, dobieranie stanów równowagi, uczenie z nauczycielem i bez nauczyciela, ogólna reguła uczenia sieci neuronowych – reguła Amariego, reguła Hebba, reguła perceptronowa, reguła delta, reguła Widrowa-Hoffa, reguła korelacyjna, reguła „wygrywający bierze wszystko”, reguła gwiazdy wyjść.	04_uczenie-ANN_www.pdf
5	Klasyfikatory neuronowe: neuronowe układy decyzyjne, funkcja decyzyjna, sygnalizacja klasyfikacji do wielu klas, dychotomizator, klasyfikacja minimalno-odległościowa, liniowo separowane i nieseparowane obszary decyzyjne, uczenie (projektowanie nieparametryczne) dychotomizatora.	05_klasyfikator-dyskretny_www.pdf
6	Dychotomizatory ciągłe: funkcje aktywacji, sygnał nauczyciela, błąd a poprawka i ich energia, gradientowy algorytm uczenia neuronu, uczenie dychotomizatora ciągłego.	06_klasyfikator-ciagly_www.pdf
7	Klasyfikatory do wielu klas: sygnalizacja klasyfikacji do wielu klas (reprezentacja lokalna, reprezentacja rozproszona), klasyfikator z selektorem maksimum, klasyfikator z dyskretnymi funkcjami aktywacji.	07_klasyfikator-do-wielu-klas_www.pdf
8	Sieci wielowarstwowe jednokierunkowe: koncepcja wielowarstwowych sieci neuronowych – przestrzeń odwzorowań, klasyfikacja sygnałów liniowo nieseparowanych, realizacja funkcji XOR; reguła uczenia delta sieci jednowarstwowych, reguła uczenia delta sieci dwuwarstwowych, metoda wstecznej propagacji błędu.	08_sieci-wielowarstwowe_www.pdf
9	Pamięci asocjacyjne: tradycyjne systemy pamięci a pamięci asocjacyjne, asocjacje i autoasocjacje, opis pamięci asocjacyjnych, asocjator liniowy, asocjator Hopfielda.	09_pamieci-asocjacyjne-1_www.pdf 09_pamieci-asocjacyjne-2_www.pdf
10	Metoda klasyfikacji danych za pomocą wektorów nośnych (maszyna wektorów nośnych SVM): koncepcja SVM, algorytmy SVM, „trik” obliczeniowy polegający na zmianie i doborze funkcji jądra.	10_SVM-1_www.pdf 10_SVM-2_www.pdf
11	Komórkowe sieci neuronowe: przestrzenne struktury sieci neuronowych, znaczenie oddziaływań lokalnych i sprzężeń zwrotnych, generacja i rozpoznawanie wzorców w nieliniowych sieciach komórkowych.	11_CNN_www.pdf
12	Algorytmy genetyczne: optimum globalne i optima lokalne, koncepcja twardej i miękkiej selekcji, koncepcja ewolucji populacji poprzez przypadkowe mutacje i dobór naturalny, probabilistyczne metody optymalizacji, obliczenia ewolucyjne.	12_algorytmy-genetyczne_www.pdf
13	Separacja sygnałów: koncepcja ślepej separacji sygnałów, metody i algorytmy PCA (SVD) oraz ICA, realizacja metody ICA za pomocą sieci neuronowych, separacja sygnałów z wykorzystaniem informacji pomocniczych.	13_separacja-sygnalow-1_www.pdf 13_separacja-sygnalow-2_www.pdf
14	Głębokie sieci neuronowe i przetwarzanie danych nieujemnych: głębokie, splotowe sieci neuronowe, metoda nieujemnej faktoryzacji macierzy (NNMF), przetwarzanie dużych zbiorów danych, algorytmy iteracyjne NNMF, zastosowania NNMF do rozpoznawania tekstów, twarzy i głosu.	14_DNN_www.pdf 14_DNN-CNN_www.pdf
15	Podsumowanie i przykłady zastosowań sieci neuronowych i algorytmów genetycznych: zagadnienia sztucznej inteligencji i inteligencji obliczeniowej, algorytmy OCR, odtwarzanie i poprawa jakości sygnałów.	15_ANN-AI-podsumowanie_www.pdf 15_ANN-AI-zastosowania_www.pdf

Wybrana literatura:

1. J. Żurada, M. Barski, W. Jędruch, Sztuczne sieci neuronowe, PWN, Warszawa 1996

2. A. Rutkowski, M. Czoków, J. Piersa, Wstęp do sieci neuronowych, SVM, Uniwersytet M. Kopernika, Toruń, 2016