Biologisch motiviertes Training

[erniejunior]

Hallo,

schon seit einiger Zeit geistert in meinem Kopf die Idee von einem neuronalen Netz herum, welches lernt indem es die Gewichtungen seiner Verbindungen selbst modifiziert. Ich dachte, dass jedes Neuron des Netzes mit jeder Verbindung direkt verbunden ist. Die Stärke des Signals, welches bei den Verbindungen so ankommt könnte für das des Gewichts stehen. Wenn das zu "einfach" ist könnte man da auch noch Neuronen "dazwischen" plazieren. Man hätte dann quasi zwei neuronale Netze. Das "Hauptnetz" und ein 2. Netz, das die Deltas für dieses "Hauptnetz" errechnet. Dieses 2. Netz könnte mit evolutionären Verfahren trainiert werden. Es würde sich quasi ein Lernalgroithmus ohne äußeres Zutun entwickeln.
Ich hoffe das war jetzt einigermaßen verständlich. Was meint ihr dazu? Könnte das Erfolg haben? Oder ist das einfach nur ein Produkt meiner jugendlichen Naivität?


Grüße


erniejunior

[opp]

Sorry für die späte Antwort (diplomarbeit). Der Ansatz hört sich interessant an, aber bitte definiere ihn noch mal geordnet, damit ich auch wirklich schlau draus werde.

Prinzipiell muss man mit solchen Selbständerungen vorsichtig sein, da man nicht will, dass das ganze divergiert oder in einer weise oszilliert, die nicht zielführend ist.

[erniejunior]

So ich habe mich mal hingesetzt und nochmal in Ruhe alles geordnet aufgeschrieben und ein Bild dazu gemacht. Hier kann man es nachlesen .
Ich hoffe es wird dann einiges klarer.
Dass ein Netz durch den Trainer anfängt zu oszillieren glaube ich eher nicht, da dieses Verhalten ja durch die evolutionären Verfahren beim trainieren des Trainers schon ausgeschlossen werden sollte.

Grüße


Maximilian

[countless]

ein NN das lernt, indem es die gewichte seiner verbindungen modifiziert? ähm... ist es nicht genau das, was jedes simple MLP macht? Wo ist der untschied zu dem standard-verfahren? mal doch mal nen simples netz mit 2-3schichten und 2-3neuronen/schicht auf, falls möglich... bisher verstehe ich einfach nicht was du meinst

[erniejunior]

Im Grunde genommen hast du recht. Die methode ähnelt sehr den Standartverfahren. Aber sie kommt mit einfacheren Methoden aus und ist (natürlich zunächst rein intuitiv) biologisch plausibler als z.B. Backpropagation, weil man mit weniger komplizierten Formeln etc. auskommen muss.
Hier ist noch eine größere version eines Netzes. Ich habe ein 3-2-2 Netz gemacht und wieder nur eins der Gewichte hervorgehoben, weil sonst ein risiges Wirrwar von Verbindungen entsteht. Auf wunsch kann ich aber gerne noch ein zweites Gewicht hinzufügen.

Grüße,

erniejunior