Normalisierung u. Hauptkomponentenanalyse sinnvoll?

[PeerDerBär]

Hi,
der Titel des Threads sagts eigentlich:
Ist Normalisierung für nuronale Netzte ff-Netze oder Som notwendig oder Sinnvoll? Was ist der Effekt der Normalisierung, was soll dadurch erreich werden?
Genau die selbe Frage habe ich nochmal für Hauptkomponentenanylyse (PCA). Macht es Sinn, diese durchzuführen, bevor man die Daten ins Netz gibt? Was ist der erwartete Effekt der PCA auf die Ergebnisse des Netzes?

Wie wichtig ist es, dass die Eingangsdaten nicht korreliert sind?

Danke

Peer

[phantom]

Hi Peer,

Bei feedforward-Netzen ist Normalisierung v.a. sinnvoll um Scherereien mit der Bestimmung des Lernparameters zu vermeiden
(z.B. braucht es bei Inputs >1 einen Lernparameter <1 damit die Deltaregel zu stabilen Gewichten findet)
-aus den resultierenden Gewichten für die normalisierten Daten lassen sich dann die Gewichte für unnormalisierte Daten errechnen.

Bei der Hauptkomponentenanalyse sollten die Daten standardisiert werden.
Wenn man sie stattdessen normalisiert kommen andere Gewichte raus.
Korreliert dürfen und sollten die Inputdaten durchaus sein,
ohne Korrelationen macht eine Hauptkomponentenanalyse eigentlich auch wenig Sinn.

Bei SOMs wird einem Normalisierung eigentlich immer ans Herz gelegt,
allerdings weiß ich spontan auch nicht genug darüber um zu sagen inwiefern/ob es notwendig ist.

[PeerDerBär]

Hi,
danke für die Antwort.
Interessant. Würde es denn sinnmachen, alle Attribute zu normalisieren, dann aber nachträglich trotzdem die Attirbute zu Gewichten, um vorwissen über die Wichtigkeit der Attribute mit einzubringen?

Danke...

[phantom]

Stell ich mir gerade wenig sinnvoll vor,
aber das hängt vermutlich u.a. davon ab auf welche Weise und für welches Netz man es umsetzt.
Kannst ja mal an einem bekannten Datensatz ausprobieren welche Konsequenzen deine Gewichtung hat.

[PeerDerBär]

Hehe, naja, der Knackpunkt ist, welche gewichtung sollte man vornehmen. Evtl. hilft da nur ausprobieren...