Schritt 5: Hyperparameter abstimmen

Wir mussten zum Definieren und Trainieren des Modells eine Reihe von Hyperparametern auswählen. Wir basierten auf Intuition, Beispielen und Best Practice-Empfehlungen. Unsere erste Wahl von Hyperparameter-Werten führt jedoch möglicherweise nicht zu den besten Ergebnissen. Dies ist nur ein guter Ausgangspunkt für das Training. Jedes Problem ist anders und die Abstimmung dieser Hyperparameter wird dazu beitragen, unser Modell zu verfeinern, um die Besonderheiten des vorliegenden Problems besser darzustellen. Sehen wir uns einige der verwendeten Hyperparameter und ihre Bedeutung bei:

• Anzahl der Ebenen im Modell: Die Anzahl der Ebenen in einem neuronalen Netzwerk ist ein Indikator für ihre Komplexität. Wir müssen diesen Wert mit Bedacht auswählen. Bei zu vielen Ebenen erhält das Modell zu viele Informationen zu den Trainingsdaten, was zu einer Überanpassung führt. Zu wenige Ebenen können die Lernfähigkeit des Modells beeinträchtigen und zu einer Unteranpassung führen. Für Textklassifizierungs-Datasets haben wir mit ein-, zwei- und dreischichtigen MLPs experimentiert. Modelle mit zwei Ebenen schnitten gut ab und manche sogar besser als dreistufige Modelle. Ebenso haben wir sepCNNs mit vier und sechs Ebenen ausprobiert und die Vier-Schichten-Modelle erzielten eine gute Leistung.

• Anzahl der Einheiten pro Ebene: Die Einheiten in einer Ebene müssen die Informationen für die Transformation enthalten, die eine Ebene ausführt. Bei der ersten Ebene hängt dies von der Anzahl der Features ab. In nachfolgenden Ebenen hängt die Anzahl der Einheiten davon ab, ob die Darstellung aus der vorherigen Ebene maximiert oder minimiert werden soll. Versuchen Sie, den Informationsverlust zwischen Ebenen zu minimieren. Wir haben Einheitenwerte im Bereich [8, 16, 32, 64] ausprobiert und 32/64 Einheiten funktionierten gut.

• Ausstiegsrate: Ausstiegsebenen werden im Modell für die Normalisierung verwendet. Sie definieren den Anteil der Eingabe, die als Vorsichtsmaßnahme bei Überanpassung verworfen wird. Empfohlener Bereich: 0,2–0,5.

• Lernrate: Dies ist die Geschwindigkeit, mit der sich die Gewichtungen des neuronalen Netzwerks zwischen Iterationen ändern. Eine hohe Lernrate kann zu starken Schwankungen bei den Gewichtungen führen und wir finden möglicherweise nie ihre optimalen Werte. Eine niedrige Lernrate ist gut, aber das Modell benötigt mehr Iterationen, um konvergieren zu können. Es empfiehlt sich, bei 1e-4 zu beginnen. Erhöhen Sie diesen Wert, wenn das Training sehr langsam ist. Wenn Ihr Modell nicht lernt, versuchen Sie, die Lernrate zu senken.

Es gibt einige zusätzliche abgestimmte Hyperparameter, die für unser sepCNN-Modell spezifisch sind:

1. Kernel-Größe: Die Größe des Faltungsfensters. Empfohlene Werte: 3 oder 5.

2. Einbettungsdimensionen: Die Anzahl der Dimensionen, die wir für die Darstellung von Worteinbettungen verwenden möchten, d.h. die Größe jedes Wortvektors. Empfohlene Werte: 50–300 In unseren Experimenten haben wir GloVe-Einbettungen mit 200 Dimensionen und einer vortrainierten Einbettungsebene verwendet.

Probieren Sie diese Hyperparameter aus, um herauszufinden, was am besten funktioniert. Nachdem Sie die Hyperparameter mit der besten Leistung für Ihren Anwendungsfall ausgewählt haben, kann Ihr Modell bereitgestellt werden.