inf-schule | Modellevaluierung

Modellbewertung

In einer Trainingsphase wurden drei Modelle trainiert. Die drei Modelle geben folgende Vorhersagen für einen Testnutzer:

Film	Vorhersage Modell 1	Vorhersage Modell 2	Vorhersage Modell 3	Bewertung des Nutzers
Forrest Gump	4	4	4	4
Hangover	3	3	4	3
Honig im Kopf	4	1	5	5
Joker	2	1	3	1
Titanic	4	4	4	4
Wolf of Wall Street	2	3	3	3

Aufgabe 1 - Diskussion

Diskutiere, welches der drei Modelle die besten Vorhersagen liefert. Begründe.

Für die Bewertung eines überwachten maschinellen Lernmodells wird häufig die Konfusionsmatrix verwendet. Anhand dieser lässt sich ablesen, wie viele Vorhersagen richtig waren und welche Klassen im Fall einer falschen Vorhersage prognostiziert wurden.

Die Konfusionsmatrix ist ein Instrument zur Modellbewertung. Anhand ihr lässt sich ablesen, wie oft das Modell richtige und wie oft falsche Prognosen getroffen hat.

Die Konfusionsmatrix für das Modell 1 sieht wie folgt aus:

Aufgabe 2 - Konfusionsmatrizen

Erläutere den Aufbau einer Konfusionsmatrix am Beispiel der Konfusionsmatrix für Modell 1. Gehe dabei darauf ein, an welchen Einträgen die Anzahl an richtigen Vorhersagen abzulesen sind.
Erstelle die Konfusionsmatrizen für die Modelle 2 und 3.
Modell 4 hat folgende Konfusionsmatrix:
Erkläre, woran du an der Konfusionsmatrix erkennen kannst, ob Modell 4 gute oder schlechte Vorhersagen liefert.

Wie wir die Modelle bewerten hängt sehr von unserer Zielsetzung ab. Bestenfalls haben wir uns zu Beginn des Projekts schon überlegt, wann wir ein Modell als gut bezeichnen. Ist ein Modell gut, wenn es viele Sternebewerungen exakt vorhersagt? Oder ist ein Modell gut, wenn es alle Bewertungen ungefähr richtig vorhersagt?
In Bezug auf diese Fragen unterscheiden wir drei Bewertungsvarianten:

Anteil der richtig vorhergesagten Bewertungen
Zähle, wie viele Bewertungen richtig vorhergesagt wurden und teile dies durch die Gesamtanzahl aller vorhergesagten Bewertungen.
Beispiel für Modell 3: $$x = {2 \over 6} \approx 0.667%$$
Mittlere Abweichung der vorhergesagten Bewertungen
Summiere alle Abstände zwischen der vorhergesagten und der tatsächlichen Bewertung und teile dies durch die Gesamtzahl aller vorhergesagten Bewertungen.
Beispiel für Modell 3: $$x = {(0+1+0+2+0+0) \over 6} = 0.5$$
Mittlere quadrierte Abweichung der vorhergesagten Bewertungen
Summiere alle Quadrate der Abstände zwischen der vorhergesagten und der tatsächlichen Bewertung und teile dies durch die Gesamtzahl aller vorhergesagten Bewertungen.
Beispiel für Modell 3: $$x = {(0^2+1^2+0^2+2^2+0^2+0^2) \over 6} = 1$$

Anmerkung: Je nach Anwendungsfall gibt es noch deutlich mehr Möglichkeiten der Modellbewertung.

Aufgabe 3 - Modellbewertung

Berechne die drei Bewertungsvarianten auch für Modell 1, Modell 2 und Modell 4.
Vergleiche deine Ergebnisse. Welches Modell macht die besten Vorhersagen?

Aufgabe 4 - Exkurs: Skalenniveaus

Schaue das folgende Video.

Bei der Berechnung der Bewertungsvarianten treffen wir implizit Annahmen darüber, welches Skalenniveau vorliegt. Ordne die drei Berechnungsvarianten einem Skalenniveau zu.

Aufgabe 5- Modellbewertung inhaltsbasiertes Empfehlungssystem

Lade dir das

herunter und speichere es im gleichen Ordner wie den Filmdatensatz.

Erläutere die einzelnen Schritte in eigenen Worten.
Analysiere, wie sie die Bewertungen der Prognosen ändern, wenn du die Anzahl der betrachteten nächsten Nachbarn veränderst.
Analysiere, wie sie die Bewertungen der Prognosen ändern, wenn du die Größe des Testdatensatzes veränderst.
Vergleiche, wie sie die Bewertungen der Prognosen ändern, wenn du die Variante: Runden bzw. die Variante: python Funktion zum Diskretisieren verwendest.
Führe dafür den Code für verschiedene Nutzer aus. Ist das Modell für manche Nutzer insgesamt besser oder schlechter? Wenn ja, warum?