Precision and Recall sind wichtige Kennzahlen, die ein Ersteller von Modellen für maschinelles Lernen und Computer Vision zur Bewertung der Wirksamkeit seines Modells benötigt. Wenn Sie Precision and Recall gut verstehen, können Sie besser beurteilen, wie gut Ihr trainiertes Modell das von Ihnen zu lösende Problem löst.
In diesem Blogbeitrag erfahren Sie, wie Sie:
- Verstehen Sie, wie sich Precision and Recall auf die Leistung Ihres Modells auswirken
- Wählen Sie, wann Sie die Präzision oder den Rückruf optimieren möchten, wenn Sie mit begrenzter Zeit arbeiten
- Kommunizieren Sie den Stakeholdern, wie Ihre Computer Vision-Lösung mit ihrem Problem zusammenhängt
Lass uns anfangen!
Was ist Präzision? Was können wir von Präzision lernen?
Ein Roboflow-Benutzer hat ein Computer-Vision-Modell trainiert, um zu erkennen, wann seine Katze die Toilette benutzt. Immer wenn die Katze erkannt wird, startet ein Signal den Timer für die Toilettenspülung, der wiederum eine Toilettenspülung auslöst.
Was verlieren wir bei einer verpassten Erkennung im Vergleich zu einer Falscherkennung?
Wenn die Katze nicht erkannt wird, funktioniert die Toilettenspülung nicht. Das ist allerdings kein allzu ernstes Problem.
Eine Fehlerkennung führt zu einer unnötigen Spülung, was zu Wasserverschwendung, höheren Nebenkosten und möglicherweise dazu führt, dass eine Katze die Toilette nicht mehr benutzt (was den Zweck des Projekts zunichte macht).
In diesem Beispiel benötigen wir ein hochpräzises Modell, um sicherzustellen, dass die Toilettenspülung zum richtigen Zeitpunkt erfolgt, und müssen uns daher auf die Reduzierung der Anzahl falsch-positiver Ergebnisse konzentrieren, da jedes falsch-positive Ergebnis Wasserverschwendung bedeutet.
Was ist Recall? Was sagt uns Recall?
Stellen wir uns vor, wir betreiben ein Startup, das sich selbst finanziert. Ein Kunde braucht ein Computervisionsmodell, das Anzeichen für das Platzen einer Ölpipeline erkennen kann. Diese visuellen Signale können Lecks in der Leitung, ungewöhnliche Verformungen der Rohrwände oder falsch ausgerichtete Rohrverbindungen sein. Wir haben nur wenig Zeit und müssen schnell reagieren, um den Auftrag für die weitere Entwicklung zu erhalten.
Welche Entscheidungen können wir treffen, um die Machbarkeit einer Vision zur Lösung dieses Problems zu demonstrieren, und was verlieren wir, wenn das Modell eine falsche Erkennung statt einer verpassten Erkennung liefert?
In diesem Beispiel ist die Möglichkeit, überhaupt eine Erkennung durchzuführen, wichtiger als eine genaue Erkennung, da eine falsche Erkennung relativ wenig Schaden anrichtet (jemand muss die Rohrüberwachungskameras überprüfen, eine einminütige Operation). Eine verpasste Erkennung kann zu enormen Umweltschäden und finanziellen Verlusten führen.
Die anfängliche Arbeit sollte sich daher auf die Schaffung eines minimal funktionsfähigen Produkts (MVP) mit hoher Rückrufquote konzentrieren, wobei der Schwerpunkt auf der Reduzierung der Rate falsch-negativer Erkennungen liegen sollte, da ein falsch-negatives Ergebnis ein übersehenes Leck darstellt.
Nachdem wir nun die intuitive Beziehung zwischen Precision and Recall verstehen, wollen wir sie aufschlüsseln.
Präzision vs. Rückruf: Vergleich und Gegenüberstellung
Die Vorhersagen eines Computer-Vision-Modells können zu einem von vier Ergebnissen führen (wir möchten möglichst viele Wahrheitsergebnisse und möglichst wenige Falschergebnisse):
- True Positive (TP) : eine korrekte Erkennung und Klassifizierung, „das Modell hat das Kästchen mit der richtigen Größe auf das richtige Objekt gezeichnet“
- Falsch-Positiv (FP) : eine falsche Erkennung und Klassifizierung, „das Modell hat ein Kästchen auf ein Objekt gezeichnet, das es nicht zeichnen sollte“. Dies tritt am häufigsten auf, wenn Objekte einander ähnlich sehen, und kann durch eine für das Modell verwirrende Beschriftung des Objekts reduziert werden.
- True Negative (TN) : Das Objekt war nicht im Bild und das Modell hat kein Kästchen gezeichnet, „da war nichts und es dachte nicht, dass da etwas wäre“.
- Falsch-Negativ (FN) : Das Objekt war im Bild und das Modell hat kein Kästchen gezeichnet. „Da war etwas, aber das Modell hat es übersehen.“ Dies tritt am häufigsten auf, wenn das Objekt aus einem seltsamen Winkel oder bei seltsamer Beleuchtung oder in einem Zustand gesehen wird, der in den Trainingsdaten des Modells nicht erfasst wurde. Dies kann durch eine Erhöhung der Objektdarstellung in den Trainingsdaten reduziert werden.
Vergleichen wir Rückruf und Präzision, um zu sehen, was uns die einzelnen Messwerte sagen.
Präzisionsformel
Die Formel für die Präzision lautet „True Positive“ geteilt durch die Summe aus „True Positive“ und „False Positive“ (P = TP / (TP + FP).
Nehmen wir an, wir erstellen ein Apfelerkennungsmodell und geben ihm 1000 Äpfel zum Erkennen. Wenn es 500 Äpfel erfolgreich erkennt (TP), 300 Äpfel falsch erkennt (FP) und 200 Äpfel nicht erkennt (FN), hätten wir eine Präzision von 500/800 oder 62,5 %.
Rückrufformel
Die Formel für den Rückruf lautet „True Positive“ geteilt durch die Summe aus „True Positive“ und „False Negative“ (P = TP / (TP + FN).
Wenn wir dasselbe Apfelbeispiel wie vorhin verwenden, hätte unser Modell eine Rückrufquote von 500/700 oder 71 %.
Precision and Recall im Kontext bewerten
Eine Lösung kann nur im Verhältnis zu dem Problem gemessen werden, das sie löst. Löst eine Lösung mit unbegrenzter Energie, die keine praktikable Umsetzung bietet, die Energiekrise?
Ebenso geben die Leistungskennzahlen eines Computer-Vision-Modells keine Auskunft darüber, wie gut das Modell das Problem löst, für das es erstellt wurde.
Die negativen Auswirkungen (auch bekannt als Kosten) einer verpassten Erkennung im Vergleich zu einer falschen Erkennung bilden die Grundlage für die Bewertung von Precision and Recall.
Fragen, über die Sie nachdenken sollten:
- Wann ist Präzision wichtig und warum?
- Wann ist der Rückruf wichtig und warum?
- Wenn mir nur genug Zeit zur Optimierung für eines zur Verfügung steht, welches sollte ich auswählen?
Wenn Sie über eine Roboterdrohne verfügen, die herumfährt und Äpfel aufsammelt, ist jede Erkennung wahrscheinlich eine gute Sache, und Sie möchten zu Beginn Ihres Entwicklungszyklus Wert auf Präzision legen.
Wenn Sie Saisonarbeiter einstellen müssten und Ihre Einstellungsentscheidung auf der Anzahl der Äpfel basieren würde, würde eine Überbesetzung mehr Schaden anrichten als eine Unterbesetzung, daher sollten Sie den Schwerpunkt auf die Rückrufaktion legen.
So erhöhen Sie Precision and Recall
Müssen Sie die Präzision verbessern? Wir können die FP-Rate reduzieren, indem wir verstehen, was das Modell fälschlicherweise als Apfel identifiziert, und dies dem Trainingsset hinzufügen. Wenn die grünen Birnen wie die grünen Äpfel aussehen, beschriften Sie die Birnen!
Müssen Sie die Rückrufquote verbessern? Reduzieren Sie die FN-Rate, indem Sie weitere Apfelvarianten aus unterschiedlichen Winkeln und mit unterschiedlicher Nähe zur Kamera hinzufügen.
Welchen Platz nimmt hier die mittlere durchschnittliche Präzision (mAP) ein?
Durch die Kombination von Precision and Recall können wir auf einen Blick die allgemeine Leistung unseres Modells ermitteln und sie dient als gutes Maß für die relative Leistung im Vergleich zu anderen Modellen.
Ein Modell mit 90 % mAP weist im Allgemeinen eine bessere Leistung auf als ein Modell mit 60 % mAP, es ist jedoch möglich, dass die Präzision oder der Rückruf des 60 % mAP-Modells die beste Lösung für Ihr Problem darstellt.
Weitere Einzelheiten zur Funktionsweise von mAP finden Sie in unserem Blogbeitrag zur mittleren durchschnittlichen Präzision .
Können wir alles haben?
In einer perfekten Welt zeichnen sich die von uns erstellten Computer Vision-Modelle durch hohe Werte bei mAP, Precision and Recall aus – doch oft erfordert der iterative Entwicklungsprozess, dass wir eine funktionierende Lösung auf den Markt bringen, die den unmittelbaren Bedarf deckt.
Wie können wir feststellen, ob die Leistung eines Modells ausreicht, um den Bedarf zu decken, für den es entwickelt wurde?
Der schnellste und intuitivste Weg wäre, das Modell anhand einiger neuer Beispieldaten zu testen. Erkennt es das Objekt mit einem engen Begrenzungsrahmen richtig? Funktioniert es in einer Vielzahl von Randszenarien, z. B. wenn das Objekt teilweise verdeckt, weit entfernt oder in einer ungewöhnlichen Perspektive positioniert ist?
Mit genügend Zeit und Ressourcen können Sie höchstwahrscheinlich ein hochmodernes Modell bauen. Aber wird es heute schon so weit sein?
Nutzen Sie das, was Sie in diesem Blogbeitrag gelernt haben, um den Stakeholdern Ihre Bedürfnisse mitzuteilen und Lösungen zu entwickeln, die für die Probleme, mit denen Sie konfrontiert sind, funktionieren.
Zitieren Sie diesen Beitrag
Verwenden Sie den folgenden Eintrag, um diesen Beitrag bei Ihrer Recherche zu zitieren:
Jay Lowe . (3. März 2022). Precision and Recall beim maschinellen Lernen. Roboflow-Blog: https://blog.roboflow.com/precision-and-recall/
Besprechen Sie diesen Beitrag
Wenn Sie Fragen zu diesem Blogbeitrag haben, starten Sie eine Diskussion im Roboflow-Forum .
