Auswirkungen von Fehlbestimmungen auf die Datenqualität
Bislang wurden auf NABU-naturgucker.de über 16 Millionen Naturbeobachtungen aus aller Welt gemeldet. Als Betreiber dieses Netzwerkes für Naturbeobachtungen sind wir uns sicher: Diese Daten sind nicht allesamt „korrekt“ im landläufigen Sinne. Das heißt, es liegen mit Sicherheit Beobachtungsmeldungen vor, die auf Fehlbestimmungen basieren.
Obwohl uns dies bewusst ist, gibt es auf NABU-naturgucker.de keine übergeordnete Instanz, die sämtliche Daten auf Plausibilität prüft. Vielmehr setzen wir auf ein → mehrstufiges Hinweissystem, mit dem wir unsere Aktiven aber nicht bevormunden möchten. Bereits beim Eintragen der Beobachtungen werden dem Nutzer systemseitig erzeugte Fachhinweise angezeigt, wenn bestimmte Details ungewöhnlich erscheinen. Diese Fachhinweise enthalten jedoch keine verbindlichen Handlungsanweisungen, sondern lediglich Vorschläge für das weitere Vorgehen. Mehr Informationen zu diesem Thema finden Sie → hier.
Außerdem können registrierte und angemeldete Nutzer*innen sowie die Aktiven unseres Fachbeirates Beobachtungen und Bilder beziehungsweise Videos kommentieren. Wer möchte, kann so unter anderem beim Bestimmen helfen oder Zweifel an der Richtigkeit von Bestimmungen äußern. Sämtliche Kommentare sind öffentlich sichtbar; sogar nicht registrierte Betrachter*innen der Seite können sie sehen. Auch hier gilt: Es bleibt den Melder*innen selbst überlassen, wie sie mit Hinweisen auf eventuelle Bestimmungsfehler umgehen.
Diese Maßnahmen zur Qualitätssicherung mögen auf den ersten Blick zu weich wirken. Doch unserer Auffassung nach sind sie nicht nur ausreichend, sondern hinsichtlich der Wahrung der Datenintegrität der einzig richtige Weg. Denn würde ein offizielles Prüfgremium eingreifen und Änderungen an den Daten vornehmen, könnte dies zu Datenverfälschungen oder gar -verlusten führen, falls auf vermeintlichen Fehlbestimmungen basierende Beobachtungen gelöscht werden würden. Mehr über potenzielle methodische Fehler beim Plausibilisieren von Naturbeobachtungsdaten können Sie → hier nachlesen.
Im Folgenden möchten wir darlegen, was nicht plausible Naturbeobachtungsdaten beziehungsweise Fehlbestimmungen für die Datenqualität bedeuten können.
Tücken der Bewertung der Datenqualität
Eine Analyse der NABU-naturgucker.de-Daten aus dem Bundesland Rheinland-Pfalz durch den NABU Rheinland-Pfalz hat ergeben, dass 98 % der untersuchten Beobachtungen den Prüfenden plausibel erschienen, → siehe Publikation. Über dieses Ergebnis waren und sind wir sehr erfreut. Allerdings ist uns bewusst, dass sogar als plausibel erscheinende Beobachtungsdaten nicht zwangsläufig auf korrekten Bestimmungen basieren müssen und dass diese Untersuchung keine verlässlichen Aussagen zur Güte der Artbestimmungen in Einzelfällen zulässt. Wie kann das sein?
In der allgemein üblichen Betrachtungsweise gilt der Grad der Korrektheit der Artbestimmungen als das wichtigste Maß für die Datenqualität: Datensätze, die nur sehr wenige auf Fehlbestimmungen basierende Einzeldaten enthalten, gelten als qualitativ hochwertig, wohingegen Datensätze mit vielen fehlerhaften Bestimmungen als qualitativ schlecht eingestuft werden. Aus unserer Sicht ist dies nicht zulässig. Vielmehr muss auf die Plausibilität der Beobachtungsdaten geachtet werden, und selbst die ist nur schwer exakt abzuschätzen.
Zunächst einmal sind einzelne Naturbeobachtungen nicht exakt reproduzierbar. Wir haben es mit → Aussagen von Zeug*innen zu tun, die etwas in der Natur erlebt haben und basierend darauf eine Artbestimmung durchgeführt haben. Beim Wahrnehmen ebenso wie beim Bestimmen können Fehlerquellen gewirkt haben oder auch nicht. Ohne dabei gewesen zu sein, können wir es nicht einschätzen. Selbst wenn wir in allen Fällen zugegen gewesen wären, könnte unsere Wahrnehmung sich von derjenigen anderer Beobachter*innen unterscheiden.
Nun sollte man meinen, dass Fehlbestimmungen trotzdem auffallen müssten, weil die entsprechenden Beobachtungen nicht plausibel erscheinen würden. Dem ist aber nicht so. Eine als nicht plausibel erscheinende Beobachtung basiert keineswegs zwangsläufig auf einer Fehlbestimmung. Sie kann genauso gut eine für den Ort oder die Jahreszeit ungewöhnliche Beobachtung sein, die trotzdem auf einer korrekten Bestimmung beruht. Umgekehrt können als plausibel geltende Beobachtungen durchaus auf Fehlbestimmungen zurückgehen, die den Plausibilisierenden jedoch nicht aufgefallen sind. Etwas, das nicht ungewöhnlich wirkt, wird eher nicht als „nicht plausibel“ eingestuft, wie das folgende Beispiel verdeutlicht: Fünf in einem privaten Garten in der Metropole Berlin gesichtete vermeintliche → Haussperlinge würde kaum jemand anzweifeln, auch wenn einer davon womöglich eine → Heckenbraunelle war. Dagegen würden fünf aus einem sich mitten im Siedlungsraum befindenden Garten gemeldete → Rohrdommeln wohl rasch Fragen aufwerfen.
Somit steht fest: Sogar als plausibel eingestuften Naturbeobachtungen haftet ein potenzieller Fehler unbekannter Größe an, was bei der Bewertung der Datenqualität grundsätzlich zu bedenken ist. Außerdem gilt dies für jedwede Datensätze – angefangen bei denen von NABU-naturgucker.de bis hin zu solchen, die von Naturbeobachtungs-Plattformen stammen, auf denen ein streng reglementiertes Prüfverfahren praktiziert wird.
Unser Fazit daraus ist deshalb, dass Datenprüfungen durch übergeordnete Instanzen niemals vor allen Bestimmungsfehlern schützen können. Gleichzeitig können sie ihrerseits sehr wohl die Ursache für Manipulationen von Originaldatensätzen sein.
Die Masse machts
Sich auf einzelne Datensätze zu konzentrieren und diese zu bewerten, um durch diese Maßnahmen die Datenqualität zu steigern, ist kaum zielführend. Sinnvoller ist es, die Statistik ihre Macht entfalten zu lassen: Je größer ein Datenbestand ist, desto weniger Gewicht haben einzelne fehlerhafte Datensätze. Sie gehen buchstäblich in der Masse unter und schaden dem großen Ganzen nicht.
Betrachten wir hierfür ein Beispiel: Befänden sich unter 1 000 Beobachtungen von → Singdrosseln drei, bei denen es die Beobachter*innen eigentlich mit → Misteldrosseln zu tun hatten, wäre das unkritisch. Der Anteil der Fehlbestimmungen läge dann bei lediglich 0,3 %. Der gesamte Datensatz zu den Singdrosseln hat eine hohe Datenqualität.
Problematisch können Fehlbestimmungen allerdings dann werden, wenn sie sich auf seltene oder selten beobachtete und gemeldete Arten beziehen und für diese aus Beobachtungsdaten Kartendarstellungen mit Sichtungsnachweisen und Populationsanalysen abgeleitet werden sollen. Hierbei haben wir es demnach mit kleinen Datensätzen zu tun, in denen sich Fehler (= Fehlbestimmungen) unangenehm stark auswirken können. Unserer Erfahrung nach sind es aber gerade diese Fälle, die der Beobachtergemeinschaft und den Fachbeiräten auf NABU-naturgucker.de umgehend auffallen. Würde jemand eigentlich → Mäusebussarde sehen und diese fälschlicherweise wiederholt als überfliegende → Gänsegeier melden, die in Deutschland derzeit (noch?) echte Seltenheiten darstellen, würde dies mit Sicherheit sehr bald Fragen innerhalb unserer Aktivengemeinschaft aufwerfen.
Das potenzielle Risiko, dass bei Allerweltsarten Fehlbestimmungen auftreten und zu unentdeckt bleibenden fehlerhaften Meldungen führen, ist unserer Auffassung nach dagegen generell umso größer. Angesichts der sehr zahlreich auf NABU-naturgucker.de gemeldeten Beobachtungen von → Saatkrähen würde es wohl nicht auffallen, wenn eine Verwechslung mit einer anderen dunklen Rabenvogelart wie etwa der → Rabenkrähe erfolgt sein könnte.
Es sei denn, der Beobachtungsort würde einen Hinweis liefern: Würde zum Beispiel aus den Höhenlagen des Nationalparks Berchtesgaden jemand Saatkrähen melden, dann läge die Vermutung nahe, dass wahrscheinlich → Alpendohlen nicht richtig erkannt worden sind.
Verwechslungen ähnlicher Arten und ihr Einfluss auf die Datenqualität
Bei Verwechslungsarten, die vergleichsweise häufig oder flächendeckend vorkommen, erfolgen die Fehlbestimmungen erfahrungsgemäß in beide Richtungen. Sie dürften sich somit zu einem bestimmten Grad gegenseitig aufheben. Wenn also beispielsweise bei 300 Beobachtungen des → Zilpzalps in Wahrheit in 20 Fällen ein → Fitis gesehen wurde, dann ist die Wahrscheinlichkeit dafür, dass beim Fitis in ähnlichem Maße Verwechslungen mit dem Zilpzalp vorliegen, entsprechend hoch.
Anders verhält es sich hingegen meist bei zwei Verwechslungsarten, von denen eine häufig und weit verbreitet und die andere seltener und/oder auf bestimmte Lebensräume spezialisiert ist. Stellvertretend für ein solches ähnlich aussehendes Artenpaar seien die in Deutschland nahezu überall vorkommende und häufige → Steinhummel sowie die sehr viel seltenere und hinsichtlich der von ihr bewohnten Lebensräume stark spezialisierte → Distelhummel genannt. Letztere besiedelt im Flachland Moore und Heiden und kommt im Bergland in Höhenlagen zwischen rund 1 100 m und 2 600 m vor.
Viele naturbeobachtende Lai*innen kennen die Distelhummel nicht und melden sie allein schon aus diesem Grunde nicht. Die Wahrscheinlichkeit dafür, dass Beobachter*innen in ihrem Garten oder während eines Spaziergangs durch ein Naturschutzgebiet, das kein Moor und keine Heide ist, eine Distelhummel fälschlicherweise als Steinhummel identifizieren, dürfte relativ gering sein. Umgekehrt können jene Menschen, die Beobachtungsmeldungen der Distelhummel im individuellen Fall intensiv auf Plausibilität prüfen, indem sie die Sichtung mit dem Beobachtungsort abgleichen und hieraus für sich Schlüsse ziehen, für wie wahrscheinlich sie ein Vorkommen der Art in dem entsprechenden Habitat halten.
Als Betreiber von NABU-naturgucker.de sind wir uns der Tatsache bewusst, dass es eine ganze Reihe sehr schwieriger Arten gibt, die zum Beispiel nur zu bestimmen sind, indem die Genitalien der Tiere unter einem Mikroskop betrachtet werden. Exemplarisch seien hier diverse Käfer- und Zweiflüglerarten genannt. Doch sogar an sich leicht bestimmbare Arten können sich unter Umständen einer genauen Bestimmung entziehen. In offener Landschaft würden wir an einem Tag mit optimalen Beobachtungsbedingungen einen in 20 m Entfernung fliegenden → Weißling als solchen erkennen. Zu welcher der bei uns heimischen weißen Schmetterlingsarten dieser Familie das Individuum gehört, könnten wir aber wahrscheinlich nicht mit Sicherheit sagen.
Damit entsprechende Naturbeobachtungen trotzdem gemeldet werden können, bietet NABU-naturgucker.de die Möglichkeit, Sichtungen „artungenau“ anzugeben. Wer nicht weiß, welcher Weißling gesehen worden ist, kann die Beobachtungen als → Weißling (alle) melden. Von dieser Möglichkeit machen sehr viele unserer Aktiven Gebrauch – wahrscheinlich wohl wissend, dass ihnen die nötigen Fachkenntnisse für eine artgenaue Identifikation fehlen oder diese nur mithilfe weiterführender Untersuchungen möglich wäre.
Anstatt also drauflos zu raten, ob sie es eher mit einem → Großen Kohlweißling oder einem → Kleinen Kohlweißling beziehungsweise eventuell sogar mit einem → Grünader-Weißling zu tun hatten und möglicherweise dadurch fehlerhafte Beobachtungen zu generieren, greifen die Melder*innen lieber auf die artungenaue Angabe zurück. Damit tragen sie aktiv dazu bei, den Gesamt-Datenbestand „sauber“ zu halten.
Datenqualitätsanalyse: Fallbeispiel Libellenbeobachtungen
Bei NABU-naturgucker.de haben wir es mit riesigen Datenmengen zu tun, die zu großen Teilen von engagierten Lai*innen zusammengetragen wurden. Ohne Zweifel basieren nicht alle Meldungen auf korrekten Artbestimmungen. Trotzdem ist die Qualität des Gesamtbestandes der Daten sehr hoch, wie eine detaillierte Analyse der auf NABU-naturgucker.de gemeldeten Libellenbeobachtungen aus Deutschland ergeben hat.
Dr. Jürgen Ott ist einer der Autoren der → Roten Liste der Libellen mit dem Stand von 2012. Er wollte prüfen, inwiefern sich die aus den auf NABU-naturgucker.de gemeldeten Libellenbeobachtungen gewonnenen Datenkenngrößen mit dem jeweiligen Rote-Liste-Status der einzelnen Arten decken. Sein Ergebnis: Die von NABU-naturgucker.de angegebenen → mAI-Werte der in Deutschland vorkommenden Libellenarten bilden die aktuelle Rote Liste nicht nur exakt ab, sondern zeigen vielmehr noch genauer als diese Trends in der Bestandsentwicklung auf, → siehe Originalpublikation.
Hinsichtlich der Libellen wissen die Netzwerkbetreiber von NABU-naturgucker.de, dass diese Artengruppe von vielen Naturinteressierten als „schwierig“ erachtet wird. In den beiden → arten|pisa-Untersuchungen aus den Jahren 2017 und 2019 gehörten die abgefragten Libellenarten zu denjenigen Spezies im Untersuchungsfeld, die am wenigsten bekannt waren beziehungsweise besonders häufig verwechselt oder falsch benannt wurden.
Dass die aus den auf NABU-naturgucker.de veröffentlichten Libellenbeobachtungsdaten abgeleiteten Datenkenngrößen trotzdem so exakt mit der Roten Liste übereinstimmen, legt eine Vermutung nahe: Obwohl die Libellen als schwierig zu bestimmende Artengruppe gelten, scheint das Gros der Menschen, die ihre Beobachtungen dieser Tiere an diese Plattform melden, plausible Daten zu liefern. Würden ihnen in hohem Maße gravierende Bestimmungsfehler unterlaufen, sollte sich dies in den Datenkenngrößen widerspiegeln. Entsprechend sollten diese keine hohe Übereinstimmung mit dem Rote-Liste-Status der jeweiligen Libellenarten zeigen.
Im Umkehrschluss bedeutet dies: Obwohl auf NABU-naturgucker.de zahlreiche Lai*innen ihre Naturbeobachtungen melden und diese Daten nicht von einer übergeordneten Instanz plausibilisiert werden, sind die durch Jürgen Ott analysierten Libellenbeobachtungsdaten insgesamt plausibel. Dies ließe sich dadurch erklären, dass die ungeübten Beobachter*innen vor allem Sichtungen von Arten melden, von denen sie sicher sind, dass sie sie erkennen. Oder aber es könnte bedeuten, dass viele der Lai*innen über einen besseren Kenntnisstand als erwartet in der als schwierig geltenden Artengruppe verfügen. Daneben gibt es weitere Erklärungsmöglichkeiten. Das einzige, was wir sicher sagen können, ist, dass Naturbeobachtungsdaten aus Citizen-Science-Projekten sogar dann ausgesprochen wertvoll sind, wenn einzelne Datensätze Fehler aufweisen und es keine übergeordnete Prüfinstanz gibt. Wie das Beispiel der Libellenbeobachtungen belegt, können solche Daten in Naturschutz und Forschung sinnvoll eingesetzt werden.