Detail-Informationen

Autor

Larry Magid

verfasst am

16.07.2014

Mehr zum Thema auf journalist.de

Mehr Texte aus der Redaktionswerkstatt gibt es hier

Redaktionswerkstatt

Wie man richtig über Studien berichtet

In Zusammenfassungen und Pressemitteilungen scheinen Studienergebnisse fast immer besonders überraschend oder schockierend zu sein. Wie findet man heraus, ob da wirklich etwas dran ist? Technikjournalist Larry Magid vom Poynter-Institut weiß, was Journalisten bei Umfragen hinsichtlich der Formulierungen, Stichproben und Erhebungsmethoden wissen sollten.

Ein englisches Sprichwort lautet: Zahlen lügen nicht, aber Lügner manipulieren Zahlen. Das sollte man im Hinterkopf haben, wenn man sich mit Studienergebnissen beschäftigt, wie sie manche Unternehmen veröffentlichen und verkaufen.

Nun gut, Lügner ist vielleicht eine harte Bezeichnung, aber ich habe schon zu viele Pressemitteilungen gelesen, die beim Anpreisen von Studienergebnissen nur die halbe Wahrheit erzählen – oder Umfragen, deren Methodik fragwürdig ist: von den Fragen bis zur Stichprobe. Leider greifen Journalisten und Blogger diese Pressemitteilungen allzu oft auf, ohne die Methodik kritisch zu hinterfragen und zu recherchieren, ob die Überschriften tatsächlich die Ergebnisse wiedergeben.

Wenn ein Unternehmen oder eine Forschungseinrichtung eine Studie präsentiert, enthält die  Pressemitteilung oft nur eine kurze Zusammenfassung der Studie. Details zur Studie fehlen meist. Bevor ich über die Studie schreibe, bitte ich deshalb darum, das ganze Dokument einsehen zu können. Es sollte eine Zusammenfassung der Methodik enthalten, die erklärt, wie die Stichprobe gezogen wurde, welche Fragen gestellt und wie sie beantwortet wurden. Dann stelle ich manchmal fest, dass die Methodik fehlerhaft war oder die Zusammenfassung in der Pressemitteilung nicht zu den tatsächlichen Ergebnissen passt.

Erster Check: Passt die Pressemitteilung zur Datenlage?

Meine Beispiele beziehen sich auf Studien über Onlinesicherheit und Datenschutz – Themen, mit denen ich mich als Technikjournalist und Ko-Direktor von ConnectSafely.org, einer gemeinnützigen Organisation für Sicherheit im Internet, intensiv beschäftige.

Nehmen wir eine aktuelle Studie des Marktforschungsinstituts Harris Poll, zu der eine Pressemitteilung herausgegeben wurde. Hier steht, dass "6 von 10 Amerikanern sagen, dass sie oder jemand, den sie kennen, schon einmal gemobbt wurden".

Der Teil "oder jemand, den sie kennen" veranlasste mich, diese Überschrift infrage zu stellen. Menschen zu befragen, ob sie schon mal gemobbt wurden, ist völlig in Ordnung, aber "jemand, den sie kennen" – das verwässert die Sache. Ehrlich gesagt, war ich überrascht, dass das Ergebnis nicht bei 10 von 10 Amerikanern lag. Wenn mich jemand fragen würde: "Kennen Sie jemanden, der bei einem Flugzeugabsturz ums Leben kam?", dann müsste ich das bejahen. Eine Person, die ich kannte, ist auf diese Weise gestorben. Was aber nicht bedeutet, dass es mir passiert ist, und auch nicht, dass so etwas besonders häufig passiert.

In der Pressemitteilung steht auch, dass Mobbing ein Thema sei, "das sehr viele Amerikaner betrifft", und dass es "eine sehr reale Wahrnehmung" gebe, dass es immer schlimmer wird. Als ich mir jedoch die zugrundeliegenden Daten ansah, fand ich heraus, dass 44 Prozent der Erwachsenen angaben, dass sie in der Schule gemobbt worden seien, und 10 Prozent teilten mit, dass sie andere gemobbt hatten. Wurden sie zu ihren Kindern befragt, zeigte sich, dass 9 Prozent schon mal gemobbt worden waren; 2 Prozent der Befragten gaben an, dass ihre Kinder andere gemobbt hatten.

Mit dem Mobbing wird es also nicht schlimmer – im Gegenteil: Es geht zurück. Auf der Grundlage dieser Daten hätte die Schlagzeile von Harris Poll eigentlich lauten müssen: "Eltern berichten, dass heute deutlich weniger Kinder gemobbt werden als zu ihrer eigenen Schulzeit."

Der Unterschied zwischen Problem und Wahrnehmung

Es ist wichtig, zwischen der Wahrnehmung eines Problems und dem tatsächlichen Problem zu unterscheiden. Wenn bei einer Umfrage zum Beispiel festgestellt wird, dass sich die Menschen über zunehmende Kriminalität sorgen, sind das interessante Fakten über die Wahrnehmung eines Problems. Aber es muss nicht bedeuten, dass das Verbrechen tatsächlich auf dem Vormarsch ist.

Eine Studie, die Harris Poll 2010 für die Internet-Sicherheitsfirma McAfee durchgeführt hat, versprach der Presse "schockierende Erkenntnisse über das Onlineverhalten von Jugendlichen". Die Daten der Studie waren jedoch weit davon entfernt zu schockieren. In meinem Beitrag über die Studie schrieb ich, das sie im Grunde ein beruhigendes Porträt darüber ist, wie vorsichtig die meisten jungen Leute mit Technologie umgehen. Anstelle einer "schockierenden" Überschrift stand daher über meinem Text: "Studie mit guten Nachrichten über das Onlineverhalten von Kindern".

Wann ist eine Stichprobe repräsentativ?

Im Jahr 2013 veröffentlichte Microsoft eine von comScore durchgeführte Studie, die den Zugang von Kindern auf Geräte und Onlinedienste untersucht hatte. Im Abschnitt zur Methodik wurde behauptet, dass man "bei einer reinen Zufallsstichprobe von 1.025 mit 95-prozentiger Wahrscheinlichkeit" sagen könne, "dass die Ergebnisse einen Stichprobenfehler in Höhe von +/- 3,1 Prozent aufweisen" würden.

Klingt sehr wissenschaftlich, aber die Umfrage hatte mit einer Zufallsstichprobe nichts zu tun. Es war eine Opt-in-Umfrage auf der Website von Microsofts Safety and Security Center, Facebook-Anzeigen und der Suchmaschine StumbleUpon. Die Ergebnisse der Umfrage und die Fragen erscheinen zwar nicht verzerrt, aber ein eindeutiges Indiz dafür, dass die Stichprobe nicht repräsentativ ist, zeigt die Geschlechterverteilung: 76 Prozent männliche und 24 Prozent weibliche Teilnehmer. Wäre die Stichprobe tatsächlich repräsentativ, würde das Verhältnis etwa bei 50:50 liegen.

Dann gab es eine vielzitierte Studie, die herausgefunden haben wollte, dass 69 Prozent aller Kinder schon einmal Cyber-Mobbing ausgesetzt waren. Basis war eine Stichprobe von fast 11.000 jungen Menschen im Alter von 13 bis 22 Jahren. Solch eine große Stichprobe, so könnte man denken, führt auf jeden Fall zu einem repräsentativen Ergebnis. Doch als ich mir die Methodik anschaute, sah ich, dass die Umfrage im virtuellen Helpdesk der Online-Community Habbo zwischen 28. August und 10. September 2013 online stand.

Mit anderen Worten handelte es sich also um eine Opt-in-Umfrage auf der Website einer Anti-Mobbing-Organisation auf einem sozialen Netzwerk. Das ist, als wenn man eine Umfrage zu Verbrechen auf einer Polizeistation durchführen oder versuchen würde, die weltweite Krebsrate anhand einer Umfrage im Wartezimmer eines Onkologen zu schätzen.

Tipps vom Experten

Es ist schon eine Weile her, dass ich selbst Umfragen durchgeführt habe, darum habe ich David Finkelhor um Rat gebeten. Finkelhor ist Professor an der Universität New Hampshire, Direktor des Crimes Against Children Research Centers und Fachmann auf dem Gebiet Forschungsdesign und Methodik. Seiner Meinung nach "ist es Aufgabe der Journalisten herauszufinden, ob es andere Erhebungen oder Studien zum jeweiligen Thema gibt, denn häufig gibt es einige, die zu anderen Ergebnissen kommen".

Und er hat weitere Tipps:

  • Schauen Sie sich die Fragen besonders genau an, und gehen Sie nicht davon aus, dass die Überschrift der Pressemitteilung sie exakt wiedergibt.
  • Sehen Sie sich die Stichprobe an. Sind die Befragten die richtigen Ansprechpartner für die Umfrage? Spiegelt die Auswahl wirklich die Personengruppe wider, die in der Studie repräsentiert werden soll? Überprüfen Sie, ob die Stichprobe womöglich vor allem aus Menschen besteht, die sich bereits für das Thema interessieren, die sich Sorgen darüber machen oder schon Erfahrung damit haben. Seien Sie besonders misstrauisch bei Opt-in-Umfragen, bei denen Menschen freiwillig mitmachen oder das Thema vorab bekanntgegeben wird.
  • Fragen Sie nach, wer die Umfrage finanziert hat. Viele Umfragen werden von Interessengruppen oder Unternehmen finanziert, die ein bestimmtes Thema in die Medien bringen wollen.
  • Fragen Sie jemanden, der sich mit dem Erstellen von Studien auskennt, ob es sich um eine gute wissenschaftliche Arbeit handelt. Bei vielen Umfragen ist das nicht der Fall.
  • Überprüfen Sie, ob die Fragen interessengeleitet gestellt wurden, um etwas wichtig oder unwichtig wirken zu lassen. Anzeichen sind ungenaue Definitionen des Sachverhalts, Formulierungen wie "jemand, den Sie kennen", die für extremere Ergebnisse sorgen, oder Fragen, die sich auf einen sehr langen Zeitraum beziehen.

Finkelhor sagt, für Organisationen, die mit Studienergebnissen an die Öffentlichkeit gehen, sollte es Pflicht sein, den Studienaufbau offenzulegen und dabei zu erklären, wie die Stichprobe zusammengestellt und die befragten Personen ausgewählt wurden, ob sie eine Aufwandsentschädigung bekommen haben, wie die Fragen beantwortet wurden und wie viele angefragte Personen nicht an der Umfrage teilgenommen haben. Es sollten alle Fragen, Antwortkategorien und Prozentsätze angegeben werden.

Finkelhor vertraut zwar eher den Studien in akademischen Fachzeitschriften, aber man sollte nicht davon ausgehen, dass eine Studie richtig ist, nur weil sie aus einer Universität kommt. Auch hier sollte man recherchieren, wer die Studie durchgeführt hat (manchmal wird aus Studien zitiert, die sich als Bachelor-Projekte mit extrem kleinen Stichproben entpuppen) und nach welcher Methode vorgegangen wurde.

Journalisten müssen nicht gleich Fortgeschrittenenkurse in Statistik belegen, um Umfragen zu verstehen – aber sie sollten Studienergebnisse genauso kritisch hinterfragen wie jede andere Quelle. Untersuchen Sie daher die Methodik und die Motive, und schreiben Sie Ihren Artikel nicht nur auf Basis der Pressemitteilung oder der Zusammenfassung.

Larry Magid ist Technology Analyst für CBS News, Kolumnist für die Tageszeitung San Jose Mercury News und bloggt für Forbes und CNET. Er war 19 Jahre lang Kolumnist für die Los Angeles Times und hat für die New York Times geschrieben. Er ist Ko-Direktor von ConnectSafely.org und Gründer von SafeKids.com.

Dieser Beitrag stammt im Original von der

Website des Poynter-Instituts.

Poynter ist eine gemeinnützige Journalistenschule und Medienforschungs-Einrichtung aus St. Petersburg in Florida. Dem Institut gehört die Tampa Bay Times, die größte Zeitung in Florida, deren Verleger Nelson Poynter die Journalistenschule 1975 gegründet hat.

Mehr Texte aus der Redaktionswerkstatt gibt es hier. journalist-Abonnenten lesen die Texte aus der Redaktionswerkstatt im Heft acht Wochen früher.

Aktuelle Kommentare zu diesem Text

17.07.2014 10:07

Ute Meyer

Vielen Dank. So ist es wohl. Wir lesen vermutlich alle am liebsten, was wir sowieso schon wussten. Darum ist es häufig leider recht simpel, Menschen mit manipulierten Daten zu überzeugen oder zu beeinflussen.

Ein weiterer wichtiger Baustein dazu: Unser "Limbisches System". Weil es mit Sicherheit "weiß", wie die Welt bisher aussah, möchte es gern zusätzliche Bestätigung der gleichen Art hinzufügen. Das geht soweit, dass unser Limbisches System uns aus einem Zweifel sogar mit einer dezenten Sinnestäuschung hilft, wenn ihm denn die Welt zu unsicher oder abwegig erscheint. Faszinierend.

17.07.2014 12:09

Klaus Mueller

Als jahrzehntelanger Leser einiger "Qualitäts"-Zeitungen war mir schon bewusst, dass da oft, ja: gelogen wird. Besonders wenn's um Themen ging, in denen ich mich sehr gut auskenne, las ich eigentlich (fast) immer nur Nonsens: Bestätigung der Ahnungslosigkeit und/oder Vorurteile, Nachplappern der jeweiligen Reklame einer interessierten Firma, oder gar frei erfundene aber nett klingende Geschichten. Viel Blödsinn erkennt man leicht am permanenten Velwechsern von Fachbegriffen.

Seit dem Internet und seinen Möglichkeiten auch schnell andere Quellen anzuzapfen, auch Blogs von jeweiligen Fachleuten (scienceblogs z.B.) zu konsultieren, enthüllt so manche Meldung und manchen Artikel in FAZ, SZ, ZEIT, NZZ usw. als peinlich für die Journalisten und damit auch deren Blatt, resp. Website.

Das Schöne ist: sie merken's nicht. Lesen ja nicht mal Kommentare, in denen manchmal etwas korrigiert wird...
Hochmut? Dummheit? ...
Als ich in den siebziger Jahren die Fackel las, dachte ich, der übertreibt, dieser K.K. ... Inzwischen ist's aber nicht besser geworden und ich lach' nur noch über heutige "Journalisten". Wenige (drei, vier Namen fallen mir da ein) Ausnahmen bestätigen die Regel.

17.07.2014 12:40

Thomas Bily

Die meisten Journalisten senden nur und lesen nichts oder wenig. Früher musste man alles glauben. Heutzutage kann zumindest der interessierte Leser selber recherchieren und auch korrigieren.

Nicht zuletzt weil der Begriff in jüngster Zeit so oft strapaziert wurde, wäre eine zeitgemäße Definition von "Qualitätsjournalismus" angebracht. Gibt es die irgendwo?

17.07.2014 13:13

Gereon Hoffmann

Es gibt eine heimliche Übereinkunft von Leuten, die Statistiken/Studien veröffentlichen und Journalisten: Erstere liefern schöne Grafiken und knackige Aussagen, letztere stellen keine kritischen Fragen.

Ich habe aus meinem Studium recht gute Statistik-Kenntnisse. Zwei mal war ich bei der Vorstellung von "Studien". Das eine war eine Auskunftei, die Kreditausfallrisiken nach Regionen und Branchen vorstellte – und die Kreditausfallversicherungen anbietet. Das andere war eine Krankenkasse, die regionale Unterschiede und zeitliche Veränderungen im Krankenstand vorstellte.
Schon bei den einfachsten Nachfragen kippte die Stimmung auf den PKs. Meine Standardfrage: Haben Sie diese Mittelwertsunterschiede auf statistische Signifikanz geprüft? Keiner, Journalisten eingeschlossen, wusste wovon ich rede. Stattdessen wurden Veränderungen von 10,5 auf 10,7 als "deutlich" bezeichnet, obwohl die ganze Zahlenreihe davor und danach fröhlich zwischen 8 und 12 schwankt.

Geradezu gefährlich wird es, wenn Kredit-Auskunfteien zu Aussagen kommen wie etwa: "Das höchste Ausfallrisiko haben sie, wenn sie Gastwirten in XY-Stadt Geld leihen".
Über Unterschiede von Korrelation und Kausalität will ich gar nicht erst ausführen.
Nachfragen sind im allgemeinen nicht erwünscht, die Infos gibt es schon vorgefertigt und mit Grafiken und Symbolbildern auf USB Sticks, Sekt und Schnittchen stehen schon bereit ...

17.07.2014 13:51

Heinz Strauss

Auch Larry Magid kann irren.

So schreibt er: "Als ich mir jedoch die zugrundeliegenden Daten ansah, fand ich heraus, dass 44 Prozent der Erwachsenen angaben, dass sie in der Schule gemobbt worden seien, und 10 Prozent teilten mit, dass sie andere gemobbt hatten. Wurden sie zu ihren Kindern befragt, zeigte sich, dass 9 Prozent schon mal gemobbt worden waren; 2 Prozent der Befragten gaben an, dass ihre Kinder andere gemobbt hatten.

Mit dem Mobbing wird es also nicht schlimmer – im Gegenteil: Es geht zurück. Auf der Grundlage dieser Daten hätte die Schlagzeile von Harris Poll eigentlich lauten müssen: "Eltern berichten, dass heute deutlich weniger Kinder gemobbt werden als zu ihrer eigenen Schulzeit." "

Was er dabei nicht bedenkt, ist, dass die Eltern wohl mehrheitlich alle ihre Schulzeit schon hinter sich haben, sie können also eine Aussage machen, ob sie irgendwann während ihrer Schulzeit gemobbt wurden oder selbst mobbten. Die Kinder, die ihre Schulzeit noch nicht abgeschlossen haben, werden vielleicht erst in der Zukunft gemobbt.

Ausserdem darf angezweifelt werden, ob jedes Kind, das gemobbt wird/mobbt, dies auch den Eltern mitteilt.

 
Anzeige: 1 - 5 von 5.