Qualitätssicherung
Qualitätssicherung spielt bei der AGF Videoforschung eine zentrale Rolle. Dazu hat die AGF einen Prozess aufgesetzt, der von täglichen Plausibilitätskontrollen über regelmäßige Checks der Anmeldedisziplin der Panelisten bis hin zu kontinuierlichen Überprüfungen der Panelzusammensetzung reicht.
Die AGF Videoforschung hat sich auf drei Qualitätskriterien verpflichtet:
Repräsentativität
Hierfür soll das Panel die deutschen TV-Haushalte möglichst wirklichkeitsgetreu abbilden. Die AGF Videoforschung gleicht deshalb jährlich die Strukturwerte des Panels mit den Werten ab, die die Befragung zur Nutzung der elektronischen Medien durch die Arbeitsgemeinschaft Media-Analyse (agma) geliefert hat. Diese basiert auf einer Stichprobe von mehreren 10.000 Interviews und wird am Mikrozensus gewichtet.
Um die Repräsentativität des Panels sicherzustellen, muss die demographische Struktur des Panels mit der der Grundgesamtheit übereinstimmen.
Weitere Außenvorgaben aus der ma sind relevant, darunter die regionale Verteilung der Haushalte nach Bundesländern, Regierungsbezirken und Gemeindegrößenklassen, Angaben zur Haushaltsgröße, zur Schulbildung oder zur Geräteausstattung. Für die Rekrutierung spielen neben den soziodemographischen Merkmalen auch empfangsspezifische Merkmale eine Rolle, die ebenfalls aus den Außenvorgabenstudien entnommen werden wie beispielsweise die Empfangsebene aus der ma, die Plattforminformation aus der AGF Plattformstudie oder weiterführende Informationen aus Audits.
Validität
Um die Validität des AGF-Systems und seiner Ergebnisse zu überprüfen, wird die Übereinstimmung des Fernsehverhaltens der Panelteilnehmer mit dem der Bevölkerung verglichen, vor allem hinsichtlich der TV-Nutzungsdauer zu verschiedenen Zeiten. Hierzu erfolgt regelmäßig der von Kantar durchgeführte sogenannte Externe Coincidental Check (ECC). Dieser vergleicht die im Panel gemessenen Reichweitenniveaus mit den Ergebnissen einer bevölkerungsrepräsentativen Telefonbefragung. Der ECC basiert auf einer repräsentativen Zufallsstichprobe von mehr als 8.000 CATI-Interviews.
Reliabilität
Um reliable Reichweitendaten zu gewinnen, kommt es auf die korrekte Bedienung des Messgerätes an. Zur Überprüfung des Anmeldeverhaltens nutzt die AGF Videoforschung den Internen Coincidental Check (ICC). Dieser untersucht, ob sich die Panelteilnehmer korrekt am Messgerät an- und abmelden. Aus datenschutzrechtlichen Gründen wird diese Untersuchung von der GfK unter Kontrolle der AGF durchgeführt. Bei einer repräsentativen Auswahl von rund 1.500 Haushalten des Fernsehpanels werden CATI-Interviews durchgeführt.
Die Informationen werden gesondert für jeden einzelnen Panelhaushalt und Panelteilnehmer – exakt zeitpunktbezogen – auf Übereinstimmung mit den im betreffenden Haushalt gemessenen Werten überprüft.
Aufgrund des aufwändigen Untersuchungsdesigns werden ECC und ICC nicht jährlich, sondern in der Regel im Abstand von mehreren Jahren durchgeführt.