P3-Studie: Messergebnisse sind ungenau

Eine Studie des Beratungsunternehmens P3 erklärte vor Kurzem: Deutschlands Mobilfunknetze sind im internationalen Vergleich weit abgeschlagen. Dabei basiert diese Aussage auf einer nicht repräsentativen Messmethode.

„Das deutsche Mobilfunknetz ist schlechter als in Albanien.“ Diese Schlagzeile machte in den vergangenen Wochen die Runde. Sie basiert auf den Ergebnissen einer Studie des Beratungsunternehmens P3, in Auftrag gegeben von der Bundestagsfraktion der Grünen. Die Studie resümiert: Sowohl die Verfügbarkeit von 4G, als auch die Geschwindigkeit des Datendurchsatzes seien in Deutschland weitaus geringer als im Rest Europas.

Zahlreiche Politiker und Medien sprangen auf den Zug auf und nutzten die Ergebnisse der Studie, um den mangelhaften Ausbau der Mobilfunknetze in Deutschland zu kritisieren. Allerdings sparte die Berichterstattung dabei aus, dass die Messergebnisse auf einem nicht repräsentativen Messverfahren beruhen – dem Crowdsourcing. Beim Crowdsourcing werden Daten direkt beim Mobilfunkkunden erhoben. Das geschieht oft über Apps, die im Hintergrund unter anderem die Online-Aktivitäten der Handy-Nutzer analysieren und so Erkenntnisse über Internetverfügbarkeit und -geschwindigkeit sammeln. Eine Analyse von OpenSignal, die ebenfalls auf Crowdsourcing beruht, kommt teils zu abweichenden Ergebnissen: Im Vergleich zur P3-Studie ist der Wert der durchschnittlichen Download-Geschwindigkeit der Telekom bei OpenSignal sieben Mal höher. Diese Ergebnisse verdeutlichen ein grundlegendes Problem: Crowdsourcing-Messungen werden durch verschiedene Einflüsse verfälscht und weisen ein hohes Maß an Ungenauigkeit auf. Die Ergebnisse geben nicht die tatsächliche Leistungsfähigkeit des Netzes wieder. Auch die P3-Studie weist Schwachstellen auf:

1. Die Messungen sind lediglich eine Stichprobe und womöglich nicht repräsentativ.
   In der Studie heiß es: „Die Zahlen basieren auf Daten, die mit Hilfe einer Anwendung auf Android-Smartphones im Zeitraum Juli bis September 2018 automatisiert aufgezeichnet und zentral verarbeitet werden. Diese Anwendung war (…) auf etwa 190 Millionen Geräten weltweit installiert und liefert pro Tag etwa 1,5 Billionen Datensätze.“
   
   Es bleibt dabei offen, wie umfangreich die Daten für Deutschland sind. Die Studie liefert selbst keinen Beleg zu ihrer Repräsentativität. 
   
   Darüber hinaus räumen die Verfasser ein, dass nicht für alle Regionen in Deutschland ausreichend Daten zur Verfügung stehen, um begründete Aussagen über das 4G-Netz treffen zu können. Denn: Nur dort wo die Mobilfunkkunden, welche die Apps mit den entsprechenden Messfunktionalitäten installiert haben, sich aufhalten, sind überhaupt Messdaten vorhanden. Und selbst wenn Messdaten vorhanden sind, bleibt offen, wie viele Daten über die Fläche gesammelt werden. Insgesamt ist die Verfügbarkeit der Daten in der Republik sehr löchrig. Eine allgemeine Aussage zum Zustand der Mobilfunknetze in Deutschland ist so schlicht nicht möglich. 
   
   Zudem wurden die Messungen nur auf Android-Smartphones durchgeführt. Damit sind Millionen von Endgeräten mit anderen Betriebssystemen (zum Beispiel iOS) und deren Nutzer in den Ergebnissen der Studie nicht repräsentiert. 
2. Discounter-Tarife schalten 4G für ihre Kunden oft nicht frei.
   Mobilfunkdiscounter wie Aldi Talk oder PENNY sind in Deutschland so weit verbreitet wie nirgendwo sonst in Europa. Sie haben hierzulande einen Marktanteil von 23 Prozent. Die Eigenheit der Discount-Tarife: Oft haben Kunden keinen Zugang zum 4G-Netz. Nichtsdestotrotz flossen auch die Messungen von Discount-Kunden ohne Zugang zum LTE-Netz in die P3-Studie ein. Die schlechten Ergebnisse haben also nicht nur mit der generellen Verfügbarkeit von 4G zu tun, sondern auch mit den Eigenschaften der Discount-Tarife. Denn wo kein LTE freigeschaltet ist, kann auch kein LTE gemessen werden. In Bezug auf die Telekom gilt in diesem Zusammenhang: LTE ist Bestandteil der technischen Vorleistung, die das Unternehmen auch Dienstanbietern, die über keine eigene Netzinfrastruktur verfügen, zur Verfügung stellt. Neben der mobilcom-debitel GmbH erhalten auch Drittanbieter wie klarmobil oder sparhandy LTE als technische Vorleistung. Die Discounter sind dadurch in der Lage, die LTE-Vorleistung der Telekom selbstgestaltend zu vermarkten.
3. Speed-Step-Down beeinflusst Datendurchsatz. 
   „Sie haben Ihr Datenvolumen für diesen Monat aufgebraucht. Ab sofort surfen Sie mit gedrosselter Geschwindigkeit.“ Diese Benachrichtigung kennen die meisten Handy-Nutzer so oder so ähnlich. Der sogenannte Speed-Step-Down verringert die maximale Surfgeschwindigkeit des mobilen Internets, sobald ein festgelegtes Datenvolumen verbraucht wurde. In vielen Tarifen ist die kurzfristige Aufstockung des High-Speed-Volumens möglich. Kunden können so weiter schnell surfen. Viele Nutzer verzichten allerdings darauf, den Aufpreis zu zahlen und surfen mit geringerer Geschwindigkeit bis zum Monatsende. Der verringerte Datendurchsatz, der durch Speed-Step-Down gemessen wird, verzerrt die Ergebnisse in der Studie: Das 4G-Netz wird langsamer dargestellt, als es ist. 
4. Das Handy ist das Messgerät: Alternative Netzmodi erkennen 2G und 3G – und lassen 4G außen vor.
   Auch an anderer Stelle beeinflusst das Handy-Nutzungsverhalten die Ergebnisse der Studie. Denn manche Mobilfunkkunden verwenden noch immer Geräte, die nicht 4G-fähig sind. Diese können logischerweise nicht von der Leistungsfähigkeit des LTE-Netzes profitieren – und natürlich keine entsprechenden Messdaten erzeugen. Darüber hinaus bieten viele Endgeräte alternative Netzmodi an. Bei Android-Smartphones sind neben der Option „LTE/3G/2G“ auch Einstellungen verfügbar, die lediglich auf das 3G- und 2G- oder sogar nur auf das 2G-Netz zugreifen. Haben Handy-Nutzer diese Modi aktiviert, können sie das 4G-Netz ebenfalls nicht nutzen. Die Einstellungen lassen aber keine Rückschlüsse auf die generelle Verfügbarkeit von 4G zu. 

Drive-Tests kommen der Wahrheit näher

Was aber ist die Alternative zur Messung über die Endgeräte der Mobilfunkkunden? Während Crowdsourcing-Tests eine reduzierte und stark vom Kunden bestimmte Performance messen, reflektieren Drive- und Walk-Tests noch am besten die tatsächliche Netzperformance. Sie laufen über mehrere Wochen und konzentrieren sich auf Verkehrswege, Städte und Orte, die beim Mobilfunk besonders wichtig sind. Darunter Bahn- und Flughäfen, Einkaufszentren und Schienenwege. Der große Vorteil: Bei Drive-Tests werden standardisierte Testmessungen immer wieder durchgeführt. Das führt zu validen Testergebnissen. Die Messverfahren, Gewichtungen einzelner Teilergebnisse oder auch die Auswahl der Messkriterien variieren hierbei von Test zu Test. Teilweise entscheiden Wettrennen um technische Kennzahlen auf höchstem Niveau über Sieg oder Niederlage. Dennoch kommen Drive- und Walk-Tests der Wahrheit aktuell am nächsten. Beim connect-Netztest, übrigens auch durchgeführt von P3, schnitt die Telekom vor Kurzem mit der Note „sehr gut“ als Testsieger ab. Auch in anderen Drive-Tests wie dem chip-Netztest belegt die Telekom regelmäßig die Spitzenplatzierung.. 

Auch der Blog www.windowsunited.de kommt zu dem Ergebnis: Die P3-Studie ist nicht dazu geeignet, den Zustand des LTE-Netzes in Deutschland zu bewerten. In einem Artikel thematisiert der Blog die Schwachstellen der Messung. Der dazugehörige Kommentar erklärt unter anderem, warum der Vergleich zwischen Deutschland und Albanien sehr weit hergeholt ist.