Anatomie eines Supermarkts – Die Methodik

Letztes Update: 7.9.2020 mit den Daten vom 28.7.2020

1. Methodik

Um einen Überblick darüber zu bekommen, was in Österreichs Supermarktregalen von wem verkauft wird, wurde für diese Recherche das Onlinesortiment von Billa und Interspar analysiert – den einzigen Onlineshops der großen Supermarktketten in Österreich. Beide bilden das gesamte Sortiment des jeweiligen Händlers ab.

Hofer hat lediglich ein stark beschränktes Onlinesortiment für Sonderaktionen mit knapp 60 Produkten. Da auch die weiteren Bereiche der Website von Hofer nicht genügend Informationen für eine breite Analyse bieten, wurde Hofer bei dieser Recherche außen vor gelassen.

• Beobachtungszeitraum Billa: 7.3.2020 bis 28.7.2020
• Beobachtungszeitraum Interspar:  7.3.2020 bis 28.7.2020

2. Umsetzung

Ein Webshop allein liefert noch keinen Informationsgewinn. Um das Sortiment vollständig abzubilden und zu analysieren, bedarf es eines oder mehrerer Scrapes, also des automatischen Abgreifens von Daten einer Website, des gesamten Shops. Keiner der beiden Shops bietet einen Überblick über die gesamte Produktpalette, weshalb zur Analyse ein automatisierter Bot vonnöten war, der das Sortiment erfasst.

Dieser Bot oder Scraper wurde für die Recherche in der Programmiersprache Python mit dem Browserframework Selenium umgesetzt. Bei jedem Scrape besucht das Programm jede Kategorie im jeweiligen Onlineshop, speichert alle auffindbaren Produktlinks und ruft diese sequenziell auf. Die zentralen Informationen auf jeder Produktseite werden dann wiederum in einer CSV-Datei gespeichert, die in Excel geladen und analysiert werden kann.

Grob funktioniert der Algorithmus also so:

1. Das Programm holt sich den Link für eine Produktkategorie aus einem manuell erstellten CSV-File
2. Das Programm besucht den Link und speichert alle auffindbaren Produktlinks
3. Das Programm besucht jeden gespeicherten Link und speichert die Infos in einer CSV-Datei
4. Das Programm holt sich den Link für die nächste Produktkategorie (REPEAT BIS ENDE)

Das Ergebnis ist eine Liste mit folgenden Informationen:

BILLA

• Überkategorie
• Kategorie
• Produkt
• Artikelnummer
• Hersteller
• Menge
• Preis
• Aktionslabel
• Vergünstigung
• Vergünstigter Preis
• Nur online
• Allgemeine Informationen
• Eigenschaften
• Nährwerte
• Zubereitung
• Allergene

SPAR

• Überkategorie
• Kategorie
• Produkt
• Artikelnummer
• Hersteller
• Menge
• Preis
• Aktionslabel
• Vergünstigung
• Vergünstigter Preis
• Preis gültig ab
• Produktdetails
• Produktbeschreibung
• Sonstiges
• Link

Diese Abfrage lief seit Anfang März einmal wöchentlich auf einem Laptop mit Linux (Elementary OS). Da jedes einzelne Produkt einzeln mit einem Browser abgefragt werden musste, war jeder Scrape zeit- und ressourcenaufwendig. Ab April konnte die Dauer jeder Abfrage auf 8 bis 14 Stunden reduziert werden.

Probleme, Hürden und Änderungen

Die wöchentlichen Abfragen verliefen zunächst nicht immer ganz problemlos. Während der Scraper Anfang März noch relativ zuverlässig erschien, wurden im Verlauf der Zeit einige Softwarebugs sichtbar. In den ersten beiden Märzwochen wurden daher noch viele kleine Verbesserungen durchgeführt. Durch den Corona-bedingten Lockdown ergab sich ein neues Problem: regelmäßige Internetausfälle und variierende Netzgeschwindigkeiten am Abfragestandort in Niederösterreich. Anfangs konnten die Abfragen noch mit viel Mühe und unter Aufsicht weiterlaufen, in der Osterwoche, am 10. April 2020, versagte die Abfrage jedoch völlig. Mehr als die Hälfte der Einträge in der Liste blieb leer, was mit hoher Wahrscheinlichkeit auf die unzuverlässige Internetverbindung zurückzuführen ist. Teils führte diese nämlich dazu, dass leere Seiten, aber mit gültigem Quellcode, angezeigt wurden. Daher gibt es valide Informationen zur Osterwoche leider nur von Billas Onlineshop. Als Reaktion auf dieses Totalversagen wurden die Scripts am Ostersonntag noch einmal stark überarbeitet und Barrieren eingebaut, die den Fehler in Zukunft verhindern sollten. Der Nebeneffekt: erheblich schnellere und erfolgreiche Abfragen.

Die zehn- bis zwanzigtausend Seitenaufrufe pro Woche legten die Architektur und die Sicherheitssysteme der beiden Onlineshops gut offen. Die Website von Billa basiert stark auf Javascript und zeigt während der Abfragen immer wieder leere Seiten mit dem Hinweis auf Fehler an. Ein erneutes Laden der Seite beseitigt dieses Problem –  das erledigt in so einem Fall das Script. Interspar wiederum setzt, wo auch immer möglich, auf fertig generiertes HTML und scheint wesentlich zuverlässiger zu funktionieren. Ladefehler gab es hier nicht.

Bei einer detailreicheren Analyse der Produktsortimente im Zeitverlauf ist nach dem 13. Mai aufgefallen, dass einige Produkte mehrfach gelistet sind. So wird zum Beispiel glutenfreies Brot in der Kategorie „Brot“ und in der Kategorie „Spezielle Ernährung“ gelistet, ebenso wie Hafermilch in „Kühlregal“ und „Vegetarisches“ oder Pesto in „Soßen“ und „Beilagen“. Bei Billa besteht die gesamte Kategorie „Geschenkideen“ nur aus Kopien anderer Produktkategorien, etwa Süßigkeiten oder Getränken. Durch diesen Umstand waren zunächst insbesondere die Stückzahl-Analysen verfälscht, sie wurden nach dieser Erkenntnis jedoch korrigiert.

Die Entfernung der Duplikate lieferte einen besseren Überblick, brachte zugleich aber ein neues Problem mit sich: In welche Kategorie sollte man mehrfach gelistete Produkte einordnen? Für den Überblick über die Produktkategorien oder den Eigenmarkenanteil innerhalb der Kategorien ist es sinnvoll, die Duplikate stehen zu lassen, schließlich bilden Interspar/Billa ihr Sortiment so im Internet ab. Für die restlichen Auswertungen ist es sinnvoller, die bereinigten Werte heranzuziehen.

Ab 21. Mai lief die Abfrage einwandfrei. Bis 9. Juli wurde ein erster Entwurf für die Story erstellt.

3. Source

Hier finden Sie die Rohdaten zum Download:

4. Begriffserklärung

• Tiefpreis (Billa): Produkte, die für die Dauer von mehreren Monaten oder länger preisgesenkt sind. Wirkt wie eine Aktion, lässt sich aber eher als Marketingtrick einordnen. Es handelt sich um einen normalen, festen Preis, der einfach nur mit einem Label gekennzeichnet ist. Nicht zu verwechseln mit einer Aktion.
• Immer billig (Interspar): Das Äquivalent zu Tiefpreis-Angeboten bei Spar.

Die Kategorien bei Billa:

• Obst & Gemüse: Obst, Gemüse, Salate, Trockenfrüchte & Nüsse
• Brot & Gebäck: Aufbackbrötchen & Toast, Brot & Gebäck, Knäckebrot & Zwieback, Kuchen & Co, Semmelwürfel & Brösel
• Getränke: Alkoholfreie Getränke, Bier & Radler, Kaffee, Tee & Co, Sekt & Champagner, Spirituosen, Wein, Mineralwasser
• Kühlwaren: Schnelle Küche, Eier, Fleisch, Käse, Aufstriche & Salate, Milchprodukte, Feinkostplatten & Brötchen, Blätterteig, Strudelteig, Wurst, Schinken & Speck, Feinkost, Fisch, Tofu
• Tiefkühl: Eis, Fertiggerichte, Fisch & Garnelen, Gemüse & Kräuter, Pommes frites & Co, Pizza & Baguette, Desserts & Früchte
• Grundnahrungsmittel: Asia-&-Mexican-Produkte, Baby, Backen, Essig & Öl, Fertiggerichte, Gewürze & Würzmittel, Honig, Marmelade & Co, Konserven & Sauerwaren, Mehl & Getreideprodukte, Müsli & Cerealien, Reis, Teigwaren & Sugo, Saucen & Dressings, Spezielle Ernährung, Zucker & Süßstoffe, Fixprodukte
• Süßes und Salziges: Müsliriegel, Chips & Co, Süßes
• Pflege: Baby, Damenhygiene, Deodorants, Haarpflege & Haarfarben, Pflaster & Verbandsmaterial, Haut- & Lippenpflege, Mund- & Zahnhygiene, Rasierbedarf, Seife & Duschbäder, Sonnen- & Gelsenschutzmittel, Verhütungsmittel, Fußpflege, Strumpfhosen & Socken
• Haushalt: Büro- & Schulartikel, Garten, Kleben & Befestigen, Küchenartikel, Küchenrollen & WC-Papier, Lampen & Batterien, Müllsäcke, Gefrierbeutel & Co, Raumsprays & Kerzen, Reinigen & Pflegen, Taschentücher & Servietten, Waschmittel & Weichspüler, Schuhpflege, Insektenschutz, Spielwaren
• Haustier: Hunde, Katzen, Nager, Vögel
• Geschenkideen: vor allem Duplikate aus dem Süßwaren- und Alkoholsortiment

Die Kategorien bei Interspar:

• Obst & Gemüse: Frischgemüse, Frischobst, Obst-, Gemüse- und Salat-Zubereitungen, Saisonartikel
• Kühlregal: Molkerei & Eier, Joghurt & Desserts, Käse, Aufstriche & Salate, Fertiggerichte, Teige & Snacks, Vegetarisch, Tofu, Soja & Co
• Wurst, Fleisch und Fisch: Wurst & Selchwaren, Frischfleisch & Geflügel, Fischfeinkost
• Vorratsschrank: Feinkost & Konserven, Frühstück, Gewürze & Saucen, Beilagen & Basisprodukte, Getreideprodukte & Backen, Trockenfrüchte, Nüsse & Kerne, Reform & Nahrungsergänzung, Asien & Mexiko
• Süßwaren: Süßwaren, Knabbergebäck
• Brot & Gebäck: Aufbackware, Brot, Feinbackwaren, Knäckebrot & Zwieback, Brösel & Semmelwürfel
• Getränke: Softdrinks & Säfte, Mineral- & Tafelwasser, Kaffee, Tee, Kakao, Bier, Wein & Schaumwein, Spirituosen
• Tiefkühlung: Fleisch, Fisch und Meeresfrüchte, Gemüse, Obst und Kartoffelprodukte, Fertiggerichte & Teige, Pizza, Baguette & Gebäck, Mehlspeisen & Eis
• Baby: Babynahrung & Getränke, Flaschen & Sauger, Pflege & Windeln
• Tiernahrung: Tiernahrung, Tierzubehör, Heu, Streu & Co
• Beauty: Kosmetik & Düfte, Haare, Mund & Zahn, Körper, Gesundheit
• Haushalt: Hygienepapiere, Putzen & Reinigen, elektrische Putzgeräte, Wäsche & Textilpflege, Haushaltszubehör
• Küche & Tisch: Kochgeschirr, gedeckter Tisch, Backen, Küchenhelfer, Folien, Säcke & Filter, Vorratsbehälter, Schneiden, Küchenwäsche, Getränkezubereitung, Entkalker, Einweggeschirr, Party- & Festtagsartikel
• Geschenkideen: Duplikate aus diversen anderen Kategorien wie Süßes, Wein oder Düfte