Wer Geschäftsentscheidungen auf aktuelle Marktdaten stützen will, stößt schnell an Grenzen: manuelle Recherche skaliert nicht, API-Abonnements decken nicht alle Quellen ab, und der interne Aufbau einer Datenpipeline kostet Zeit und Kapazität. Dieser Artikel erklärt die praktischen Optionen — ohne Werbung für eine bestimmte Lösung.
Lesezeit: ca. 5 Minuten · Stand: Juni 2026
Vier Szenarien, in denen Unternehmen regelmäßig Marktdaten automatisiert beschaffen:
Preise der wichtigsten Konkurrenten täglich oder stündlich abrufen — für dynamische Pricing-Entscheidungen oder als Input für Repricing-Systeme.
Lieferantenpreise, Marktpreise für Rohstoffe oder Standardkomponenten aus mehreren Quellen aggregieren — für Einkaufsplanung und Budgetierung.
Sortimentsveränderungen bei Wettbewerbern, neue Produktkategorien, Preispositionierungen — als Frühwarn-System für strategische Anpassungen.
Offene Stellen bei Wettbewerbern, Gehaltsrange-Entwicklungen, Technologie-Stacks aus Stellenanzeigen — für Personalplanung und Wettbewerbsanalyse.
Statista, GfK, Mintel, Bloomberg, Refinitiv — bieten strukturierte, aufbereitete Marktdaten als Abonnement. Professionell, rechtlich unbedenklich, aber teuer (typisch: ab 5.000 €/Jahr) und mit begrenztem Quellen-Coverage. Viele Nischenmärkte oder spezifische Wettbewerber-Daten sind nicht verfügbar.
Statistikbehörden (Destatis), EU Open Data, Bundesanzeiger, und viele E-Commerce-Plattformen bieten APIs. Kostenlos oder günstig — aber deckungslos für wettbewerbsspezifische Daten, die kein Anbieter als API bereitstellt.
Intern entwickelt mit Python (Scrapy, Playwright), selbst betrieben. Günstig in der Entwicklung (einmalig 20–40h), aber laufende Wartung unterschätzt: Layout-Änderungen brechen Selektoren, Anti-Bot-Schutz (Cloudflare, DataDome) blockiert, Proxies kosten extra.
Externer Dienstleister übernimmt Entwicklung, Betrieb, Monitoring und Anpassungen. Sie bekommen fertige Daten geliefert — kein Betriebsaufwand intern. Festpreis statt Stundensatz.
| Posten | DIY | Managed Service |
|---|---|---|
| Initiale Entwicklung | 20–40h (einmalig) | 1.500 € Setup |
| Monatliche Wartung | 4–10h × Stundensatz | Enthalten |
| Proxy-Kosten (Anti-Bot) | 100–200 €/Monat extra | Enthalten |
| Server-Kosten | 20–80 €/Monat | Enthalten |
| Layout-Change-Anpassungen | Intern, bei Bedarf | Enthalten, proaktiv |
| Monatliche Gesamtkosten | 320–900+ € | ab 290 € |
Alle Preise netto zzgl. MwSt. DIY-Kosten bei angenommenem Stundensatz von 80 €/h.
Das Scraping öffentlich zugänglicher Daten ist in Deutschland grundsätzlich zulässig — mit Grenzen:
Öffentlich zugängliche Preise und Sortimentsdaten
Preise auf öffentlichen Webseiten sind faktische Angaben ohne Werkschutz — zulässig zu erheben und zu nutzen.
Datenbankschutz bei systematisch zusammengestellten Daten
§ 87b UrhG schützt Datenbanken, in die erhebliche Investitionen geflossen sind. Systematisches Extrahieren wesentlicher Teile kann dagegen verstoßen. Einzelne Preise: unbedenklich. Kompletter Produktkatalog: Grauzone.
Umgehung technischer Schutzmaßnahmen
§ 95a UrhG verbietet das Umgehen technischer Schutzmaßnahmen. Cloudflare CAPTCHA-Bypass oder ähnliches ist damit rechtswidrig — unabhängig vom Inhalt.
Das Setup-Paket deckt 1–2 Quellen ab. Für jede weitere Quelle wird eine zusätzliche Analyse durchgeführt und ggf. eine Erweiterung des Pauschalbetrags vereinbart — abhängig von technischer Komplexität der Quelle.
Unser Monitoring erkennt Ausfälle automatisch. Wenn eine Quelle ihre Anti-Bot-Maßnahmen so verschärft, dass sie technisch nicht mehr zuverlässig zugänglich ist, informieren wir Sie — das ist in wenigen Fällen ein klares No-Go. Für die meisten Anpassungen (neue CAPTCHAs, geänderte Header-Anforderungen) passen wir die Pipeline ohne Extra-Rechnung an.
Standardmäßig historisieren wir alle Datenpunkte mit Timestamp in PostgreSQL. Sie können auf die volle Historie zugreifen und Preisentwicklungen über Zeit auswerten. Aufbewahrungszeitraum wird im Setup vereinbart — typisch 12–24 Monate.
Keine Mindestlaufzeit, monatlich kündbar. Das Setup ist eine einmalige Investition — der laufende Service läuft bis zur Kündigung weiter.
Beschreiben Sie kurz die Quellen und das gewünschte Lieferformat — Sie erhalten innerhalb von 24 Stunden eine technische Rückmeldung und ein konkretes Angebot.