Gerade ist ein neues Tool erschienen, das die Web-Datenextraktion wirklich revolutioniert, und ich musste einfach darüber sprechen. Es handelt sich um eine Open-Source-Bibliothek namens GitHub – lightfeed/extractor: Using LLMs and AI browser automation to robustly extract web data. Ich sehe viele neue KI-Tools, aber dieses sticht heraus, weil es die größten Probleme löst, mit denen meine Kunden beim Web Scraping zu kämpfen haben.
Jahrelang war das Extrahieren von Daten aus Websites ein fehleranfälliger und wartungsintensiver Prozess. Der Extractor von Lightfeed nutzt große Sprachmodelle (LLMs) und Browser-Automatisierung, um strukturierte Daten mithilfe von einfachem Englisch zu extrahieren. Das ist nicht nur eine kleine Verbesserung. Es ist ein fundamentaler Wandel weg von anfälligem Code, der bei jeder Designänderung einer Website kaputtgeht.
Dieses Tool macht das Sammeln von Business Intelligence zugänglicher und zuverlässiger. Das ist eine große Sache für jedes Unternehmen, das für Wettbewerbsanalysen, Lead-Generierung oder Marktforschung auf Web-Daten angewiesen ist.
Was sind die aktuellen Herausforderungen bei der Web-Datenextraktion?
Die meisten kleinen Unternehmen, mit denen ich arbeite, wissen, dass sie öffentliche Web-Daten nutzen sollten. Sie wollen die Preise der Konkurrenz verfolgen oder neue Vertriebs-Leads finden. Aber die technischen Hürden sind oft zu hoch.
Herkömmliche Scraping-Tools sind komplex und erfordern ständige Wartung. Websites ändern ihren Code, und der Scraper, für dessen Entwicklung Sie letzten Monat einen Entwickler bezahlt haben, funktioniert plötzlich nicht mehr. Darüber hinaus werden Websites immer cleverer darin, automatisierten Traffic zu blockieren. Das macht eine zuverlässige Datenerfassung zu einem ständigen, teuren Kampf.
Woran scheitern traditionelle Scraping-Methoden?
Die alte Art des Scrapings beruht darauf, bestimmte Wegweiser im Code einer Website zu finden, wie CSS-Selektoren oder XPaths. Stellen Sie es sich so vor, als würden Sie einem Roboter Anweisungen geben: „Gehe zum dritten Absatz, finde den zweiten Link und kopiere den Text.“ Das funktioniert perfekt, bis der Website-Betreiber beschließt, die Seite neu zu gestalten.
Wenn das passiert, verschieben sich die Wegweiser und Ihr Roboter verirrt sich. Der Scraper geht kaputt. Diese Anfälligkeit bedeutet, dass Sie mehr Zeit damit verbringen, Ihre Tools zu reparieren, als die von ihnen gelieferten Daten zu nutzen. Für ein kleines Unternehmen ohne eigenes Technik-Team ist das ein Albtraum.