supermarkt.json data scrape

[myucesan]

Ik zie dat je een .json bestand inlaad die je af en toe update. Hoe scrape je precies de data, als ik vragen mag? Is dat iets wat open source is?

[fbarbe00]

I agree! It would be great if you could share the script for scraping the data, so other people could also contribute (including myself)!

[jusr3124]

hier ben ik ook benieuwd naar.

[b-a0]

Here is someone who does something similar, perhaps it is helpful: https://forum.fok.nl/topic/2655492/1/50#p205827772

[lalilaloe]

@myucesan op Tweakers is daar een uitgebreid artikel van https://tweakers.net/geek/204304/tweaker-ontwikkelt-website-om-productprijzen-van-supermarkten-te-vergelijken.html

[stephan-v]

Het is op zich niet heel moeilijk om scrapers te bouwen aangezien de meeste supermarkt ketens data aan hun frontend aanleveren via een backend call die je vaak meteen al op kan pakken in je netwerk tab van je browser.

Het probleem is dat deze netwerk requests vaak wel anti-bot/scraper beveiliging hebben zoals Akamai. Wanneer je hard data gaat scrapen en dit doet met een klein interval zullen ze je binnen no-time blokkeren.

De enige betrouwbare manier om hieromheen te werken is om een rotating residential proxy in te zetten. Voor elke request die je maakt krijg je een nieuw ip adres dat niet afkomstig is van een data center maar eentje die toegewezen is door een ISP. Zodoende lijkt het alsof een doodgewone supermarkt consument de website zit te browsen.