Získejte všechna důležitá data z webu do jednoho CSV souboru s aplikací Scraping Camel

Aplikace Scraping Camel je aplikace v ekosystému Mergado, která slouží k procházení HTML webu, ze kterého extrahuje prvky, které uživatel určí a následně vytvoří CSV soubor s požadovanými daty. S tímto CSV souborem poté může uživatel nadále pracovat jak potřebuje.

Jak funguje aplikace Scraping Camel?

Scraping Camel je poměrně jednoduchá appka. První předpoklad pro její úspěšné fungování je, aby web ze kterého chci data získat měl funkční soubor sitemap a nebyl založený čistě na javascriptu, jelikož aplikace funguje jen na základě HTML dokumentu. Pokud jsou tyto předpoklady splněny, stačí už jen provést ověření vlastnictví domény. Následně se dostanete do přehledu, kde si nastavíte, jaká data chcete z webu získat.

Aplikace extrahuje prvky, které uživatel určí FOTO: Scraping Camel, licence: Creative Commons Zero (CC0)

Pojďme si to ukázat krok po kroku:

1. Zvolíte si doménu, kterou má aplikace procházet.
2. Provedete její ověření, které je podobné jako u Google. Na výběr máte z vložení souboru na web, META značky do stránek či DNS záznamu.
3. Vložíte soubor sitemap.xml, které je podmínkou pro fungování aplikace. Scraping Camel odsud bere URL stránky webu.
4. Nastavíte si frekvenci procházení webu - příliš mnoho dotazů může web přetížit a málo naopak zpomalit.
5. Zvolíte, jaké elementy chcete získat z cílových HTML stránek. Výchozí jsou title, meta description nebo si nadefinujte vlastní elementy (prostřednictvím regulárního výrazu nebo uvedením textu před a za hledanými informacemi).
6. Nastavíte si, jak se ve výstupním CSV mají jmenovat elementy se získanými informacemi.
7. A je to. Aplikace začne procházet cílový web. Až ho celý zpracuje, vygeneruje výstupní CSV a v administraci zobrazí jeho adresu.

Jaká data lze z webu získat?

Díky aplikaci Scraping Camel můžete dostat z webu různá data mezi které patří například title, meta description, nadpis H1 nebo H2 a spoustu dalších.

Další výhodou této aplikace je to, že dokáže zpracovávat i weby bez košíku, tedy různé katalogy produktů nebo webové prezentace. Jejich data umí v Mergadu upravit například pro PPC reklamu na Google Ads či SEO analýzy. V případě, že je e-shop vytvořený na zakázku a negeneruje XML či jiné feedy, dokáže z něj získat potřebné informace. Zpracování si přitom nastavíte sami a nemusíte žádat administrátora aplikace.

Jaká je přidaná hodnota této aplikace?

Na stejném principu funguje i známá aplikace Screaming Frog nebo Xenu. Akorát s tím rozdílem, že tyto aplikace fungují na jednorázovém principu a spouštějí se na lokálním zařízení. Námi zmiňovaná aplikace Scraping Camel funguje přesně naopak - běží na serveru nonstop a výstupy poskytuje ve strojově čitelné podobě, které lze následně ještě zpracovat dalším softwarem. Data jsou průběžně automatizovaná a výstupy jsou dostupné online.

Proč se vyplatí aplikaci používat?

1. Aplikace lze využít jak pro weby bez košíku, tedy různé katalogy produktů nebo webové stránky, tak i pro normální e-shopy.
2. Aplikace běží nonstop na serveru - kontroluje web 24 hodin, 7 dní v týdnu.
3. Aplikace poskytuje výstupy ve strojově čitelné podobě, což znamená, že data lze následně zpracovat dalším softwarem např. Mergadem.
4. Aplikace je vhodná jak pro e-shopaře, tak i SEO specialisty či odborníky na PPC reklamy.
5. Zaujala vás Scraping Camel? Máte možnost si všechny funkce vyzkoušet naplno na 30 dní zcela zdarma.