Ostatnio dowiedziałem się o akcji Dzień Darmowej Dostawy, która odbędzie się 1 grudnia 2010 r., wzorowanej na amerykańskim Free Shipping Day. Cel jest oczywisty, a szczegółowe informacje są podane na stronie http://dziendarmowejdostawy.pl/.

Firmy uczestniczące w akcji są wymienione w formie adresów internetowych stron, bez odsyłaczy. Poza bardziej znanymi partnerami akcji jak gram.pl, Vobis, Helion, Komputronik czy Megastore jest sporo sklepów, o których działalności niewiele można powiedzieć po samym adresie internetowym. Parę przykładów - Fnak.pl, DeeZee.pl, Maminek.pl, KissMyKicks.pl czy KolorowaKrowa.pl ! :)

W celu szybkiego sprawdzenia tematyki każdego ze sklepów popełniłem mały skypcik w pythonie, w którym widać łatwość z jaką można wkroczyć w tematykę zwaną Web scraping

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

import urllib, sys, BeautifulSoup

adresDDD = "http://dziendarmowejdostawy.pl/"
soup = BeautifulSoup.BeautifulSoup(urllib.urlopen(adresDDD))

for li in soup.findAll('li'):
        try:
                a2 = li.contents[0].strip(" \t\n").decode('utf8')
                print "[http://" + a2+ "]"

                soup2 = BeautifulSoup.BeautifulSoup(urllib.urlopen("http://"+a2))
                try:
                        print unicode(soup2.head.title)
                except:
                        print soup2.head.title
        except:
                continue

Na przykładzie widać najprostsze wyciąganie danych za pomocą pythona i biblioteki BeautifulSoup.

Po delikatnym przeformatowaniu w npp można uzyskać coś takiego:

• http://Gram.pl - gram.pl - Recenzje, Zapowiedzi, Newsy, Poradniki, Dema. Gry na PC, PS3, X360.
• http://Onepress.pl - Księgarnia biznesowa Onepress.pl - książki klasy business
• http://Rebel.pl - Sklep z grami REBEL.pl :: Największy polski sklep z grami - gry rpg, gry planszowe, gry karciane i inne
• http://Pixers.pl - Fototapety, Obrazy na ścianę, Plakaty, Naklejki, Zdjęcia na płótnie - najciekawszy sklep w Europie - PIXERS
• …