Hruške, jabuke, jablane, čežane.

Prosti podatki so pogosto opevani kot zelo uporabna reč, vendar je očitno, da marsikdo te uporabnosti ne prepozna. Pa poglejmo zakaj so podatki, ki so dostopni v tabelarični obliki, lahko uporabni.

Recimo, da si na primer želimo ogledat kak film na Ljubljanskem mednarodnem filmskem festivalu. Izbire je preveč, zato je nujno narediti selekcijo. Kako to narediti? Ročni način bi bil, da z miško klikaš po seznamu, prebereš opise, morda pogledaš še video in si sproti ustvariš zaznamke. Če se ti da še malenkost bolj potrudit (ali če je opis premalo sporočilen), pogledaš še na IMDB za oceno. Na podlagi teh zaznamkov se potem odločiš za ožji izbor.

Malo manj ročni način je z uporabo računalniškega programa. Program festivala žal ni na voljo v tabelarični obliki, kar pomeni, da bo s pridobivanjem podatkov nekoliko več dela. Podatke je potrebno izvleči iz kode spletne strani.

Za programiranje bom uporabil prost programski jezik Python. Najprej preberimo kodo spletne strani. Da bo program “razumel” kodo, bomo uporabili dodatno knjižnico lxml. Sam sem uporabil Python 2.7 in lxml 2.3.

#!/usr/bin/python

# nalozimo knjiznico
import lxml.html

# naslov, kjer se nahaja program festivala
root = 'http://www.liffe.si/program/abc-seznam/'

# preberimo spletno stran
h = lxml.html.parse(root).getroot()
h.make_links_absolute(root)

Zdaj smo prebrali spletno stran. Ta se nahaja v spremenljivki h. Iz naložene spletne strani je zdaj potrebno dobiti zapise o posameznem filmu. Koda spletne strani ima obliko drevesa. S plezanjem po drevesni strukturi izberemo delčke strani, ki nas zanimajo. Če izberemo vse vrstice, bomo lahko prebrali vse filme.

# ... koda se nadaljuje od zgoraj

# zanimajo nas zapisi v tabeli filmov
# s spodnjim ukazom poiščemo vrstice (tr) znotraj tabele (table),
# ki se nahaja znotraj obrazca (form), katerega atribut "id" je "pluginAppForm"
trs = h.xpath('//form[@id="pluginAppForm"]//table/tr')

# seznam za shranjevanje zapisov
filmi = []

# sprehodimo se po vseh vrsticah
for tr in trs:
	# znotraj vrstice tr izberemo polja
	tds = tr.xpath('.//td')

	# iz vsakega polja poberemo besedilo
	teksti = []
	for c in tds:
		teksti = teksti + c.xpath('.//text()')

	# ker so v nekaterih vrsticah črte med črkami abecede,
	# je potrebno te vrstice ignorirati, kar naredimo tu
	if len(teksti) != 6:
		continue

	# izpisimo informacije, ki jih imamo sedaj
	print teksti

	# dodajmo informacije o filmu v seznam filmov
	filmi.append(teksti)

Datoteka: liffe1.py

Zdaj smo uspeli prebrati kar nekaj informacij o filmih, ki se bodo na festivalu predvajali. Slovenski naslov, naslov v izvirniku, država in leto, režiserja, jezik in kategorijo, v katero je na festivalu umeščen.

Ker bi želeli to prebrati kot preglednico, se nam splača to shraniti v zapis, ki ga bo prebavil Calc ali Excel. Najenostavnejši je CSV oz. z vejico ločena polja.

# informacije o filmih so shranjene v spremenljivki "filmi"

# nalozimo modul csv
import csv

# odprimo novo datoteko liffe22.csv, v katero bomo podatke shranili
wr = csv.writer(open('liffe22.csv','w'))

# vpisimo naslove stolpcev
wr.writerow(['Naslov', 'Originalni naslov', 'Drzava, Leto', 'Rezija', 'Jezik', 'Kategorija'])

# vsak film vpisemo v datoteko
for f in filmi:
	polja = []
	for p in f:
		polja.append(p.encode('utf-8'))
	wr.writerow(polja)

Datoteka: liffe2.py

Če sedaj datoteko liffe22.csv odpremo z Excelom oz. Calcom, bomo videli nekaj podobnega spodnji sliki:

Z uporabo preglednice lahko potem izvajamo bolj zanimive stvari, npr. filtriramo. Najprej uporabimo AutoFilter:

Če sedaj označimo, da želimo pregledati le perspektive, potem vidimo nekaj podobnega:

Če želimo pregledovati po letniku filma, pa naletimo na težavo, saj je leto združeno z državo. Zato moramo naš program malo popraviti:

...

	if len(teksti) != 6:
		continue

	# locimo drzavo in leto v dve polji
	drzava_leto = teksti[2].rsplit(', ', 1)

	# vkomponiramo novi polji
	teksti = teksti[:2] + drzava_leto + teksti[3:]

	# izpisimo informacije, ki jih imamo sedaj
	print teksti

...

# vpisimo naslove stolpcev
wr.writerow(['Naslov', 'Originalni naslov', 'Drzava', 'Leto', 'Rezija', 'Jezik', 'Kategorija'])
...

Datoteka: liffe3.py

Skoraj perfektno, sedaj lahko filtriramo tudi po letu izida.

Sedaj imamo podatke v tabelarični obliki v zapisu, ki ga lahko uporabimo, da podatke obogatimo še s čim drugim… na primer s podatki, ki so v IMDB. IMDB ima v bazi povprečje ocen filma, ki so jih filmu prisodili uporabniki, kar je včasih kar dober indikator. Dodajmo še to:

# nalozimo knjiznice
import lxml.html
import json
import urllib

...

	# locimo drzavo in leto v dve polji
	drzava_leto = teksti[2].rsplit(', ', 1)

	# dodajmo še ocene in žanr iz IMDB
	# sestavimo url
	orig_naslov = urllib.quote(unicode(teksti[1]).encode('utf-8'))
	url = 'http://www.imdbapi.com/?t=%s&y=%s' % (orig_naslov, drzava_leto[1])

	# prenesimo url
	imdb_text = urllib.urlopen(url).read()

	# nalozimo zapis v program
	imdb = json.loads(imdb_text)

	# preberemo oceno
	imdb_ocena = imdb.get('Rating', '')
	imdb_zanr = imdb.get('Genre', '')

	# vkomponiramo nova polja
	teksti = teksti[:2] + drzava_leto + teksti[3:] + [imdb_ocena, imdb_zanr]

...

wr.writerow(['Naslov', 'Originalni naslov', 'Drzava', 'Leto', 'Rezija', 'Jezik', 'Kategorija', 'IMDB ocena', 'IMDB zanr'])

...

Datoteki: liffe4.py in life22.csv

Tako dobljeno CSV datoteko zdaj ponovno odpremo s Calcom oz. Excelom, ponovno uporabimo AutoFilter in podatke posortiramo padajoče po IMDB oceni (Data -> Sort). Tako dobimo dobro informacijo če je določen film vreden ogleda ali vsi pred njim bežijo.

Seveda teh ocen ni nujno upoštevat. Liffe je super priložnost, da si človek ogleda kak tretji film, ki ga brez festivala sploh ne bi opazil.

V soboto je v 63 državah potekal open data hack day in ena izmed sodelujočih je bila prvič tudi Slovenija. Zbralo se nas je kakih osem, devet, kar se je izkazalo za ravno lepo število, da lahko že kaj naredimo. In kaj smo uspeli narediti?

V prvi vrsti je zelo pomemben popis virov podatkov, ki omogoča, da se sploh zavedamo do kakih podatkov je dostop trenutno možen in da obstaja katalog, ki popisuje vse te vire informacij. To je kar dobro uspelo, seveda pa je še kar ogromno zadev, ki še niso na seznamu.

Lotili smo se sicer večih vizualizacij, a dokočali smo le eno, je pa ta toliko bolj zanimiva – verjetnost, da bo vaš narobe parkiran avto v Ljubljani odpeljal pajek mestnega redarstva. Na voljo je tudi tabela vnosov na Google Docs.

Na koncu bi se prav lepo zahvalil Mateju Praprotniku, ki je pomagal pri organizaciji, in RTV Slovenija, ki je dogodku nudila prostor in prigrizek ter tako omogočila, da je bila prva delavnica prostih podatkov tako uspešna.

Geodetska uprava Republike Slovenije daje na uporabo nekatere “brezplačne” geodetske podatke. Uporaba ni čisto brez omejitev, ampak so pa na voljo takoj, brez križev z birokracijo. Tudi čisto brezplačni niso, vsaj ne za komercialno rabo – od vas bojo podatki zahtevali najmanj to, da nejasne pogoje uporabe, v katerih je nepooblaščena uporaba celo zagrožena z globo, pregleda pravniško oko.

Če prepustimo pravniške zadeve pravnikom, nam ostane še tehnični del, ki pa v sebi skriva prav toliko nejasnosti. Geodetski podatki, ki so na voljo, so namreč zapisani v Slovenskem prostorskem referenčnem sistemu, bodisi D48/GK ali D96/TM. Spletne aplikacije po večini uporabljajo WGS84, ki je uporaben za celotno Zemljo, a je zato na lokalnem nivoju nekoliko manj natančen. WGS84 sicer uporablja tudi standard GPS, ki ga poznate iz raznih garminov in nekoliko dražjih telefonov. Za pretvarjanje iz enega prostorskega referenčnega sistema v drugega sicer obstajajo “recepti”, ki v sebi skrivajo 7 parametrov, s katerimi opišemo transformacije.

Transformacija iz D48/GK - neuspešno

Ob uporabi napačnih vrednosti parametrov se seveda transformacija izvede narobe, kot rezultat pa so potem meje občine ali države na zemljevidu, ko jih primerjaš z npr. Google maps, zamaknjene. Seveda “ročno” popravljanje odpade: če na eni strani države še ujameš pravo koordinato, se ti na drugem koncu sfiži. Zato je potrebno poznati pravih 7 vrednosti parametrov. No, za te transformacije sicer obstaja register, ki ga vzdržuje European Petroleum Survey Group – EPSG. V tem registru je zbrano malo morje informacij o prostorskih referenčnih sistemih, vendar se izkaže, da je točnost teh podatkov včasih vprašljiva.

V starih časih, preden so “izumili” Greenwich, oz. se dogovorili, da je nulti poldnevnik Greenwich, so za nulti poldnevnik jemali marsikaj. Nekateri “veliki imperiji” so vzeli sedež imperija – Italija je vzela Rim, Nemčija Berlin, Francija Pariz, Anglija pa London, oz. natančneje del Londona, poimenovan Greenwich. Kasneje je Greenwich – predvsem zaradi svoje razširjenosti za pomorsko navigacijo – postal tudi mednarodni referenčni poldnevnik.

Transformacija iz D48/GK - zmaga!

No, ker so bili v uporabi različni poldnevniki, se je moralo izvesti tudi prehod na novi standard – Greenwich. Za Slovenijo, takrat sicer Avstro-Ogrsko, je geodetske podatke urejal Militärgeographisches institut oz. MGI. Za referenčni poldnevnik je MGI vzel otok Hierro, ki je najzahodnejši del “Starega sveta”, ki so ga poznali do Kolumbovega podviga. Po razpadu Avstro-Ogrske je na njenem območju nastalo več držav, ki so nasledile dediščino MGI. Te države so kasneje tudi izvedle prehod na Greenwich kot referenčni poldnevnik, a pri tem je prišlo do neskladja – Avstrija je za poldnevnik Hierro vzela, da leži na 17° 40′ 00″ zahodno, medtem ko sta Jugoslavija in Madžarska privzeli, da je Hierro na 17° 39′ 46” zahodno. Pri tem je nastalo za 14” razlike, kar je ravno okrog 300m in dovolj, da meje območja na Google maps izgledajo popolnoma napačno.

Zakaj je do te “napake” prišlo in kdo je kriv je zdaj že vseeno, važno pa je, da smo dobili prave parametre, tako da zdaj transformacija deluje, da so podatki v WGS84 in da se projekcije pokrijejo. No, sicer še vedno nisem stoodstotno prepričan, da je to prava transformacija, ampak sodeč po odstopanjih je kar blizu. Za transformacijo sem vzel WKT za SRS 3787, zraven pa pri 6. parametru odštel 14 (za 14 sekund), da se odstopanje popravi.

So you want to use Ned Batchelder’s coverage.py and don’t want to install another Django app, don’t want to patch Django files or you just can’t wait for bug #4501 to be resolved.

Me too.

So I took a couple of minutes and put together this very very DRY-ish djangocoverage module, which binds together coverage.py with Django. It is based on a bit aged Siddharta Govindaraj’s snippet. Initially I intended to monkeypatch Django from manage.py, but finding out about TEST_RUNNER setting, I made a saner decision and provided a test runner.

import coverage

def coverage_decorator(func, omit_prefixes=None):
 "Decorator for Django's built in test runner"
 def _inner_coverage(*args, **kwargs):
 from django.conf import settings
 c = coverage.coverage()
 c.erase()
 c.start()

 retval = func(*args, **kwargs)

 c.stop()

 coverage_dir = getattr(settings, 'COVERAGE_DIR', './coverage_results')
 c.html_report(directory=coverage_dir, omit_prefixes=omit_prefixes)
 return retval
 return _inner_coverage

def coverage_test_runner(*args, **kwargs):
 "Test runner you can put in your application's settings file"
 from django.test import simple
 return coverage_decorator(simple.run_tests)(*args, **kwargs)

What you want to do is put djangocoverage.py somewhere where Python can find it and put “TEST_RUNNER=’djangocoverage.coverage_test_runner’” line into your settings.py.

Then, running tests is the same as it was. If you’re already using custom test runner, then you can easily integrate coverage.py using decorator, if you haven’t yet been using coverage.py. HTML report is written out in ./coverage_report, and you can also adjust that via COVERAGE_DIR setting. Hope you find it helpful.

Že dlje časa sem imel v mislih, da bi zbral skupaj drobce kode, ki sem jih potreboval za manjše projekte v Djangu, jih uredil in dal ven kot Slovenski localflavor modul za Django framework. No, ta čas je končno tu, saj sem zaradi prejšnjega blogposta potreboval spisat algoritem, ki zna preverit, če je EMŠO pravilna, za to pa sem uporabil kar Django forms.

Koda se nahaja na GitHubu, projektu pa je ime django-localflavor-sl. Vsake toliko časa bom pogledal, če je kak “fork” in kodo združil.