Admin:Bestanden die perl inleest of schrijft

Voor de meeste steden is de data gedownload uit het overheidsregister voor open data (Overheid.nl); een enkele keer uit een andere open data bron.

Deze data zijn vaak in csv bestandsvorm, soms in xlsx bestand, soms als shapefiles.

Spreadsheets en shapefiles moeten eerst omgezet worden in een csv bestand (Excel save as, of via QGIS voor een shapefile)

Indien de spreadsheet een punt-comma gebruikt als scheidingteken voor velden, in plaats van een comma (wat meestal het geval is), dan kun je dit eenvoudig omzetten als volgt:
voeg als eerste regel (nog voor de headers) toe: 'sep=;'. Laadt het bestand nu in in Excel. En save het meteen weer als csv file.

Uit de het csv bestand worden met een perl script obk_csv2json.pl een aantal bestanden gegenereerd, waarvan trees_[gemeentenaam].json naar de OSM site gecopieerd, ook naar /data folder.

(voorheen heette dit perl script csv2json.pl, nu is het in modules opgedeeld)

Naamgeving en lokatie

Je vindt in het data archief o.a. de volgende bestandsnamen:

N.B.: Alles wat het script inleest of zelf genereert begint met obk_ zodat het makkelijk te herkennen is.

N.B.: gemeentebestanden staan in folder /data/[gemeentenaam]/gemeente/yyyy_mm_dd/.. zodat alles per revisie van het gemeentebestand gescheiden blijft

uitzondering: bestanden die over meerdere revisies hun waarde behouden staan een level hoger (in /data/[gemeentenaam]/gemeente..) denk aan 'obk_skip_trees.txt'

Input

obk_[gemeentenaam]_in.csv

het bomenbestand, de primaire input voor het perl script (soms staat het er ook als andere naam, de naam waarmee het gedownload is

Beter: deze naamsverandering documenteren in readme.txt. Nu zie je alleen door de files op verschillen te scannen dat die er niet zijn.

obk_in_gemeenten.csv (in /data zelf, want voor alle steden);

stats over steden uit Wikipedia (populatie)

$data/Leiden/Gemeente/2022_06_13/match/Leiden Matched Revisions Diff Taxon.csv

output van andere perl script, dat soorten vergelijkt tussen twee gemeentebestanden, nu alleen voor Leiden

Output

trees_leiden_overpass_2022_09_16.json

invoer van bomen uit Overpass, nu alleen nog voor Leiden

obk_[gemeentenaam].json

het bomenbestand, de primaire output van het perl script, die op OBK als data voor een kaart geldt (door javascript opgehaald wordt)

trees_[gemeentenaam].json

copie van obk_[gemeentenaam].json, nu nog de secondaire output van het perl script, die op OBK wordt gezet als input voor de javascript files (deze copie is er omdat nu nog alle input op OBK via trees_* files loopt)

obk_[gemeentenaam]_counts.txt

tellingen per park per soort

obk_[gemeentenaam]_counts.csv

???

obk_[gemeentenaam].log

???

obk_[gemeentenaam]_counts.log

???

obk_[gemeentenaam].json

test versie van obk_[gemeentenaam].json die in een aparte folder komt en het mogelijk maakt om de kaart lokaal te laden en meteen te tonen, vanuit het perl script