Perl obk csv2json.pl

script naam is eigenlijk obk_csv2json.pl (incl underscore)

Hoofddoel: Dit script vormt een gemeentebestand in csv formaat om naar een json bestand, klaar om in obk.htm ingeladen te worden.

Tevens genereert het tellingen, en input voor een tile set die in editor ID gebruikt kan worden om species, positie en admin_ref over te halen naar OSM.

Main script:

obk_csv2json.pl

Modules

Download data archief van STRATO

Download met FileZilla alle folders binnen /data/..

Download perl bestanden (6) van STRATO

Haal alle perl files die met obk_.. beginnen op van STRATO server en sla die lokaal op (allemaal in dezelfde folder ../perl..)

Het gaat om deze modules:

obk_csv2json.pl  hoofdscript , dit run je in de IDE
obk_setup.pl     genereer alle bestandsnamen, de meeste worden afgeleid uit de naam van het invoerbestand (csv bestand)
obk_parse_csv.pl breek een regel uit het csv bestand op in bruikbare kolommen 
obk_counts.pl    genereer tellingen 
obk_normalize.pl standaardiseer zaken als hoogte en stamdikte, die worden in elke gemeente weer iets anders gecodeerd 
obk_report.pl    rapporteer over de uitkomst

Test obk_csv2json.pl met een bestaand bestand

Open alle genoemde perl sources in de IDE (Integrated Development Engine).

Kies voor welke gemeente je aan de slag wilt. In obk_setup.pl staat vanaf regel 55 een serie bestanden in commentaar (begint met #)

Activeer bijvoorbeeld Arnhem door de hash symbol weg te halen. Save obk_setup.pl.

Komodo IDE: Klik daarna in de IDE de hoofdmodule aan (obk_csv2json.pl), en toets F7 ("Run without debugging"), klik "OK"

In window 'Run output' verschijnt de voortgangslog.

Bijna onderaan in die log staat 'Ready'. Dan heeft het script normaal gelopen.

Er kunnen daar nog andere regels achteraan volgen, die komen dan uit ./scripts/perl/STDERR.txt Als het script niet goed ten einde komt, is er geen 'Ready' en worden foutboodschappen uit STDERR.txt ook niet op het scherm getoond, Altijd goed om dan even zelf te kijken wat er in ./scripts/perl/STDERR.txt staat.

output (bestanden met datum 02/18/2023)

Voeg nieuwe gemeente 'Demo' toe

Prepareer bestand voor een nieuwe gemeente (converteer zonodig eerst coordinaten naar lengte- en breedtegraden via QGIS) en sla op in ./bomen/data/demo/gemeente/yyyy_mm_dd/obk_demo_in.csv

Voeg een regel toe aan obk_setup.pl voor dit nieuwe invoerbestand 'obk_demo_in.csv'

Voeg onderstaande sectie toe in obk_parse_csv.pl in, waar de beschikbare velden en hun kolom titels nog ingevuld moeten.(sortering is alfabetisch)

# Demo
  if ($csv_columns eq 'demo')  
  {
    $valid_city = 1 ;
    ($id, $species_nl, $species, $stamdiameterklasse, 
     $hoogte, $plantjaar, $beheerder, $locatie,
     $long, $lat) = ($csv -> fields ()) [$..,$..,$..,$.., (bijv. [$A,$F,$G,$H etc)
                                         $..,$..,$..,$..,       
                                         $..,$..] ;

Test telkens na kleine (nee, heel kleine aanpassingen). Zodat als een fout optreedt je nog weet wat je laatste aanpassing was. En je bijvoobeeld met undo (Ctrl-Z) je de laatste wijzingen ongedaan kunt maken.
En copieer regelmatig naar een backup folder, voor als je er niet meer uitkomt, en je verder terug dan met undo kan naar een recente eerdere revisie).
Begin bijvoorbeeld met alleen $long en $lat in obk_parse_csv.pl op te nemen, dat levert alleen lon en lat in de json file, de rest zijn defaults. Als deze test run goed loopt voeg dan telkens 1 of 2 velden toe, en test opnieuw.

N.B. sommige perl/javascript scripts (of externe libraries) gebruiken long en lat (o.a. gemeentes), andere lon en lat (OSM). Ook in deze scripts komt die inconsequentie voor.

slechts twee velden (lat,lon) komen uit invoer, de rest zijn default waarden

Review output

Als het goed is heb je nu 6 nieuwe bestanden. Twee daarvan zijn qua inhoud identiek, en verschillen alleen in naam, namelijk obk_[gemeente].json en trees_[gemeente].json.

Reden: de javascript files verwachten prefix trees_... Voor dit perl script is prefix obk_... standaard voor input en output. De file handmatig renamen van obk_... naar trees_... had ook gekund, maar zou mogelijk net zo verwarrend zijn geweest. Daarom twee identieke bestanden bestanden, de ene (obk_...) om het generatieproces te reviewen, en de andere (trees_...) om naar de folder te copieren, waar de web pagina het kan downloaden.

voorbeeld voor Leiden:

obk_leiden-counts.csv Synopsis: totaal aantal bomen en soorten per park
obk_leiden-counts.txt Details: aantal bomen, per soort per park
obk_leiden.csv        Bestand dat in QGIS omgezet kan worden in een tegelset (tile set) voor gebruik in OSM editor ID. Met per boom coordinaten, id, species, diameter, hoogte,  plantjaar, kort label (bijv: '2028728'-Que rob), owner 
obk_leiden.log        Tellingen per veld, voor nerds 
obk_leiden.json       zelfde als volgende regel
trees_leiden.json     Het bestand dat naar de OBK server wordt gecopieerd, om aldaar door obk.htm opgehaald te worden

Script wijzigingen testen

Zie aparte pagina