Perl scripts
Installeer perl
- Installeer Perl
- bijv ActiveState perl
Installeer een IDE (Integrated Development Environment)
- bijv. KOMODO IDE
Test met een triviaal perl script
- Klik +, rechtsboven in menu balk
- Klik 'New File'
- Copieer onderstaande twee regels naar het nieuwe bestand (zonder spaties voor de regels)
- Sla op als (Save as) hello_world.pl
- Voer script uit (Run) met F7
- Check de output
- Staat er "Hello world!" in het output venster? Gefeliciteerd, je heb een werkende perl omgeving.
#!/usr/bin/perl print "Hello World!"
Installeer zonodig extra perl modules
- Het kan zijn dat nog extra perl modules geinstalleerd moeten worden.
- Doe dit met Perl Package Manager
- Run c:\Perl64\bin\ppm.bat
- Zoek naar 'text csv'
- Selecteer TEXT-CSV and klik 'Mark for install [+]'
- Klik 'Run marked actions' [Ctrl+Enter]
- Test onderstaand script
- Krijg je geen foutmeldingen dan heb je de benodigde extra module succesvol geinstalleerd!
- Doe dit met Perl Package Manager
#!/usr/bin/perl print "Hello World!" use Text::CSV; # install with ppm.bat use Text::CSV::Encoded ; use Math::Trig ; use utf8;
Download data archief van STRATO
Download met FileZilla alle folders binnen /data/..
Download perl bestanden (6) van STRATO
- Haal alle perl files die met obk_.. beginnen op van STRATO server en sla die lokaal op (allemaal in dezelfde folder ../perl..)
- Het gaat om deze modules:
obk_csv2json.pl hoofdscript , dit run je in de IDE obk_setup.pl genereer alle bestandsnamen, de meeste worden afgeleid uit de naam van het invoerbestand (csv bestand) obk_parse_csv.pl breek een regel uit het csv bestand op in bruikbare kolommen obk_counts.pl genereer tellingen obk_normalize.pl standaardiseer zaken als hoogte en stamdikte, die worden in elke gemeente weer iets anders gecodeerd obk_report.pl rapporteer over de uitkomst
==est obk_csv2json.pl met een bestaand bestand Open al deze bestanden in de IDE.
Kies voor welke gemeente je aan de slag wilt. In obk_setup.pl staat vanaf regel 55 een serie bestanden in commentaar (begint met #)
Activeer bijvoorbeeld Arnhem door de hash symbol weg te halen. Save obk_setup.pl.
Klik daarna in de IDE de hoofdmodule aan (obk_csv2json.pl), en toets F7 ("Run without debugging"), klik "OK"
In window 'Run output' verschijnt de voortgangslog.
Bijna onderaan in die log staat 'Ready'. Dan heeft het script normaal gelopen.
Er kunnen daar nog andere regels achteraan volgen, die komen dan uit ./scripts/perl/STDERR.txt Als het script niet goed ten einde komt, is er geen 'Ready' en worden foutboodschappen uit STDERR.txt ook niet op het scherm getoond, Altijd goed om dan even zelf te kijken wat er in ./scripts/perl/STDERR.txt staat.
Voeg nieuwe gemeente 'Demo' toe
Prepareer bestand (converteer zonodig eerst coordinaten naar lengte- en breedtegraden via QGIS) en sla op in ./bomen/data/demo/gemeente/yyyy_mm_dd/obk_demo_in.csv
Voeg een regel toe aan obk_parse.pl voor dit nieuwe invoerbestand 'obk_demo_in.csv'
Voeg onderstaande sectie toe in obk_setup.pl in, waar de beschikbare velden en hun kolom titels nog ingevuld moeten.(sortering is alfabetisch)
# Demo
if ($csv_columns eq 'demo')
{
$valid_city = 1 ;
($id, $species_nl, $species, $stamdiameterklasse,
$hoogte, $plantjaar, $beheerder, $locatie,
$long, $lat) = ($csv -> fields ()) [$..,$..,$..,$.., (bijv. [$A,$F,$G,$H etc)
$..,$..,$..,$..,
$..,$..] ;
|
- Test telkens na kleine (nee, heel kleine aanpassingen). Zodat als een fout optreedt je nog weet wat je laatste aanpassing was. En je bijvoobeeld met undo (Ctrl=Z) je laatste wijzingen ongedaan kunt maken.
- En copieer regelmatig naar een backup folder, voor als je er niet meer uitkomt, en je terug wilt naam een recente eerdere revisie).
oud:csv2json.pl
(oud, vervangen door obk_*.pl bestanden) zie boven
Perl script csv2json.pl voert een aantal bewerkingen uit op een bomenbestand.
Het is een beetje Q&D (Quick and Dirty). Zo moet je eerst wat regels in het script aanpassen, wanneer je van invoerbestand wilt wisselen.
Zelfs de naam had beter gekund, want intussen produceert het niet alleen een json bestand, maar ook een csv en txt bestanden.
Aug 2022: nu ook tellingen per park: aantal bomen, aantal soorten (park = 'park' in straatnaam, plus voor Leiden bekende namen van parken die dat niet hebben, bijv 'Leidse Hout')
ook:verschillenlijsten
csv_match_revisions.pl
Perl script csv_match_revisions.pl kan twee CSV bestanden met gemeentelijke data vergelijken en daaruit een aantal verschillenlijsten produceren. Er zijn verschillende bestandsformaten voor gemeentelijke bomenbestanden. Het eenvoudigste voor ons doel is een csv bestand (Comma Separated Values)
Separated Values) of XLS(X) bestand (Excel spreadsheet). Een Excel bestand kan je heel eenvoudig exportereen naar een CSV bestand. Het script verwacht dat de invoerbestanden al (oplopend) zijn gesorteerd op het eerste veld Id (dit kan in Excel).
(Terzijde: de naam Comma Separated Values kan misleidend zijn. Excel hanteert verschillende scheidingstekens in verschillende landen. In de Nederlandse versie van Excel is het een punt-komma. Dit script verwacht echt komma's als scheidingstekens.)
taxonnamen
Twee van de verschillenlijsten gaan over taxonnamen:
- een tekst bestand Leiden Matched Revisions Diff Species.txt, bedoeld als leesbaar overzicht
- een csv bestand Leiden Matched Revisions Diff Taxon.csv, bedoeld om verder te verwerken met csv2json.pl. Dat script voegt in het json bestand extra tags toe waarmee je verschillen tussen gemeentelijke soortnamen in oude en nieuw bestand op een kaart kan markeren tijdens nalopen kan registreren wat de juiste naam is (de oude, of de nieuwe, of toch weer iets anders). Als je zo'n json bestand hebt met deze extra tags kun je die op de kaart zichtbaar maken door een extra parameter aan de url toe te voegen: checktaxon. Zie voor waarom dit er is en hoe het te gebruiken Veranderingen_in_taxonnamen_nalopen