Regular expressions in perl

Hier een intro over regular expressions in perl. Een eerste begin, later volgt meer.

Regular expressions (vaak afgekort tot regex) zijn patronen voor tekstherkenning. Tekst in de ruimste zin van het woord. Dat kan ook een string met alleen cijfers of speciale tekens zijn. Ook talen als python en javascript doen veel met regex. De syntax is daar vaak afgeleid van de perl syntax.

ChatGPT: De eerste programmeertaal die reguliere expressies (regex) gebruikte, was Ken Thompson's implementatie van het zoekprogramma QED (Quick Editor) rond 1967. Thompson, die ook een van de ontwikkelaars van UNIX was, integreerde reguliere expressies in QED op basis van eerdere concepten. [..] Perl staat bijzonder bekend om zijn uitgebreide ondersteuning voor reguliere expressies.

Basics

Twee veel voorkomende toepassingen:

1. om te checken of een patroon in een variabele voorkomt. Anders gezegd, is er een match? Resultaat is 1 (true) of 0 (false).
2. om een (deel van) een string door een andere string te vervangen, oftewel substitute. De string waar je de regexp op loslaat kan dus veranderen, maar alleen als het patroon precies matcht, precies aanwezig is.

match

Voorbeelden van matching:

Stel je wilt een variable testen als volgt.

if ($dier =~ m/aap/) 
{ doe iets }         
else
{ doe iets anders } 

{ doe iets } hierna aan te duiden als { .. } wat geen perl is

De ‘m’ voor de eerste slash geeft aan dat je alleen wilt matchen maar niets wilt veranderen. Anders zou er de ‘s’ van substitute staan.

Vaak wordt de ‘m’ weggelaten, die is default.

if ($dier =~ m/aap/) 
{ .. } 

Dit is dus hetzelfde:

if ($dier =~ /aap/) 
{ .. }

Het patroon staat normaal tussen forward slashes, maar je kan andere tekens gebruiken (als het patroon zelf veel slashes bevat is dat soms leesbaarder., maar bij hoge uitzondering).

if ($dier =~ /aap/) { .. }
if ($dier =~ #aap#) { .. } 

is dus hetzelfde. Maar is hier alleen verwarrend, want het patroon ‘aap’ bevat helemaal geen slashes. In 99% van de gevallen is de forward slash de norm.

Ook de omgekeerde test kan (of de substring niet voorkomt) kan.

if ($dier !~ /aap/) { .. }

Als de string niet 'aap' bevat doe dan iets.

=~ en !~ zijn dus elkaars tegengestelde.

substitute

Bij een substitute staat er eerst een patroon, dan aansluitend wat er voor in de plaats moet komen. In totaal dus 3 slashes.

$dier =~ s/aap/chimp/ ; 

Det zal matchen als $dier ‘aap’ bevat maar ook als dier ‘schaap’ bevat. Niet als dier ‘Aap’ bevat.

Dus voorbeelden van een variable en wat er na de regexp in staat.

$dier = 'aap' ;
$dier =~ s/aap/chimp/ ; 

$dier bevat nu 'chimp'

$dier = 'Aap' ;
$dier =~ s/aap/chimp/ ; 

$dier bevat nog steeds 'Aap'

$dier = 'schaap' ;
$dier =~ s/aap/chimp/ ; 

$dier bevat nu 'schchimp'

Het luistert dus nauw.

Wil je dat de regexp ook matcht met 'Aap' dan eindig je de regex (aansluitend) met een extra 'i' achter de laatste slash. Die modifier staat voor case insensitive.

$dier = 'Aap' ;
$dier =~ s/aap/chimp/i ; 

$dier bevat nu 'chimp'

Er zijn speciale tekens om aan te geven dat de match aan het begin van de string moet zijn: tilde, of aan het einde: dollar. Let op: die tekens betekenen alleen dit als ze aan het begin (tilde) of eind staan (dollar), anders betekenen ze wat anders.

$dier = 'schaap' ;
$dier =~ s/^aap/chimp/ ; 

$dier bevat nog steeds 'schaap'

$dier = 'schaapherder' ;
$dier =~ s/aap$/chimp/ ; 

$dier bevat nog steeds 'schaapherder', want de te vinden substring staat niet aan het einde van de string

$dier = 'aap ' ;
$dier =~ s/aap$/chimp/ ; 

$dier bevat nog steeds 'aap ', want de string eindigt op een spatie

modifiers i, g en x

De /i voor case insensitive kwam al langs.

Een andere modifier die in OBK scripts vaak voorkomt is /g. Dit staat voor global, oftewel substitute zo vaak als een substring voorkomt.

Een enkel keer staat er /x In zo'n geval kunnen er spaties in de regex staan om de regex in stukjes te breken voor de leesbaarheid. Wil je echt op de aanwezigheid van een spatie testen, dan moet je dat anders gecodeerd aangeven.

Meerdere modifiers kunnen gecombineerd worden, de volgorde is niet belangrijk.

$dier = 'aap aap' ;
$dier =~ s/aap$/chimp/ ; 

$dier bevat 'chimp app'

$dier = 'aap aap' ;
$dier =~ s/aap$/chimp/g ; 

$dier bevat 'chimp chimp'

Het aantal modifiers dat perl kent is heel erg groot. Maar in OBK scripts zijn 'i' en 'g' de belangrijkste.

Voor een complete referentie zie dit overzicht.

Advies

Nog meer dan de rest van perl is het heel makkelijk om de fout in te gaan met regexs. De match of substitute doet niet wat je wil, match te vaakt of juist te weinig. Je krijgt foutboodschappen, die lastig te duiden zijn. Of alles lijkt in orde, geen foutboodscaheppen, maar het script produceert verkeerde resultaten.

Dit is voor een deel te ondervangen met een zorgvuldige werkwijze: bouw in het algemeen perl maar zeker regex code in stukjes op, en test voordurend (tussen)resultaten.

Voorbeeld:

$dier is 'schaap' ;
print "A dier is $dier\n" ; 
$dier =~ s/aap/chimp/ ;
print "B dier is $dier\n" ; 

A staat hier voor 'voor uitvoering van de regex'
B staat hier voor 'na uitvoering van de regex' 

Dit levert op

A dier is 'schaap'
B dier is 'chimp'

Het kan helpen om het script daarna meteen te stoppen (met perl 'exit'). Dan zijn dit de laatste regels output. Natuurlijk deze test code daarna wel weer verwijderen. Of in commentaar zetten, als je het vaker zal gebruiken, en snel weer wil activeren.