Linux.fi - Käyttäjän muokkaukset [fi]

Säännöllinen lauseke

2010-09-20T00:32:28Z

Ordyh: /* Teoriaa */ korjaus

'''Säännöllinen lauseke''' (engl. '''regular expression''', '''regexp''') on yksinkertainen merkkijonokieli, joka voi joko ''vastata'' tai ''olla vastaamatta'' jotain toista merkkijonoa. Linux- ja Unix-järjestelmissä säännöllisiä lauskkeista on suurta hyötyä [[komentorivi]]ä käytettäessä esimerkiksi merkkijonojen etsimis- ja korvaustoiminnoissa. Niiden voidaankin sanoa olevan [[putki]]ttamiseen yhdistettynä tärkeimpiä työkaluja, joita komentorivin edistynyt käyttö edellyttää.

Tässä artikkelissa on esitetty johdatus säännöllisiin lausekkeisiin siten, miten komentorivityöklu <tt>[[grep]]</tt> ne ymmärtää ''laajennettussa'' (engl. extended) tilassa. Perusoperaattorit (<tt>*</tt>, <tt>?</tt>, sulut) ovat ''universaaleja'', eli kaikki toteutukset tukevat niitä. Kaikissa säännöllisten lausekkeiden toteutuksissa syntaksi ei kuitenkaan ole aivan sama.

Säännöllisistä lausekkeista on yleisesti käytössä kolme tyyppiä: ''tavallinen'' (engl. basic), ''laajennettu ''(engl. extended) ja ''[[Perl]]-tyyppinen''. Tässä ohjeessa esitetty syntaksi on yhteensopiva Linuxin [[GNU]]-grepin laajennetun syntaksin kanssa jollei toisin mainita. GNU grepin syntaksi taas on yhteensopiva [[POSIX]]-standardin mukaisten säännöllisten lausekkeiden kanssa. Varsinkin useassa järjestelmässä käytettäviä [[skripti|skriptejä]] kirjoitettaessa täytyy olla huolellinen siinä, mitkä rakenteet ovat uudempia laajennoksia. Erotuksena grep myös käsittelee syötettä rivi riviltä. Toisissa ohjelmissa saatetaan käsitellä rivinvaihtoa tavallisena merkkinä.

Säännöllisiä lausekkeita ei tule sekoittaa tiedostonimi-jokereihin (glob), joilla on samantapainen toiminnallisuus (vrt. <tt>*</tt> ja <tt>.*</tt>). Tiedostonimijokereita ja säännöllisiä lausekkeita voi hydöyntää usein samoissa yhteyksissä, mutta säännölliset lausekkeet ovat tiedostonimijokereita ilmaisuvoimaisempia.

== Teoriaa ==
[[wikipedia:fi:Tietojenkäsittelytiede|Tietojenkäsittelytieteessä]] säännöllissiä lausekkeita käsitellään [[wikipedia:fi:säännöllinen kieli|säännöllisten kielten]] teoriassa. Säännöllinen lauseke on esimerkki [[wikipedia:fi:äärellinen automaatti|äärellisestä automaatista]]. Säännöllisten lauskkeiden historia juontaa juurensa 50- ja 60-luvuille tietojenkäsittelytieteen syntyaikohiin.

Säännöllisiä lausekkeita voi hyödyntää monissa ohjelmointikielissä (mm. Perl, Java, Python, ECMAScript). Mille tahansa [[wikipedia:en:Turing complete|Turing-täydelliselle]] ohjelmointikielelle voidaan myös aina kirjoittaa säännöllisten lausekkeiden [[wikipedia:fi:Ohjelmointikielen tulkki|tulkki]].

== Historia ==
Ensimmäisenä säännöllisten lausekkeiden toteutuksena aidolle tietokoneelle (IBM 7094) pidetään Unix-pioneeri [[wikipedia:fi:Ken Thompson|Ken Thompson]]in julkaisua [http://portal.acm.org/citation.cfm?doid=363347.363387 Regular Expression Search Algorithm] vuodelta 1968. [[Unix]]-järjestelmissä säännöllisiä lausekkeita on siten voinut hyödyntää aina ensimmäisistä versioista lähtien. Ensimmäinen [[grep]]-ohjelma kirjoitettiin ilmeisesti vuonna 1973.[http://www.columbia.edu/~rh120/ch001j.c11]

== Johdatus säännöllisiin lausekkeisiin ==

===Perusteet===
Säännöllinen lauseke joko ''vastaa'' tai ''ei vastaa'' merkkijonoa. Kutsutaan säännöllistä lauseketta ''lausekkeeksi'' ja merkkijonoa, jonka vastaavuus lausekkeeseen halutaan selvittää, ''kohteeksi''.

Lausekkeen yksinkertaiset kirjoitusmerkit vastaavat yksi-yhteen kohteen kirjoitusmerkkejä. Tämän vuoksi lauseke
abba
vastaa yllätyksettömästi kohdetta
'''abba'''
mutta ei kohdetta
bono

Yleensä (mm. grep ja awk) katsotaan, että kohteen alussa ja lopussa voi olla mielivaltainen määrä ei-vastaavia merkkejä. Tällöin kohde (s.o. näiden komentojen tapauksessa jokin ''rivi'' jossain tiedostossa) vastaa lauseketta, jos edes jokin sen ''osa'' vastaa lauseketta. Siis grep ja awk -yhteydessä lauseke
abba
vastaa kohdetta
bo'''abba'''bo
ja
dada'''abba'''gada
mutta ei silti kohdetta
b'''abb'''bab

===Operaattorit===
Yksi-yhteen vastaavien kirjoitusmerkkien lisäksi säännöllisissä lausekkeissa on mahdollisuus käyttää erilaisia ''operaattorimerkkejä'', joilla on lausekkeessa erikoismerkitys.

====Vaihtoehtoisuusoperaattori: <tt>|</tt>====
Näistä ensimmäinen on operaattori <tt>|</tt>, joka tarkoittaa ''vaihtelua'' tai ''alternointia'' (engl. alternation). Sen merkitys on sama kuin luonnollisen kielen sanalla "tai". Lauseke
omena|luumu
vastaa sekä kohteita
'''omena'''
että
'''luumu'''
Kun lisäksi muistamme yltä, että komentorivityökalujen tapauksessa kohde voi sisältää ei-vastaavia merkkejä sekä alussa että lopussa, vastaa ylläoleva lauseke <tt>omena|luumu</tt> myös merkkijonoja
uuni'''omena'''
tai
'''luumu'''soppa
Huomaa kuitenkin, että seuraavassa kohteessa vain ensimmäinen esiintymä vastaa lauseketta
kotimainen '''omena'''-luumuhillo

====Toisto-operaattorit====
Merkeillä <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja ilmaisulla <tt>{n,m}</tt> on säännöllisissä lausekkeissa erikoismerkitys, joka vaikuttaa niitä ''välittömästi edeltävään'' merkkiin.

=====Mielivaltaisen monta: <tt>*</tt>=====
Operaattori <tt>*</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, tai ei kertaakaan"''. Siten lauseke
ab*a
vastaa kaikkia seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
'''aa'''
mutta ei seuraavia:
'''a'''cccca
bba

Todettakooon, että selvästi b-merkkien määrä kohteessa voi olla mielivaltainen, joten eri vastaavia kohdemerkkijonoja on olemassa myös ääretön määrä.

=====Vähintään yksi: <tt>+</tt>=====
Operaattori <tt>+</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, mutta vähintään kerran"''. Siten lauseke
ab+a
vastaa seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
mutta ei seuraavia:
'''a'''a
'''a'''cccca
bba

Lausekkeen x+ voi kirjoittaa myös xx*, jolloin <tt>+</tt>-operaattoria ei tarvitse käyttää (se ei sisälly kaikkiin "tavallisen" syntaksin toteutuksiin).

=====Ehdollinen: <tt>?</tt>=====
Operaattori <tt>?</tt> tarkoittaa ''"edellinen kerran, tai ei kertaakaan''". Siten lauseke
ab?a
vastaa seuraavia kohteita:
'''aba'''
'''aa'''
mutta ei mitään seuraavista:
'''ab'''bbbbbbbbbbbbbbbba
'''ab'''bba
'''ab'''ba
'''a'''cccca
bba

=====n:stä m:n kertaan: <tt>{n, m}</tt>=====
Aina yllä olevat operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> eivät riitä, vaan jotain merkkiä tarvitsee vastata juuri tietyn määrän toistoja. Voitaisiin toki kirjoittaa
aaaa?a?
jos halutaan vastata
aaa
aaaa
aaaaa
mutta voidaan kirjoittaa lyhyemmin
a{3,5}
Tämä tarkoittaa, että edeltävää merkkiä <tt>a</tt> voi esiintyä kolmesta viiteen kertaan. Käytetään yleisesti tästä ilmaisusta mallia <tt>{n,m}</tt>, jossa <tt>n</tt> ja <tt>m</tt> ovat mielivaltaisia kokonaislukuja, tarkoittaen ''"n:stä m:n kertaan"''.

Kumpi tahansa numeroista <tt>n</tt> ja <tt>m</tt> voidaan jättää pois. Täten ilmaisu
{n}
tarkoittaa ''"tasan n kertaa"'. Ilmaisu
{n,}
tarkoittaa ''"vähintään n kertaa"''. Ilmaisu
{,m}
tarkoittaa ''"korkeintaan m kertaa"''.

Sivuhuomatuksena todettakoon, että yllä olevan perusteella lyhyemmät operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> voitaisiin aina korvata ilmaisuilla <tt>{0,}</tt>, <tt>{1,}</tt> ja <tt>{0,1}</tt> vastaavasti. {m,n}-muoto on kuitenkin uudempi laajennos, joka ei toimi kaikissa ohjelmassa.

'''Huom!''' Operaattori <tt>{n,m}</tt> ei ole tuettu kaikissa säännöllisten lausekkeiden toteutuksissa. GNU grep tukee niitä laajennetussa tilassa (<tt>egrep</tt>).

===== Huomautuksia =====
Operaattoreita voi yhdistää mielivaltaisesti toisiinsa. Siten lauseke
hur+a*!*
vastaavaa kaikkia seuraavia kohteita:
'''hur'''
'''hurr'''
'''hurra'''
'''hurraa'''
'''hurraa!'''
'''hurrraaa!!!!'''
jne.

Toisaalta lauseke ''ei vastaa'' mitään seuraavista kohteista:
burraa!
'''hu'''aa!!
'''hu'''uuurraa!!
'''hurr'''urrur!!
jne.

Tässä vaiheessa on hyvä varmistaa, että ymmärtää edellä esitetyn esimerkin kokonaisuudessaan.

===Sulut: <tt>(</tt> ja <tt>)</tt>===
'''Kysymys:''' Jos halutaan vastata kohdetta <tt>hUrrUrrUrr</tt> siten, että merkkijono <tt>Urr</tt> voi esiintyä kohteessa äärettömän monta kertaa, miten tulee toimia?

'''Vastaus:''' Tämä on mahdotonta tähän mennessä esitetyillä operaattoreilla. Voisimme toki kirjoittaa <tt>hU+r+r+</tt> tai vastaavaa, mutta tämä vastaisi vain kohteita kuten <tt>hUUrrrr</tt>. Tarvitsemme selvästi uuden operaattorin; ''sulut''.

Merkeillä <tt>(</tt> ja <tt>)</tt> voidaan määrittää lausekkeen osia, jotka samaan tapaan kuin koulumatematiikassa lasketaan ''ennen'' laskun muita osia. Koska säännöllisissä lausekkeissa ei kuitenkaan lasketa mitään, havainnollistetaan sulkujen merkitystä esittämällä ratkaisu yllä olevaan kysymykseen.

Lauseke
h(Urr)+
vastaa kohteita
'''hUrr'''
'''hUrrUrr'''
'''hUrrUrrUrr'''
'''hUrrUrrUrrUrr'''
jne. jne. Lauseke ei vastaa seuraavia kohteita:
'''h'''Arr
'''h'''Err
burr

Samoin kohde
'''hUr'''
näyttää oikealta, mutta jää kuitenkin liian lyhyeksi, sillä sulkujen sisältö on löydyttävä kohteesta aina ''kokonaan''. Siksi kohde <tt>hUr</tt> ei vastaa lauseketta <tt>h(Urr)+</tt>.

====Esimerkkejä====

Sulkuja voi yhdistellä mielivaltaisesti kaikkiin operaattoreihin <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja <tt>|</tt>. Seuraavassa on annettu sarja lausekkeita, sekä esimerkkejä kutakin vastaavista ja vastaamattomista kohteista:

Lauseke
d(ii)?pada+(pa|ba)?
vastaa esimerkiksi seuraavia kohteita
'''diipadaaba'''
'''diipadaapa'''
'''dpadaapa'''
'''dpadaaba'''
'''diipadaaaaapa'''
'''diipadaaaaaba'''
'''diipada'''
'''diipada'''
'''diipadaaa'''
'''diipadaaaa'''
mutta ei mitään seuraavista
'''di'''padaapa
'''diipad'''uu
'''diipad'''

Viimeinen esimerkki jää lyhyeksi, sillä merkki <tt>a</tt> on lausekkeessa pakollinen vähintään kerran.

Lauseke
(hi|ha|ho)+
vastaa mitä tahansa kohdetta, jossa esiintyy mikä tahansa määrä merkkijonoja <tt>hi</tt>, <tt>ha</tt> ja <tt>ho</tt> peräkkäin mielivaltaisen monta kertaa, kuitenkin vähintään kerran. Lauseke vastaa siis kaikkia seuraavia:
'''hi'''
'''ha'''
'''ho'''
'''hihi'''
'''haha'''
'''hiha'''
'''hoho'''
'''hihaho'''
'''hahohihohahi'''
mutta ei
'''h'''e
'''h'''u
'''h'''uhu
'''h'''ehe

===Yhtä merkkiä vastaavat erikoismerkit===
Säännöllisissä lausekkeissa voi esiintyä myös joitain erikoismerkkejä, jotka eivät ole operaattoreita, eli ne eivät vaikuta niitä edeltäviin sulkuihin tai merkkeihin. Ne voitaisiin aina kirjoittaa lausekkeilla muotoa
(merkki1|merkki2|merkki3|merkki4|...|merkkiN)
mutta tämä on varsin työlästä ja epäselkeää. Siksi säännöllisissä lausekkeissa on joitain erikoismerkkejä, jotka ovat oikopolkuja monimutkaisten vaihtoehtoisuuslausekkeiden kirjoittamiseen.

====Jokerimerkki: <tt>.</tt>====
Merkillä <tt>.</tt> (piste) on erikoismerkitys. Se vastaa aina ''mitä tahansa'' merkkiä. Lauseke
.*
vastaa siis kaikkia mahdollisia kohteita - jopa tyhjää merkkijonoa, sillä operaattori <tt>*</tt> tarkoittaa, että erikoisoperaattori "mikä tahansa merkki" voi esiintyä myös nolla kertaa.

Lauseke
(h.)+
vastaa siten kaikkia seuraavista:
'''ha'''
'''he'''
'''hi'''
'''hy'''
'''hr'''
'''hihrhy'''
mutta ei
rh
ah
oh
ih
'''h'''
Viimeinen esimerkki jää jälleen lyhyeksi, sillä <tt>.</tt> ei vastaa kuitenkaan "tyhjää" merkkiä.

Lauseke
.upu
vastaa
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''
mutta myös
'''supu'''
mutta ei
sepe

====Merkkiluokat: <tt>[]</tt>====
Jos halutaan korjata ylläoleva Ankanpoika-esimerkki, voitaisiin kirjoittaa:
(t|h|l|T|H|L)upu
joka vastaisi vain ja ainoastaan:
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''

Merkkien <tt>[]</tt> avulla voidaan määritellä kirjainluokkia siten, että seuraava merkki kohteessa vastaa vain ja ainoastaan jotain hakasulkujen välissä olevaa kirjainta. Siten äskeistä täysin vastaa lauseke on
[thlTHL]upu

Hakasulkujen välissä voidaan myös määritellä [[lokaali]]n aakkosjärjestyksen (LC_COLLATE) mukaisia välejä väliviivalla <tt>-</tt>. Tällöin
19[4-9][0-9]|20[0-9][0-9]
vastaa kaikkia vuosilukuja välillä 1940-2099. Samoin
Osasto [A-I]
vastaa
'''Osasto A'''
'''Osasto B'''
'''Osasto C'''
...
'''Osasto H'''
'''Osasto I'''
mutta ei
'''Osasto '''J

On huomioitavaa, että myös kohteet ”Osasto b” tai ”Osasto È” saattavat vastata yllä esitettyä lausketta joissain [[lokaali|lokaaleissa]].

Jos merkki <tt>-</tt> halutaan sisällyttää hakasulkuilmaisuun, se jätetään viimeiseksi. Esim.
Ala[ -]aste
vastaa
'''Ala aste'''
'''Ala-aste'''

Jos oikea hakasulku (<tt>]</tt>) halutaan sisällyttää hakasulkuilmaukseen, se laitetaan hakasulkujen ensimmäiseksi merkiksi. Esim.
[]abcdef]+
vastaa
'''a'''
'''b'''
''']'''
'''ab]'''
'''d]f'''
jne., mutta ei
[gi
zo

Hakasulkuilmaisusn merkitys voidaan kääntää asettamalla hattu <tt>^</tt> sen ensimmäiseksi merkiksi. Tällöin hakasulkuilmaisu vastaa mitä tahansa hakasuluissa '''ei''' esiintyvää merkkiä kohteessa. Täten lauseke
[^aeiouyåäö]+
vastaa mitä tahansa pelkistä konsonanteista, välimerkeistä ja numeroista koostuvaa kohdetta, kuten
'''prrr'''
'''123'''
'''hkr'''
'''brr-hrr'''
jne. Mutta ei
au
aiai
jne.

Grepin hyväksymissä säännöllisissä lausekkeissa merkin <tt>^</tt> voi sisällyttää hakasulkuilmaukseen laittamalla sen miksi tahansa muuksi merkiksi, kuin hakasulkujen ensimmäinen merkki. Tämä ei pidä välttämättä paikkaansa kuitenkaan kaikilla säännöllisten lausekkeiden toteutuksilla, vaan hattumerkin eteen on mahdollisesti laitettava pako-operaattori <tt>\</tt>.

=====POSIX-merkkiluokat=====
Joitain erikoismerkkiluokkia on määrätty ennakkoon grepissä. Esimerkiksi
*<tt><nowiki>[:digit:]</nowiki></tt> vastaa mitä tahansa numeroa
*<tt><nowiki>[:alpha:]</nowiki></tt> vastaa mitä tahansa kirjainta
*<tt><nowiki>[:alnum:]</nowiki></tt> vastaa mitä tahansa kirjainta tai numeroa
*<tt><nowiki>[:space:]</nowiki></tt> vastaa mitä tahansa tyhjää (esim. välilyönti, tabulaattori) merkkiä

Muita tällaisia ovat <tt><nowiki>[:lower:]</nowiki></tt>, <tt><nowiki>[:upper:]</nowiki></tt>, <tt><nowiki>[:xdigit:]</nowiki></tt>, <tt><nowiki>[:blank:]</nowiki></tt>, <tt><nowiki>[:punct:]</nowiki></tt>, <tt><nowiki>[:print:]</nowiki></tt>, <tt><nowiki>[:cntrl:]</nowiki></tt> ja <tt><nowiki>[:graph:]</nowiki></tt>.

Merkkiluokat tulee laittaa lisäksi ulompien hakasulkujen <tt>[]</tt> sisään. Esimerkiksi
<nowiki>[[:upper:]]</nowiki>+
joka vastaa C-lokaalilla (LC_CTYPE=C) ilmaisua
[A-Z]+
eli mielivaltainen (vähintään yksi) määrä isoja kirjaimia A-Z.

'''Huom!''' Merkkiluokkia käytettäessä on huomioitava, että käytetty lokaali vaikuttaa ratkaisevasti siihen, mitä merkkejä luokkaan sisältyy. Siksi niitä ei voi käyttää tietoturvatarkistuksiin muuta kuin ennalta tiedetyillä lokaaleilla.

====Pako-operaattori: <tt>\</tt>====
Jos halutaan vastata jotain merkkiä, joka on määritelty operaattoriksi säännöllisissä lausekkeissa, sitä ei voida kirjoittaa sellaisenaan lausekkeeseen. Jos halutaan vastata tarkalleen jotain seuraavista
Mitä?
Missä?
Milloin?
ei voida kirjoittaa lauseketta
(Mi(tä|ssä|lloin))?
koska kysymysmerkki <tt>?</tt> lopussa vain ehdollista koko ulomman sulkuilmaisun, ja koko lauseke vastaisi siis vain joko tyhjää merkkijonoa tai kysymysmerkitöntä kysymyssanaa.

Tarvitaan pako-operaattoria <tt>\</tt>. Merkin <tt>?</tt> tai ylipäänsä minkä tahansa opraattorimerkin erikoismerkityksen voi poistaa asettamalla sen eteen kenoviivan. Tällöin kenoviivaa välittömästi seuraava merkki täytyy esiintyä kohteessa sellaisenaan. Oikea tapa kirjoittaa yllä oleva lauseke olisi siten
(Mi(tä|ssä|lloin))\?
Tämä vastaa vain ja ainoastaan haluttuja merkkijonoja.

Seuraavat operaattorit on merkittävä pako-operaattorilla, jos niitä ei haluta tulkittavan erikoismerkeiksi:
( ) | * + ? { } [ ] ^ $ \

Siis, jos halutaan vastata kohteessa kenoviivaa, on kirjoitettava <tt>\\</tt>. Esimerkiksi Windows-polku:
''<asema>'':\Dokumentit\''<nimi>''.(doc, docx tai odt)
voidaan löytää esim. seuraavalla säännöllisellä lausekkeella:
[A-Z]:\\Dokumentit\\[a-öA-Ö0-9 _-]+\.(doc|docx|odt)

=== Rivin alku ja loppu: <tt>^</tt> ja <tt>$</tt>===
On voinut herätä kysymys, kuinka voidaan vastata kohdetta (s.o. riviä) ''tarkalleen''. Heti alussa selvisi, että esim grepin mielestä kohde (rivi) vastaa lauseketta, jos lauseke esiintyy missä tahansa kohdassa riviä. Jos halutaan, että lauseke vastaa alusta loppuun tarkalleen koko riviä, on otettava käyttöön erikoismerkit <tt>^</tt> ja <tt>$</tt>. Nämä vastaavat kohteessa rivin tai merkkijonon alkua ja loppua kuvaavia "näkymättömiä" merkkejä vastaavasti. Siten
^abba$
vastaa vain riviä
'''abba'''
mutta ei esimerkiksi
babba
abbab
babbab
'''ab'''a
'''abb'''bba
^abba
'''abba'''$
^abba$

==== Esimerkki ====

Merkit <tt>^</tt> ja <tt>$</tt> antavat viimeisen silauksen grepin tehokkaaseen hyödyntämiseen. Nyt esimerkiksi, jos tulostetaan kaikki [[prosessi]]t komennolla <tt>[[ps]] -ef</tt>, saadaan yleensä jokseenkin tälläinen listaus (esimerkissä palvelinkone):

$ ps -ef
UID PID PPID C STIME TTY TIME CMD
root 1 0 0 Jan21 ? 00:00:34 init [2]
root 1425 1 0 Jan31 ? 00:00:00 /usr/sbin/xinetd
qmails 3986 1 0 Jan21 ? 00:00:00 qmail-send
qmaill 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
root 3993 3986 0 Jan21 ? 00:00:00 qmail-lspawn | /usr/bin/deliverquota ./Maildir
qmailr 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
qmailq 3995 3986 0 Jan21 ? 00:00:00 qmail-clean
root 5566 1 0 Jan21 ? 00:00:05 /usr/sbin/apache2 -k start
root 6091 1 0 Jan21 ? 00:00:03 /usr/sbin/cron
www-data 15379 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
www-data 15386 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
root 21684 32395 0 20:37 ? 00:00:00 sshd: user [priv]
user 21688 21684 0 20:37 ? 00:00:00 sshd: user@pts/1
user 21689 21688 0 20:37 pts/1 00:00:00 -bash
user 21705 21689 0 20:37 pts/1 00:00:00 ps -ef
syslog 32279 1 0 Jan21 ? 00:00:07 /sbin/syslogd -u syslog
bind 32351 1 0 Jan31 ? 00:00:00 /usr/sbin/named
root 32395 1 0 Jan21 ? 00:00:22 /usr/sbin/sshd
(... jne ...)

Jos haluamme ylläolevasta listasta vain "qmail" -alkuisten [[käyttäjä|käyttäjien]] prosessit, voisimme [[putki]]ttaa syötteen grepille kirjoittamalla
ps -ef | grep qmail
Tämä kuitenkin tulostaa myös kaikki sellaiset prosessit, joiden nimikentässä esiintyy "qmail" – joukossa myös käyttäjän [[root]] prosesseja vastoin alkuperäistä tarkoitusta:
$ ps -ef | grep qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 qmail-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
root 3993 3986 0 Jan21 ? 00:00:00 '''qmail'''-lspawn | /usr/bin/deliverquota ./Maildir
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 qmail-clean

Ratkaisu qmail -alkuisten käyttäjien prosessien listaamiseen on:
$ ps -ef | grep ^qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 qmail-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 qmail-clean

Hattumerkki <tt>^</tt> alussa vastaa jokaisen listausrivin alkua, jota pitää välittömästi seurata merkkijono <tt>qmail</tt>, ja tämän jälkeen voi tulla mikä tahansa merkkejä, koska loppumerkkiä ei ole tarkoituksella annettu. Grep tulostaa vain lausketta vastaavat rivit, ja tulos on haluttu.

===== Pako komentotulkista =====
Jos halutaan antaa jokin monimutkaisempi ilmaisu, on hyvä asettaa säännöllinen lauseke yksinkertaisten heittomerkkien <tt>'</tt> sisään, jotta ne regexp-operaattorit, joillla on jokin erikoismerkitys [[komentotulkki|komeotulkissa]] eivät aiheuta ongelmia.
$ echo moi | egrep m(o|a)i
-bash: syntax error near unexpected token `('
Sululla <tt>(</tt> on erikoismerkitys komentotulkissa, samoin merkillä <tt>[[putki||]]</tt>. Ratkaisu:
$ echo moi | egrep 'm(o|a)i'
moi

===== Laajennetut säännölliset lausekkeet: egrep =====
Esimerkissä käytettiin komentoa <tt>egrep</tt>. Se on oikopolku grepin [[valitsin|valitsimelle]] <tt>-E</tt>, joka ottaa säännöllisten lausekkeiden laajennetun (engl. extended) tuen käyttöön. Normaalissa käytössä (pelkkä komento <tt>grep</tt>) operaattorit <tt>? + {} | (</tt> ja <tt>)</tt> eivät ole käytettävissä, paitsi asettamalla niiden eteen pako-operaattorin <tt>\</tt>. Operaattoriella <tt>* . [] ^</tt> ja <tt>$</tt> on sama erikoismerkitys sekä käytettäessä normaalia (<tt>grep</tt>) että laajennettua (<tt>egrep</tt>) syntaksia, mutta esimerkiksi merkinnöillä <tt>\(</tt> ja <tt>(</tt> siis päinvastainen.

===== Prosessoitu tuloste: awk =====
Jos ylläolevassa prosessilistausesimerkissä halutaan tulostaa pelkät prosessien [[PID]]-numerot, voidaan käyttää [[awk]]-työkalua seuraavasti:
$ ps -ef | awk '/^qmail/ { print $2 }'
3986
3990
3994
3995

== Esimerkkejä lausekkeista ==
Web-kuva:
[^ ]+\.(png|PNG|jpg|JPG|jpeg|JPEG|gif|GIF)
Päivämäärä muotoa pp.kk.vvvv:
[0-9]{1,2}\.[0-9]{1,2}\.[0-9]{4}
2-merkkinen [[wikipedia:fi:heksadesimaalijärjestelmä|heksadesimaali]]:
[0-9A-Fa-f]{2}
Sähköpostiosoite:
[a-zA-Z0-9_]+@[a-zA-Z0-9_\.]+\.[a-zA-Z]{2,3}

== Laajennukset ==
Lukuunottamatta operaattoria <tt>{n,m}</tt> ja POSIX-luokkia (<tt>[[:luokka:]]</tt> jne.) yllä esitetty on pitkälti universaalisti tuettua säännöllisten lausekkeiden eri toteutuksissa. Monissa toteutuksissa on kuitenkin tehty laajennuksia tähän, mutta esim. <tt>[[grep]]</tt> ei tue seuraavia.

=== Pakoluokat ===
Jos halutaan kirjoittaa lauseke, joka jossain kohtaa vastaa mitä tahansa numeromerkkiä, voidaan kirjoittaa hakasulkuilmaus <tt>[0-9]</tt>. Tälläisille yleisesti käytetyille luokille on kuitenkin olemassa laajennuksissa helpompia nimiä. Kutsutaan näitä ''pakoluokiksi''. Ne muistuttavat läheisesti [[#POSIX-merkkiluokat|POSIX-merkkiluokkia]], mutta ovat lyhyempiä.

{| style="border-style: solid; border-collapse: collapse" border="1"
|+'''Pakoluokat'''
|-
! Ilmaisu !! Merkitys !! Vastaava hakasulkuilmaus
|-
| <tt>\w</tt> || Mikä tahansa aakkonen a-z, numero tai alaviiva <tt>_</tt>. || <tt>[a-zA-Z0-9_]</tt>
|-
| <tt>\W</tt> || Äskeisen vastakohta; mikä tahansa muu kuin aakkonen a-z, numero tai alaviiva. || <tt>[^a-zA-Z0-9_]</tt>
|-
| <tt>\s</tt> || Mikä tahansa tyhjä merkki (esim. välilyönti tai tabulaattori) || esim. <tt>[ \t]</tt>, jossa <tt>\t</tt> tabulaattorimerkki
|-
| <tt>\S</tt> || Äskeisen vastakohta; mikä tahansa ei-tyhjä merkki || esim. <tt>[^ \t]</tt>
|-
| <tt>\d</tt> || Mikä tahansa numero. || <tt>[0-9]</tt>
|-
| <tt>\D</tt> || Äskeisen vastakohta; mikä tahansa ei-numero. || <tt>[^0-9]</tt>
|}

Lauseke
\d+
vastaa siis kaikkia numeroita aivan siinä missä myös
[0-9]+

==Katso myös==
* [[Komentorivin perusteet]]
* [[Grep]] ja [[Awk]]
** [[Putki]]
* [[Ed]] ja [[Sed]]: tuki säännöllisille lausekkeille
* [[Vi]] ja [[vim]]: näiden graaffinen tila
* [[Emacs]]

==Aiheesta muualla==
*[[wikipedia:fi:säännöllinen lauseke|Säännöllinen lauseke]]
*[[wikipedia:fi:äärellinen automaatti|Äärellinen automaatti]]
*[[wikipedia:fi:pinoautomaatti|Pinoautomaatti]]
*[[wikipedia:fi:turingin kone|Turingin kone]]
*[http://www.ohjelmointiputka.net/opas.php?tunnus=phpsl Säännölliset lausekkeet PHP:ssä] -opas Ohjelmointiputkassa
*[http://swtch.com/~rsc/regexp/regexp1.html Regular Expression Matching Can Be Simple And Fast]: Keskustelua säännöllisten lausekkeiden toteutuksesta C-kielellä englanniksi.

[[Luokka:Käsitteet]]
[[Luokka:Komentorivi]]
[[Luokka:Perustietoa]]

RTorrent

2010-02-24T19:50:45Z

Ordyh: linkkejä

{{Ohjelma
| nimi=rTorrent
| kuva=[[Kuva:Rtorrent.png|200px]]
| kuvateksti=Rtorrent jakamassa [[Debian]]in levykuvia
| lisenssi=[[GPL]]
| käyttöliittymä=tekstipohjainen/[[ncurses]]
| kotisivu=[http://libtorrent.rakshasa.no/ libtorrent.rakshasa.no]}}

RTorrent on tekstikäyttöliittymää käyttävä, [[LibTorrent]]-kirjastoon perustuva BitTorrent-asiakasohjelma. RTorrent on monipuolisista ominaisuuksistaan huolimatta melko kevyt, mutta sen käytön opettelu on ehkä hieman monia muita BitTorrent-asiakasohjelmia haastavampaa. Tekstikäyttöliittymän vuoksi rTorrent on kuitenkin hyvin sopiva ajettavaksi taustalla [[Screen]]-ohjelmaa käyttäen.

==Käyttö==

===Näppäinkomentoja===
{| class="wikitable" border="1" style="border-collapse: collapse"
|-
! Näppäin !! Komento
|-
|Enter|| Lataa torrent-tiedosto (anna joko URL tai polku)
|-
|Ctrl+o|| Vaihda torrentin tallennushakemistoa
|-
|Ctrl+s|| Aktivoi torrent-tiedoston, ts. aloitta lataamisen tai jakamisen.
|-
|Ctrl+d|| Pysäyttää torrent-tiedoston liikenteen. Toinen painallus poistaa torrent-tiedoston listalta.
|-
|Ctrl+q|| Aloittaa ohjelman alasajon. Toinen painallus pakottaa ohjelman lopettamaan heti.
|-
|asd|| Ulospäin menevän liikenteen rajoitukset, +1/+5/+50 kt/s
|-
|zxc|| Ulospäin menevän liikenteen rajoitukset, -1/-5/-50 kt/s
|-
|Shift+asd|| Latauksen rajoitukset, +1/+5/+50 kt/s
|-
|Shift+zxc|| Latauksen rajoitukset, -1/-5/-50 kt/s
|}

== Katso myös ==
*[[Azureus]]
*[[BitTornado]]
*[[Deluge]]
*[[KTorrent]]
*[[Transmission]]

== Muualla ==
* [http://libtorrent.rakshasa.no/wiki/RTorrentUserGuide Käyttöohje] ja <nowiki>esimerkki</nowiki>[http://libtorrent.rakshasa.no/browser/trunk/rtorrent/doc/rtorrent.rc?rev=latest konfiguraatio] englanniksi

[[Luokka:P2P-ohjelmat]]

Rtorrent

2010-02-24T19:48:22Z

Ordyh: siirsi sivun Rtorrent uudelle nimelle RTorrent: oikea kirjoitusasu

#OHJAUS [[RTorrent]]

RTorrent

2010-02-24T19:48:22Z

Ordyh: siirsi sivun Rtorrent uudelle nimelle RTorrent: oikea kirjoitusasu

RTorrent

2010-02-24T19:47:48Z

Ordyh: fmt

RTorrent

2010-02-24T19:46:26Z

Ordyh: fmt ja ^o

{{Ohjelma
| nimi=rTorrent
| kuva=[[Kuva:Rtorrent.png|200px]]
| kuvateksti=Rtorrent jakamassa [[Debian]]in levykuvia
| lisenssi=[[GPL]]
| käyttöliittymä=tekstipohjainen/[[ncurses]]
| kotisivu=[http://libtorrent.rakshasa.no/ libtorrent.rakshasa.no]}}

RTorrent on tekstikäyttöliittymää käyttävä, [[LibTorrent]]-kirjastoon perustuva BitTorrent-asiakasohjelma. RTorrent on monipuolisista ominaisuuksistaan huolimatta melko kevyt, mutta sen käytön opettelu on ehkä hieman monia muita BitTorrent-asiakasohjelmia haastavampaa. Tekstikäyttöliittymän vuoksi rTorrent on kuitenkin hyvin sopiva ajettavaksi taustalla [[Screen]]-ohjelmaa käyttäen.

==Käyttö==

===Näppäinkomentoja===
{| class="wikitable" border="1"
|-
! Näppäin !! Komento
|-
|Enter|| Lataa torrent-tiedosto (anna joko URL tai polku)
|-
|Ctrl+o|| Vaihda torrentin tallennushakemistoa
|-
|Ctrl+s|| Aktivoi torrent-tiedoston, ts. aloitta lataamisen tai jakamisen.
|-
|Ctrl+d|| Pysäyttää torrent-tiedoston liikenteen. Toinen painallus poistaa torrent-tiedoston listalta.
|-
|Ctrl+q|| Aloittaa ohjelman alasajon. Toinen painallus pakottaa ohjelman lopettamaan heti.
|-
|asd|| Ulospäin menevän liikenteen rajoitukset, +1/+5/+50 kt/s
|-
|zxc|| Ulospäin menevän liikenteen rajoitukset, -1/-5/-50 kt/s
|-
|Shift+asd|| Latauksen rajoitukset, +1/+5/+50 kt/s
|-
|Shift+zxc|| Latauksen rajoitukset, -1/-5/-50 kt/s
|}

== Katso myös ==
*[[Azureus]]
*[[BitTornado]]
*[[Deluge]]
*[[KTorrent]]
*[[Transmission]]

[[Luokka:P2P-ohjelmat]]

Keskustelu:Säännöllinen lauseke

2010-02-20T22:12:57Z

Ordyh: vst

==Laajennokset==
Tarkistin muutokseni jälkeen, mitä SUS/POSIX oikeasti sanoo. {m,n} on yllätykseksini mukana – tulikohan mukaan silloin vai onko muistikuvani wanhasta käyttäytymisestä väärä?

Sen sijaan ero "basic" ja "extended" välillä on, että \{, \}, $ ja $ basicissa vastaa laajennetun syntaksin merkkejä {, }, ( ja ). Tästä taisi tulla maininta. En kuitenkaan löydä merkistä + mainintaa SUS-basicissä (GNU grep käyttää basicissä merkintää "\+").

Mielestäni ympäristömuuttujat LC_CTYPE ja LC_COLLATE on syytä mainita, ainakaan suomenkieliselle niiden merkitys ei ole selvä (siis silloin, kun vain jompikumpi on tietyssä lokaalissa).

--[[Käyttäjä:LP|LP]] 18. helmikuuta 2010 kello 14.27 (UTC)

:Kirjoitin tämän lähinnä sen perusteella, mitä GNU grep:in manuaalisivulla lukee, koska se lienee relevanteinta Linux-käyttäjän näkökulmasta. Mielestäni basic- ja extended-ilmaisujen välisiä eroja on turha käsitellä erityisen tarkasti, sillä lähes ainoa missä basic-ilmaisuihin törmää, on käytettäessä grepiä ilman -E valitsinta. Toinen mahdollisuus olisi jakaa artikkeli osiin siten, että ensiksi esitellään normaali ja sitten laajennettu syntaksi. Palautin LC_CTYPE ja LC_COLLATE -huomautukset artikkeliin. --[[Käyttäjä:Ordyh|Ordyh]] 18. helmikuuta 2010 kello 18.26 (UTC)

::GNU (e)grep on hyvä lähtökohta, varsinkin jos GNU extended nykyään on sama kuin POSIX extended (tavallinen käyttäjä ei tarvinne basiciä). Mielestäni on kuitenkin tärkeä huomauttaa eroista, ettei Linux ajaudu erilleen muusta Unix-maailmasta ("kaikillahan on Word" :-( ). --[[Käyttäjä:LP|LP]] 18. helmikuuta 2010 kello 22.26 (UTC)

:::Artikkelissa on nyt huomioitu GNU grepin syntaksin yhteensopivuus POSIX-syntaksin kanssa --[[Käyttäjä:Ordyh|Ordyh]] 20. helmikuuta 2010 kello 22.12 (UTC)

Säännöllinen lauseke

2010-02-20T22:12:20Z

Ordyh: posix-huomautus

'''Säännöllinen lauseke''' (engl. '''regular expression''', '''regexp''') on yksinkertainen merkkijonokieli, joka voi joko ''vastata'' tai ''olla vastaamatta'' jotain toista merkkijonoa. Linux- ja Unix-järjestelmissä säännöllisiä lauskkeista on suurta hyötyä [[komentorivi]]ä käytettäessä esimerkiksi merkkijonojen etsimis- ja korvaustoiminnoissa. Niiden voidaankin sanoa olevan [[putki]]ttamiseen yhdistettynä tärkeimpiä työkaluja, joita komentorivin edistynyt käyttö edellyttää.

Tässä artikkelissa on esitetty johdatus säännöllisiin lausekkeisiin siten, miten komentorivityöklu <tt>[[grep]]</tt> ne ymmärtää ''laajennettussa'' (engl. extended) tilassa. Perusoperaattorit (<tt>*</tt>, <tt>?</tt>, sulut) ovat ''universaaleja'', eli kaikki toteutukset tukevat niitä. Kaikissa säännöllisten lausekkeiden toteutuksissa syntaksi ei kuitenkaan ole aivan sama.

Säännöllisistä lausekkeista on yleisesti käytössä kolme tyyppiä: ''tavallinen'' (engl. basic), ''laajennettu ''(engl. extended) ja ''[[Perl]]-tyyppinen''. Tässä ohjeessa esitetty syntaksi on yhteensopiva Linuxin [[GNU]]-grepin laajennetun syntaksin kanssa jollei toisin mainita. GNU grepin syntaksi taas on yhteensopiva [[POSIX]]-standardin mukaisten säännöllisten lausekkeiden kanssa. Varsinkin useassa järjestelmässä käytettäviä [[skripti|skriptejä]] kirjoitettaessa täytyy olla huolellinen siinä, mitkä rakenteet ovat uudempia laajennoksia. Erotuksena grep myös käsittelee syötettä rivi riviltä. Toisissa ohjelmissa saatetaan käsitellä rivinvaihtoa tavallisena merkkinä.

Säännöllisiä lausekkeita ei tule sekoittaa tiedostonimi-jokereihin (glob), joilla on samantapainen toiminnallisuus (vrt. <tt>*</tt> ja <tt>.*</tt>). Tiedostonimijokereita ja säännöllisiä lausekkeita voi hydöyntää usein samoissa yhteyksissä, mutta säännölliset lausekkeet ovat tiedostonimijokereita ilmaisuvoimaisempia.

== Teoriaa ==
[[wikipedia:fi:Tietojenkäsittelytiede|Tietojenkäsittelytieteessä]] säännölliset lausekkeet ymmärrettään [[wikipedia:fi:säännöllinen kieli|säännöllisestä kielenä]], joka voidaan tunnistaa [[wikipedia:fi:äärellinen automaatti|äärellisellä automaatilla]]. Säännöllisten lauskkeiden historia juontaa juurensa siten 50- ja 60-luvuille tietojenkäsittelytieteen syntyaikohiin.

Säännöllisiä lausekkeita voi hyödyntää monissa ohjelmointikielissä (mm. Perl, Java, Python, ECMAScript). Mille tahansa [[wikipedia:en:Turing complete|Turing-täydelliselle]] ohjelmointikielelle voidaan myös aina kirjoittaa säännöllisten lausekkeiden [[wikipedia:fi:Ohjelmointikielen tulkki|tulkki]].

== Historia ==
Ensimmäisenä säännöllisten lausekkeiden toteutuksena aidolle tietokoneelle (IBM 7094) pidetään Unix-pioneeri [[wikipedia:fi:Ken Thompson|Ken Thompson]]in julkaisua [http://portal.acm.org/citation.cfm?doid=363347.363387 Regular Expression Search Algorithm] vuodelta 1968. [[Unix]]-järjestelmissä säännöllisiä lausekkeita on siten voinut hyödyntää aina ensimmäisistä versioista lähtien. Ensimmäinen [[grep]]-ohjelma kirjoitettiin ilmeisesti vuonna 1973.[http://www.columbia.edu/~rh120/ch001j.c11]

== Johdatus säännöllisiin lausekkeisiin ==

===Perusteet===
Säännöllinen lauseke joko ''vastaa'' tai ''ei vastaa'' merkkijonoa. Kutsutaan säännöllistä lauseketta ''lausekkeeksi'' ja merkkijonoa, jonka vastaavuus lausekkeeseen halutaan selvittää, ''kohteeksi''.

Lausekkeen yksinkertaiset kirjoitusmerkit vastaavat yksi-yhteen kohteen kirjoitusmerkkejä. Tämän vuoksi lauseke
abba
vastaa yllätyksettömästi kohdetta
'''abba'''
mutta ei kohdetta
bono

Yleensä (mm. grep ja awk) katsotaan, että kohteen alussa ja lopussa voi olla mielivaltainen määrä ei-vastaavia merkkejä. Tällöin kohde (s.o. näiden komentojen tapauksessa jokin ''rivi'' jossain tiedostossa) vastaa lauseketta, jos edes jokin sen ''osa'' vastaa lauseketta. Siis grep ja awk -yhteydessä lauseke
abba
vastaa kohdetta
bo'''abba'''bo
ja
dada'''abba'''gada
mutta ei silti kohdetta
b'''abb'''bab

===Operaattorit===
Yksi-yhteen vastaavien kirjoitusmerkkien lisäksi säännöllisissä lausekkeissa on mahdollisuus käyttää erilaisia ''operaattorimerkkejä'', joilla on lausekkeessa erikoismerkitys.

====Vaihtoehtoisuusoperaattori: <tt>|</tt>====
Näistä ensimmäinen on operaattori <tt>|</tt>, joka tarkoittaa ''vaihtelua'' tai ''alternointia'' (engl. alternation). Sen merkitys on sama kuin luonnollisen kielen sanalla "tai". Lauseke
omena|luumu
vastaa sekä kohteita
'''omena'''
että
'''luumu'''
Kun lisäksi muistamme yltä, että komentorivityökalujen tapauksessa kohde voi sisältää ei-vastaavia merkkejä sekä alussa että lopussa, vastaa ylläoleva lauseke <tt>omena|luumu</tt> myös merkkijonoja
uuni'''omena'''
tai
'''luumu'''soppa
Huomaa kuitenkin, että seuraavassa kohteessa vain ensimmäinen esiintymä vastaa lauseketta
kotimainen '''omena'''-luumuhillo

====Toisto-operaattorit====
Merkeillä <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja ilmaisulla <tt>{n,m}</tt> on säännöllisissä lausekkeissa erikoismerkitys, joka vaikuttaa niitä ''välittömästi edeltävään'' merkkiin.

=====Mielivaltaisen monta: <tt>*</tt>=====
Operaattori <tt>*</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, tai ei kertaakaan"''. Siten lauseke
ab*a
vastaa kaikkia seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
'''aa'''
mutta ei seuraavia:
'''a'''cccca
bba

Todettakooon, että selvästi b-merkkien määrä kohteessa voi olla mielivaltainen, joten eri vastaavia kohdemerkkijonoja on olemassa myös ääretön määrä.

=====Vähintään yksi: <tt>+</tt>=====
Operaattori <tt>+</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, mutta vähintään kerran"''. Siten lauseke
ab+a
vastaa seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
mutta ei seuraavia:
'''a'''a
'''a'''cccca
bba

Lausekkeen x+ voi kirjoittaa myös xx*, jolloin <tt>+</tt>-operaattoria ei tarvitse käyttää (se ei sisälly kaikkiin "tavallisen" syntaksin toteutuksiin).

=====Ehdollinen: <tt>?</tt>=====
Operaattori <tt>?</tt> tarkoittaa ''"edellinen kerran, tai ei kertaakaan''". Siten lauseke
ab?a
vastaa seuraavia kohteita:
'''aba'''
'''aa'''
mutta ei mitään seuraavista:
'''ab'''bbbbbbbbbbbbbbbba
'''ab'''bba
'''ab'''ba
'''a'''cccca
bba

=====n:stä m:n kertaan: <tt>{n, m}</tt>=====
Aina yllä olevat operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> eivät riitä, vaan jotain merkkiä tarvitsee vastata juuri tietyn määrän toistoja. Voitaisiin toki kirjoittaa
aaaa?a?
jos halutaan vastata
aaa
aaaa
aaaaa
mutta voidaan kirjoittaa lyhyemmin
a{3,5}
Tämä tarkoittaa, että edeltävää merkkiä <tt>a</tt> voi esiintyä kolmesta viiteen kertaan. Käytetään yleisesti tästä ilmaisusta mallia <tt>{n,m}</tt>, jossa <tt>n</tt> ja <tt>m</tt> ovat mielivaltaisia kokonaislukuja, tarkoittaen ''"n:stä m:n kertaan"''.

Kumpi tahansa numeroista <tt>n</tt> ja <tt>m</tt> voidaan jättää pois. Täten ilmaisu
{n}
tarkoittaa ''"tasan n kertaa"'. Ilmaisu
{n,}
tarkoittaa ''"vähintään n kertaa"''. Ilmaisu
{,m}
tarkoittaa ''"korkeintaan m kertaa"''.

Sivuhuomatuksena todettakoon, että yllä olevan perusteella lyhyemmät operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> voitaisiin aina korvata ilmaisuilla <tt>{0,}</tt>, <tt>{1,}</tt> ja <tt>{0,1}</tt> vastaavasti. {m,n}-muoto on kuitenkin uudempi laajennos, joka ei toimi kaikissa ohjelmassa.

'''Huom!''' Operaattori <tt>{n,m}</tt> ei ole tuettu kaikissa säännöllisten lausekkeiden toteutuksissa. GNU grep tukee niitä laajennetussa tilassa (<tt>egrep</tt>).

===== Huomautuksia =====
Operaattoreita voi yhdistää mielivaltaisesti toisiinsa. Siten lauseke
hur+a*!*
vastaavaa kaikkia seuraavia kohteita:
'''hur'''
'''hurr'''
'''hurra'''
'''hurraa'''
'''hurraa!'''
'''hurrraaa!!!!'''
jne.

Toisaalta lauseke ''ei vastaa'' mitään seuraavista kohteista:
burraa!
'''hu'''aa!!
'''hu'''uuurraa!!
'''hurr'''urrur!!
jne.

Tässä vaiheessa on hyvä varmistaa, että ymmärtää edellä esitetyn esimerkin kokonaisuudessaan.

===Sulut: <tt>(</tt> ja <tt>)</tt>===
'''Kysymys:''' Jos halutaan vastata kohdetta <tt>hUrrUrrUrr</tt> siten, että merkkijono <tt>Urr</tt> voi esiintyä kohteessa äärettömän monta kertaa, miten tulee toimia?

'''Vastaus:''' Tämä on mahdotonta tähän mennessä esitetyillä operaattoreilla. Voisimme toki kirjoittaa <tt>hU+r+r+</tt> tai vastaavaa, mutta tämä vastaisi vain kohteita kuten <tt>hUUrrrr</tt>. Tarvitsemme selvästi uuden operaattorin; ''sulut''.

Merkeillä <tt>(</tt> ja <tt>)</tt> voidaan määrittää lausekkeen osia, jotka samaan tapaan kuin koulumatematiikassa lasketaan ''ennen'' laskun muita osia. Koska säännöllisissä lausekkeissa ei kuitenkaan lasketa mitään, havainnollistetaan sulkujen merkitystä esittämällä ratkaisu yllä olevaan kysymykseen.

Lauseke
h(Urr)+
vastaa kohteita
'''hUrr'''
'''hUrrUrr'''
'''hUrrUrrUrr'''
'''hUrrUrrUrrUrr'''
jne. jne. Lauseke ei vastaa seuraavia kohteita:
'''h'''Arr
'''h'''Err
burr

Samoin kohde
'''hUr'''
näyttää oikealta, mutta jää kuitenkin liian lyhyeksi, sillä sulkujen sisältö on löydyttävä kohteesta aina ''kokonaan''. Siksi kohde <tt>hUr</tt> ei vastaa lauseketta <tt>h(Urr)+</tt>.

====Esimerkkejä====

Sulkuja voi yhdistellä mielivaltaisesti kaikkiin operaattoreihin <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja <tt>|</tt>. Seuraavassa on annettu sarja lausekkeita, sekä esimerkkejä kutakin vastaavista ja vastaamattomista kohteista:

Lauseke
d(ii)?pada+(pa|ba)?
vastaa esimerkiksi seuraavia kohteita
'''diipadaaba'''
'''diipadaapa'''
'''dpadaapa'''
'''dpadaaba'''
'''diipadaaaaapa'''
'''diipadaaaaaba'''
'''diipada'''
'''diipada'''
'''diipadaaa'''
'''diipadaaaa'''
mutta ei mitään seuraavista
'''di'''padaapa
'''diipad'''uu
'''diipad'''

Viimeinen esimerkki jää lyhyeksi, sillä merkki <tt>a</tt> on lausekkeessa pakollinen vähintään kerran.

Lauseke
(hi|ha|ho)+
vastaa mitä tahansa kohdetta, jossa esiintyy mikä tahansa määrä merkkijonoja <tt>hi</tt>, <tt>ha</tt> ja <tt>ho</tt> peräkkäin mielivaltaisen monta kertaa, kuitenkin vähintään kerran. Lauseke vastaa siis kaikkia seuraavia:
'''hi'''
'''ha'''
'''ho'''
'''hihi'''
'''haha'''
'''hiha'''
'''hoho'''
'''hihaho'''
'''hahohihohahi'''
mutta ei
'''h'''e
'''h'''u
'''h'''uhu
'''h'''ehe

===Yhtä merkkiä vastaavat erikoismerkit===
Säännöllisissä lausekkeissa voi esiintyä myös joitain erikoismerkkejä, jotka eivät ole operaattoreita, eli ne eivät vaikuta niitä edeltäviin sulkuihin tai merkkeihin. Ne voitaisiin aina kirjoittaa lausekkeilla muotoa
(merkki1|merkki2|merkki3|merkki4|...|merkkiN)
mutta tämä on varsin työlästä ja epäselkeää. Siksi säännöllisissä lausekkeissa on joitain erikoismerkkejä, jotka ovat oikopolkuja monimutkaisten vaihtoehtoisuuslausekkeiden kirjoittamiseen.

====Jokerimerkki: <tt>.</tt>====
Merkillä <tt>.</tt> (piste) on erikoismerkitys. Se vastaa aina ''mitä tahansa'' merkkiä. Lauseke
.*
vastaa siis kaikkia mahdollisia kohteita - jopa tyhjää merkkijonoa, sillä operaattori <tt>*</tt> tarkoittaa, että erikoisoperaattori "mikä tahansa merkki" voi esiintyä myös nolla kertaa.

Lauseke
(h.)+
vastaa siten kaikkia seuraavista:
'''ha'''
'''he'''
'''hi'''
'''hy'''
'''hr'''
'''hihrhy'''
mutta ei
rh
ah
oh
ih
'''h'''
Viimeinen esimerkki jää jälleen lyhyeksi, sillä <tt>.</tt> ei vastaa kuitenkaan "tyhjää" merkkiä.

Lauseke
.upu
vastaa
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''
mutta myös
'''supu'''
mutta ei
sepe

====Merkkiluokat: <tt>[]</tt>====
Jos halutaan korjata ylläoleva Ankanpoika-esimerkki, voitaisiin kirjoittaa:
(t|h|l|T|H|L)upu
joka vastaisi vain ja ainoastaan:
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''

Merkkien <tt>[]</tt> avulla voidaan määritellä kirjainluokkia siten, että seuraava merkki kohteessa vastaa vain ja ainoastaan jotain hakasulkujen välissä olevaa kirjainta. Siten äskeistä täysin vastaa lauseke on
[thlTHL]upu

Hakasulkujen välissä voidaan myös määritellä [[lokaali]]n aakkosjärjestyksen (LC_COLLATE) mukaisia välejä väliviivalla <tt>-</tt>. Tällöin
19[4-9][0-9]|20[0-9][0-9]
vastaa kaikkia vuosilukuja välillä 1940-2099. Samoin
Osasto [A-I]
vastaa
'''Osasto A'''
'''Osasto B'''
'''Osasto C'''
...
'''Osasto H'''
'''Osasto I'''
mutta ei
'''Osasto '''J

On huomioitavaa, että myös kohteet ”Osasto b” tai ”Osasto È” saattavat vastata yllä esitettyä lausketta joissain [[lokaali|lokaaleissa]].

Jos merkki <tt>-</tt> halutaan sisällyttää hakasulkuilmaisuun, se jätetään viimeiseksi. Esim.
Ala[ -]aste
vastaa
'''Ala aste'''
'''Ala-aste'''

Jos oikea hakasulku (<tt>]</tt>) halutaan sisällyttää hakasulkuilmaukseen, se laitetaan hakasulkujen ensimmäiseksi merkiksi. Esim.
[]abcdef]+
vastaa
'''a'''
'''b'''
''']'''
'''ab]'''
'''d]f'''
jne., mutta ei
[gi
zo

Hakasulkuilmaisusn merkitys voidaan kääntää asettamalla hattu <tt>^</tt> sen ensimmäiseksi merkiksi. Tällöin hakasulkuilmaisu vastaa mitä tahansa hakasuluissa '''ei''' esiintyvää merkkiä kohteessa. Täten lauseke
[^aeiouyåäö]+
vastaa mitä tahansa pelkistä konsonanteista, välimerkeistä ja numeroista koostuvaa kohdetta, kuten
'''prrr'''
'''123'''
'''hkr'''
'''brr-hrr'''
jne. Mutta ei
au
aiai
jne.

Grepin hyväksymissä säännöllisissä lausekkeissa merkin <tt>^</tt> voi sisällyttää hakasulkuilmaukseen laittamalla sen miksi tahansa muuksi merkiksi, kuin hakasulkujen ensimmäinen merkki. Tämä ei pidä välttämättä paikkaansa kuitenkaan kaikilla säännöllisten lausekkeiden toteutuksilla, vaan hattumerkin eteen on mahdollisesti laitettava pako-operaattori <tt>\</tt>.

=====POSIX-merkkiluokat=====
Joitain erikoismerkkiluokkia on määrätty ennakkoon grepissä. Esimerkiksi
*<tt><nowiki>[:digit:]</nowiki></tt> vastaa mitä tahansa numeroa
*<tt><nowiki>[:alpha:]</nowiki></tt> vastaa mitä tahansa kirjainta
*<tt><nowiki>[:alnum:]</nowiki></tt> vastaa mitä tahansa kirjainta tai numeroa
*<tt><nowiki>[:space:]</nowiki></tt> vastaa mitä tahansa tyhjää (esim. välilyönti, tabulaattori) merkkiä

Muita tällaisia ovat <tt><nowiki>[:lower:]</nowiki></tt>, <tt><nowiki>[:upper:]</nowiki></tt>, <tt><nowiki>[:xdigit:]</nowiki></tt>, <tt><nowiki>[:blank:]</nowiki></tt>, <tt><nowiki>[:punct:]</nowiki></tt>, <tt><nowiki>[:print:]</nowiki></tt>, <tt><nowiki>[:cntrl:]</nowiki></tt> ja <tt><nowiki>[:graph:]</nowiki></tt>.

Merkkiluokat tulee laittaa lisäksi ulompien hakasulkujen <tt>[]</tt> sisään. Esimerkiksi
<nowiki>[[:upper:]]</nowiki>+
joka vastaa C-lokaalilla (LC_CTYPE=C) ilmaisua
[A-Z]+
eli mielivaltainen (vähintään yksi) määrä isoja kirjaimia A-Z.

'''Huom!''' Merkkiluokkia käytettäessä on huomioitava, että käytetty lokaali vaikuttaa ratkaisevasti siihen, mitä merkkejä luokkaan sisältyy. Siksi niitä ei voi käyttää tietoturvatarkistuksiin muuta kuin ennalta tiedetyillä lokaaleilla.

====Pako-operaattori: <tt>\</tt>====
Jos halutaan vastata jotain merkkiä, joka on määritelty operaattoriksi säännöllisissä lausekkeissa, sitä ei voida kirjoittaa sellaisenaan lausekkeeseen. Jos halutaan vastata tarkalleen jotain seuraavista
Mitä?
Missä?
Milloin?
ei voida kirjoittaa lauseketta
(Mi(tä|ssä|lloin))?
koska kysymysmerkki <tt>?</tt> lopussa vain ehdollista koko ulomman sulkuilmaisun, ja koko lauseke vastaisi siis vain joko tyhjää merkkijonoa tai kysymysmerkitöntä kysymyssanaa.

Tarvitaan pako-operaattoria <tt>\</tt>. Merkin <tt>?</tt> tai ylipäänsä minkä tahansa opraattorimerkin erikoismerkityksen voi poistaa asettamalla sen eteen kenoviivan. Tällöin kenoviivaa välittömästi seuraava merkki täytyy esiintyä kohteessa sellaisenaan. Oikea tapa kirjoittaa yllä oleva lauseke olisi siten
(Mi(tä|ssä|lloin))\?
Tämä vastaa vain ja ainoastaan haluttuja merkkijonoja.

Seuraavat operaattorit on merkittävä pako-operaattorilla, jos niitä ei haluta tulkittavan erikoismerkeiksi:
( ) | * + ? { } [ ] ^ $ \

Siis, jos halutaan vastata kohteessa kenoviivaa, on kirjoitettava <tt>\\</tt>. Esimerkiksi Windows-polku:
''<asema>'':\Dokumentit\''<nimi>''.(doc, docx tai odt)
voidaan löytää esim. seuraavalla säännöllisellä lausekkeella:
[A-Z]:\\Dokumentit\\[a-öA-Ö0-9 _-]+\.(doc|docx|odt)

=== Rivin alku ja loppu: <tt>^</tt> ja <tt>$</tt>===
On voinut herätä kysymys, kuinka voidaan vastata kohdetta (s.o. riviä) ''tarkalleen''. Heti alussa selvisi, että esim grepin mielestä kohde (rivi) vastaa lauseketta, jos lauseke esiintyy missä tahansa kohdassa riviä. Jos halutaan, että lauseke vastaa alusta loppuun tarkalleen koko riviä, on otettava käyttöön erikoismerkit <tt>^</tt> ja <tt>$</tt>. Nämä vastaavat kohteessa rivin tai merkkijonon alkua ja loppua kuvaavia "näkymättömiä" merkkejä vastaavasti. Siten
^abba$
vastaa vain riviä
'''abba'''
mutta ei esimerkiksi
babba
abbab
babbab
'''ab'''a
'''abb'''bba
^abba
'''abba'''$
^abba$

==== Esimerkki ====

Merkit <tt>^</tt> ja <tt>$</tt> antavat viimeisen silauksen grepin tehokkaaseen hyödyntämiseen. Nyt esimerkiksi, jos tulostetaan kaikki [[prosessi]]t komennolla <tt>[[ps]] -ef</tt>, saadaan yleensä jokseenkin tälläinen listaus (esimerkissä palvelinkone):

$ ps -ef
UID PID PPID C STIME TTY TIME CMD
root 1 0 0 Jan21 ? 00:00:34 init [2]
root 1425 1 0 Jan31 ? 00:00:00 /usr/sbin/xinetd
qmails 3986 1 0 Jan21 ? 00:00:00 qmail-send
qmaill 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
root 3993 3986 0 Jan21 ? 00:00:00 qmail-lspawn | /usr/bin/deliverquota ./Maildir
qmailr 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
qmailq 3995 3986 0 Jan21 ? 00:00:00 qmail-clean
root 5566 1 0 Jan21 ? 00:00:05 /usr/sbin/apache2 -k start
root 6091 1 0 Jan21 ? 00:00:03 /usr/sbin/cron
www-data 15379 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
www-data 15386 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
root 21684 32395 0 20:37 ? 00:00:00 sshd: user [priv]
user 21688 21684 0 20:37 ? 00:00:00 sshd: user@pts/1
user 21689 21688 0 20:37 pts/1 00:00:00 -bash
user 21705 21689 0 20:37 pts/1 00:00:00 ps -ef
syslog 32279 1 0 Jan21 ? 00:00:07 /sbin/syslogd -u syslog
bind 32351 1 0 Jan31 ? 00:00:00 /usr/sbin/named
root 32395 1 0 Jan21 ? 00:00:22 /usr/sbin/sshd
(... jne ...)

Jos haluamme ylläolevasta listasta vain "qmail" -alkuisten [[käyttäjä|käyttäjien]] prosessit, voisimme [[putki]]ttaa syötteen grepille kirjoittamalla
ps -ef | grep qmail
Tämä kuitenkin tulostaa myös kaikki sellaiset prosessit, joiden nimikentässä esiintyy "qmail" – joukossa myös käyttäjän [[root]] prosesseja vastoin alkuperäistä tarkoitusta:
$ ps -ef | grep qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 qmail-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
root 3993 3986 0 Jan21 ? 00:00:00 '''qmail'''-lspawn | /usr/bin/deliverquota ./Maildir
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 qmail-clean

Ratkaisu qmail -alkuisten käyttäjien prosessien listaamiseen on:
$ ps -ef | grep ^qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 qmail-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 qmail-clean

Hattumerkki <tt>^</tt> alussa vastaa jokaisen listausrivin alkua, jota pitää välittömästi seurata merkkijono <tt>qmail</tt>, ja tämän jälkeen voi tulla mikä tahansa merkkejä, koska loppumerkkiä ei ole tarkoituksella annettu. Grep tulostaa vain lausketta vastaavat rivit, ja tulos on haluttu.

===== Pako komentotulkista =====
Jos halutaan antaa jokin monimutkaisempi ilmaisu, on hyvä asettaa säännöllinen lauseke yksinkertaisten heittomerkkien <tt>'</tt> sisään, jotta ne regexp-operaattorit, joillla on jokin erikoismerkitys [[komentotulkki|komeotulkissa]] eivät aiheuta ongelmia.
$ echo moi | egrep m(o|a)i
-bash: syntax error near unexpected token `('
Sululla <tt>(</tt> on erikoismerkitys komentotulkissa, samoin merkillä <tt>[[putki||]]</tt>. Ratkaisu:
$ echo moi | egrep 'm(o|a)i'
moi

===== Laajennetut säännölliset lausekkeet: egrep =====
Esimerkissä käytettiin komentoa <tt>egrep</tt>. Se on oikopolku grepin [[valitsin|valitsimelle]] <tt>-E</tt>, joka ottaa säännöllisten lausekkeiden laajennetun (engl. extended) tuen käyttöön. Normaalissa käytössä (pelkkä komento <tt>grep</tt>) operaattorit <tt>? + {} | (</tt> ja <tt>)</tt> eivät ole käytettävissä, paitsi asettamalla niiden eteen pako-operaattorin <tt>\</tt>. Operaattoriella <tt>* . [] ^</tt> ja <tt>$</tt> on sama erikoismerkitys sekä käytettäessä normaalia (<tt>grep</tt>) että laajennettua (<tt>egrep</tt>) syntaksia, mutta esimerkiksi merkinnöillä <tt>\(</tt> ja <tt>(</tt> siis päinvastainen.

===== Prosessoitu tuloste: awk =====
Jos ylläolevassa prosessilistausesimerkissä halutaan tulostaa pelkät prosessien [[PID]]-numerot, voidaan käyttää [[awk]]-työkalua seuraavasti:
$ ps -ef | awk '/^qmail/ { print $2 }'
3986
3990
3994
3995

== Esimerkkejä lausekkeista ==
Web-kuva:
[^ ]+\.(png|PNG|jpg|JPG|jpeg|JPEG|gif|GIF)
Päivämäärä muotoa pp.kk.vvvv:
[0-9]{1,2}\.[0-9]{1,2}\.[0-9]{4}
2-merkkinen [[wikipedia:fi:heksadesimaalijärjestelmä|heksadesimaali]]:
[0-9A-Fa-f]{2}
Sähköpostiosoite:
[a-zA-Z0-9_]+@[a-zA-Z0-9_\.]+\.[a-zA-Z]{2,3}

== Laajennukset ==
Lukuunottamatta operaattoria <tt>{n,m}</tt> ja POSIX-luokkia (<tt>[[:luokka:]]</tt> jne.) yllä esitetty on pitkälti universaalisti tuettua säännöllisten lausekkeiden eri toteutuksissa. Monissa toteutuksissa on kuitenkin tehty laajennuksia tähän, mutta esim. <tt>[[grep]]</tt> ei tue seuraavia.

=== Pakoluokat ===
Jos halutaan kirjoittaa lauseke, joka jossain kohtaa vastaa mitä tahansa numeromerkkiä, voidaan kirjoittaa hakasulkuilmaus <tt>[0-9]</tt>. Tälläisille yleisesti käytetyille luokille on kuitenkin olemassa laajennuksissa helpompia nimiä. Kutsutaan näitä ''pakoluokiksi''. Ne muistuttavat läheisesti [[#POSIX-merkkiluokat|POSIX-merkkiluokkia]], mutta ovat lyhyempiä.

{| style="border-style: solid; border-collapse: collapse" border="1"
|+'''Pakoluokat'''
|-
! Ilmaisu !! Merkitys !! Vastaava hakasulkuilmaus
|-
| <tt>\w</tt> || Mikä tahansa aakkonen a-z, numero tai alaviiva <tt>_</tt>. || <tt>[a-zA-Z0-9_]</tt>
|-
| <tt>\W</tt> || Äskeisen vastakohta; mikä tahansa muu kuin aakkonen a-z, numero tai alaviiva. || <tt>[^a-zA-Z0-9_]</tt>
|-
| <tt>\s</tt> || Mikä tahansa tyhjä merkki (esim. välilyönti tai tabulaattori) || esim. <tt>[ \t]</tt>, jossa <tt>\t</tt> tabulaattorimerkki
|-
| <tt>\S</tt> || Äskeisen vastakohta; mikä tahansa ei-tyhjä merkki || esim. <tt>[^ \t]</tt>
|-
| <tt>\d</tt> || Mikä tahansa numero. || <tt>[0-9]</tt>
|-
| <tt>\D</tt> || Äskeisen vastakohta; mikä tahansa ei-numero. || <tt>[^0-9]</tt>
|}

Lauseke
\d+
vastaa siis kaikkia numeroita aivan siinä missä myös
[0-9]+

==Katso myös==
* [[Komentorivin perusteet]]
* [[Grep]] ja [[Awk]]
** [[Putki]]
* [[Ed]] ja [[Sed]]: tuki säännöllisille lausekkeille
* [[Vi]] ja [[vim]]: näiden graaffinen tila
* [[Emacs]]

==Aiheesta muualla==
*[[wikipedia:fi:säännöllinen lauseke|Säännöllinen lauseke]]
*[[wikipedia:fi:äärellinen automaatti|Äärellinen automaatti]]
*[[wikipedia:fi:pinoautomaatti|Pinoautomaatti]]
*[[wikipedia:fi:turingin kone|Turingin kone]]
*[http://www.ohjelmointiputka.net/opas.php?tunnus=phpsl Säännölliset lausekkeet PHP:ssä] -opas Ohjelmointiputkassa
*[http://swtch.com/~rsc/regexp/regexp1.html Regular Expression Matching Can Be Simple And Fast]: Keskustelua säännöllisten lausekkeiden toteutuksesta C-kielellä englanniksi.

[[Luokka:Käsitteet]]
[[Luokka:Komentorivi]]
[[Luokka:Perustietoa]]

Keskustelu:Säännöllinen lauseke

2010-02-18T18:26:19Z

Ordyh: vs

Säännöllinen lauseke

2010-02-18T18:22:20Z

Ordyh: LC_ ja operaattori * basic-syntaksissa

'''Säännöllinen lauseke''' (engl. '''regular expression''', '''regexp''') on yksinkertainen merkkijonokieli, joka voi joko ''vastata'' tai ''olla vastaamatta'' jotain toista merkkijonoa. Linux- ja Unix-järjestelmissä säännöllisiä lauskkeista on suurta hyötyä [[komentorivi]]ä käytettäessä esimerkiksi merkkijonojen etsimis- ja korvaustoiminnoissa. Niiden voidaankin sanoa olevan [[putki]]ttamiseen yhdistettynä tärkeimpiä työkaluja, joita komentorivin edistynyt käyttö edellyttää.

Tässä artikkelissa on esitetty johdatus säännöllisiin lausekkeisiin siten, miten komentorivityöklu <tt>[[grep]]</tt> ne ymmärtää ''laajennettussa'' (engl. extended) tilassa. Kaikissa säännöllisten lausekkeiden toteutuksissa syntaksi ei kuitenkaan ole aivan sama. Perusoperaattorit (<tt>*</tt>, <tt>+</tt>, <tt>?</tt>, sulut) ovat kuitenkin ''universaaleja'', eli kaikki toteutukset tukevat niitä.

Säännöllisistä lausekkeista on yleisesti käytössä kolme tyyppiä: ''tavallinen'' (engl. basic), ''laajennettu ''(engl. extended) ja ''[[Perl]]-tyyppinen''. Varsinkin useassa järjestelmässä käytettäviä [[skripti|skriptejä]] kirjoitettaessa täytyy olla huolellinen, mikäli käyttää tavallisesta poikkeavia ilmaisuja. Tässä ohjeessa esitetty syntaksi on yhteensopiva Linuxin [[GNU]]-grepin laajennetun syntaksin kanssa jollei toisin mainita.

Säännöllisiä lausekkeita ei tule sekoittaa tiedostonimi-jokereihin (glob), joilla on samantapainen toiminnallisuus (vrt. <tt>*</tt> ja <tt>.*</tt>). Tiedostonimijokereita ja säännöllisiä lausekkeita voi hydöyntää usein samoissa yhteyksissä, mutta säännölliset lausekkeet ovat tiedostonimijokereita ilmaisuvoimaisempia.

== Teoriaa ==
[[wikipedia:fi:Tietojenkäsittelytiede|Tietojenkäsittelytieteessä]] säännölliset lausekkeet ymmärrettään [[wikipedia:fi:säännöllinen kieli|säännöllisestä kielenä]], joka voidaan tunnistaa [[wikipedia:fi:äärellinen automaatti|äärellisellä automaatilla]]. Säännöllisten lauskkeiden historia juontaa juurensa siten 50- ja 60-luvuille tietojenkäsittelytieteen syntyaikohiin.

Säännöllisiä lausekkeita voi hyödyntää monissa ohjelmointikielissä (mm. Perl, Java, Python, ECMAScript). Mille tahansa [[wikipedia:en:Turing complete|Turing-täydelliselle]] ohjelmointikielelle voidaan myös aina kirjoittaa säännöllisten lausekkeiden [[wikipedia:fi:Ohjelmointikielen tulkki|tulkki]].

== Historia ==
Ensimmäisenä säännöllisten lausekkeiden toteutuksena aidolle tietokoneelle (IBM 7094) pidetään Unix-pioneeri [[wikipedia:fi:Ken Thompson|Ken Thompson]]in julkaisua [http://portal.acm.org/citation.cfm?doid=363347.363387 Regular Expression Search Algorithm] vuodelta 1968. [[Unix]]-järjestelmissä säännöllisiä lausekkeita on siten voinut hyödyntää aina ensimmäisistä versioista lähtien. Ensimmäinen [[grep]]-ohjelma kirjoitettiin ilmeisesti vuonna 1973.[http://www.columbia.edu/~rh120/ch001j.c11]

== Johdatus säännöllisiin lausekkeisiin ==

===Perusteet===
Säännöllinen lauseke joko ''vastaa'' tai ''ei vastaa'' merkkijonoa. Kutsutaan säännöllistä lauseketta ''lausekkeeksi'' ja merkkijonoa, jonka vastaavuus lausekkeeseen halutaan selvittää, ''kohteeksi''.

Lausekkeen yksinkertaiset kirjoitusmerkit vastaavat yksi-yhteen kohteen kirjoitusmerkkejä. Tämän vuoksi lauseke
abba
vastaa yllätyksettömästi kohdetta
'''abba'''
mutta ei kohdetta
bono

Yleensä (mm. grep ja awk) katsotaan, että kohteen alussa ja lopussa voi olla mielivaltainen määrä ei-vastaavia merkkejä. Tällöin kohde (s.o. näiden komentojen tapauksessa jokin ''rivi'' jossain tiedostossa) vastaa lauseketta, jos edes jokin sen ''osa'' vastaa lauseketta. Siis grep ja awk -yhteydessä lauseke
abba
vastaa kohdetta
bo'''abba'''bo
ja
dada'''abba'''gada
mutta ei silti kohdetta
b'''abb'''bab

===Operaattorit===
Yksi-yhteen vastaavien kirjoitusmerkkien lisäksi säännöllisissä lausekkeissa on mahdollisuus käyttää erilaisia ''operaattorimerkkejä'', joilla on lausekkeessa erikoismerkitys.

====Vaihtoehtoisuusoperaattori: <tt>|</tt>====
Näistä ensimmäinen on operaattori <tt>|</tt>, joka tarkoittaa ''vaihtelua'' tai ''alternointia'' (engl. alternation). Sen merkitys on sama kuin luonnollisen kielen sanalla "tai". Lauseke
omena|luumu
vastaa sekä kohteita
'''omena'''
että
'''luumu'''
Kun lisäksi muistamme yltä, että komentorivityökalujen tapauksessa kohde voi sisältää ei-vastaavia merkkejä sekä alussa että lopussa, vastaa ylläoleva lauseke <tt>omena|luumu</tt> myös merkkijonoja
uuni'''omena'''
tai
'''luumu'''soppa
Huomaa kuitenkin, että seuraavassa kohteessa vain ensimmäinen esiintymä vastaa lauseketta
kotimainen '''omena'''-luumuhillo

====Toisto-operaattorit====
Merkeillä <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja ilmaisulla <tt>{n,m}</tt> on säännöllisissä lausekkeissa erikoismerkitys, joka vaikuttaa niitä ''välittömästi edeltävään'' merkkiin.

=====Mielivaltaisen monta: <tt>*</tt>=====
Operaattori <tt>*</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, tai ei kertaakaan"''. Siten lauseke
ab*a
vastaa kaikkia seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
'''aa'''
mutta ei seuraavia:
'''a'''cccca
bba

Todettakooon, että selvästi b-merkkien määrä kohteessa voi olla mielivaltainen, joten eri vastaavia kohdemerkkijonoja on olemassa myös ääretön määrä.

=====Vähintään yksi: <tt>+</tt>=====
Operaattori <tt>+</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, mutta vähintään kerran"''. Siten lauseke
ab+a
vastaa seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
mutta ei seuraavia:
'''a'''a
'''a'''cccca
bba

=====Ehdollinen: <tt>?</tt>=====
Operaattori <tt>?</tt> tarkoittaa ''"edellinen kerran, tai ei kertaakaan''". Siten lauseke
ab?a
vastaa seuraavia kohteita:
'''aba'''
'''aa'''
mutta ei mitään seuraavista:
'''ab'''bbbbbbbbbbbbbbbba
'''ab'''bba
'''ab'''ba
'''a'''cccca
bba

=====n:stä m:n kertaan: <tt>{n, m}</tt>=====
Aina yllä olevat operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> eivät riitä, vaan jotain merkkiä tarvitsee vastata juuri tietyn määrän toistoja. Voitaisiin toki kirjoittaa
aaaa?a?
jos halutaan vastata
aaa
aaaa
aaaaa
mutta voidaan kirjoittaa lyhyemmin
a{3,5}
Tämä tarkoittaa, että edeltävää merkkiä <tt>a</tt> voi esiintyä kolmesta viiteen kertaan. Käytetään yleisesti tästä ilmaisusta mallia <tt>{n,m}</tt>, jossa <tt>n</tt> ja <tt>m</tt> ovat mielivaltaisia kokonaislukuja, tarkoittaen ''"n:stä m:n kertaan"''.

Kumpi tahansa numeroista <tt>n</tt> ja <tt>m</tt> voidaan jättää pois. Täten ilmaisu
{n}
tarkoittaa ''"tasan n kertaa"'. Ilmaisu
{n,}
tarkoittaa ''"vähintään n kertaa"''. Ilmaisu
{,m}
tarkoittaa ''"korkeintaan m kertaa"''.

Sivuhuomatuksena todettakoon, että yllä olevan perusteella lyhyemmät operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> voitaisiin aina korvata ilmaisuilla <tt>{0,}</tt>, <tt>{1,}</tt> ja <tt>{0,1}</tt> vastaavasti. {m,n}-muoto on kuitenkin uudempi laajennos, joka ei toimi kaikissa ohjelmassa.

'''Huom!''' Operaattori <tt>{n,m}</tt> ei ole tuettu kaikissa säännöllisten lausekkeiden toteutuksissa. GNU grep tukee niitä laajennetussa tilassa (<tt>egrep</tt>).

===== Huomautuksia =====
Operaattoreita voi yhdistää mielivaltaisesti toisiinsa. Siten lauseke
hur+a*!*
vastaavaa kaikkia seuraavia kohteita:
'''hur'''
'''hurr'''
'''hurra'''
'''hurraa'''
'''hurraa!'''
'''hurrraaa!!!!'''
jne.

Toisaalta lauseke ''ei vastaa'' mitään seuraavista kohteista:
burraa!
'''hu'''aa!!
'''hu'''uuurraa!!
'''hurr'''urrur!!
jne.

Tässä vaiheessa on hyvä varmistaa, että ymmärtää edellä esitetyn esimerkin kokonaisuudessaan.

===Sulut: <tt>(</tt> ja <tt>)</tt>===
'''Kysymys:''' Jos halutaan vastata kohdetta <tt>hUrrUrrUrr</tt> siten, että merkkijono <tt>Urr</tt> voi esiintyä kohteessa äärettömän monta kertaa, miten tulee toimia?

'''Vastaus:''' Tämä on mahdotonta tähän mennessä esitetyillä operaattoreilla. Voisimme toki kirjoittaa <tt>hU+r+r+</tt> tai vastaavaa, mutta tämä vastaisi vain kohteita kuten <tt>hUUrrrr</tt>. Tarvitsemme selvästi uuden operaattorin; ''sulut''.

Merkeillä <tt>(</tt> ja <tt>)</tt> voidaan määrittää lausekkeen osia, jotka samaan tapaan kuin koulumatematiikassa lasketaan ''ennen'' laskun muita osia. Koska säännöllisissä lausekkeissa ei kuitenkaan lasketa mitään, havainnollistetaan sulkujen merkitystä esittämällä ratkaisu yllä olevaan kysymykseen.

Lauseke
h(Urr)+
vastaa kohteita
'''hUrr'''
'''hUrrUrr'''
'''hUrrUrrUrr'''
'''hUrrUrrUrrUrr'''
jne. jne. Lauseke ei vastaa seuraavia kohteita:
'''h'''Arr
'''h'''Err
burr

Samoin kohde
'''hUr'''
näyttää oikealta, mutta jää kuitenkin liian lyhyeksi, sillä sulkujen sisältö on löydyttävä kohteesta aina ''kokonaan''. Siksi kohde <tt>hUr</tt> ei vastaa lauseketta <tt>h(Urr)+</tt>.

====Esimerkkejä====

Sulkuja voi yhdistellä mielivaltaisesti kaikkiin operaattoreihin <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja <tt>|</tt>. Seuraavassa on annettu sarja lausekkeita, sekä esimerkkejä kutakin vastaavista ja vastaamattomista kohteista:

Lauseke
d(ii)?pada+(pa|ba)?
vastaa esimerkiksi seuraavia kohteita
'''diipadaaba'''
'''diipadaapa'''
'''dpadaapa'''
'''dpadaaba'''
'''diipadaaaaapa'''
'''diipadaaaaaba'''
'''diipada'''
'''diipada'''
'''diipadaaa'''
'''diipadaaaa'''
mutta ei mitään seuraavista
'''di'''padaapa
'''diipad'''uu
'''diipad'''

Viimeinen esimerkki jää lyhyeksi, sillä merkki <tt>a</tt> on lausekkeessa pakollinen vähintään kerran.

Lauseke
(hi|ha|ho)+
vastaa mitä tahansa kohdetta, jossa esiintyy mikä tahansa määrä merkkijonoja <tt>hi</tt>, <tt>ha</tt> ja <tt>ho</tt> peräkkäin mielivaltaisen monta kertaa, kuitenkin vähintään kerran. Lauseke vastaa siis kaikkia seuraavia:
'''hi'''
'''ha'''
'''ho'''
'''hihi'''
'''haha'''
'''hiha'''
'''hoho'''
'''hihaho'''
'''hahohihohahi'''
mutta ei
'''h'''e
'''h'''u
'''h'''uhu
'''h'''ehe

===Yhtä merkkiä vastaavat erikoismerkit===
Säännöllisissä lausekkeissa voi esiintyä myös joitain erikoismerkkejä, jotka eivät ole operaattoreita, eli ne eivät vaikuta niitä edeltäviin sulkuihin tai merkkeihin. Ne voitaisiin aina kirjoittaa lausekkeilla muotoa
(merkki1|merkki2|merkki3|merkki4|...|merkkiN)
mutta tämä on varsin työlästä ja epäselkeää. Siksi säännöllisissä lausekkeissa on joitain erikoismerkkejä, jotka ovat oikopolkuja monimutkaisten vaihtoehtoisuuslausekkeiden kirjoittamiseen.

====Jokerimerkki: <tt>.</tt>====
Merkillä <tt>.</tt> (piste) on erikoismerkitys. Se vastaa aina ''mitä tahansa'' merkkiä. Lauseke
.*
vastaa siis kaikkia mahdollisia kohteita - jopa tyhjää merkkijonoa, sillä operaattori <tt>*</tt> tarkoittaa, että erikoisoperaattori "mikä tahansa merkki" voi esiintyä myös nolla kertaa.

Lauseke
(h.)+
vastaa siten kaikkia seuraavista:
'''ha'''
'''he'''
'''hi'''
'''hy'''
'''hr'''
'''hihrhy'''
mutta ei
rh
ah
oh
ih
'''h'''
Viimeinen esimerkki jää jälleen lyhyeksi, sillä <tt>.</tt> ei vastaa kuitenkaan "tyhjää" merkkiä.

Lauseke
.upu
vastaa
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''
mutta myös
'''supu'''
mutta ei
sepe

====Merkkiluokat: <tt>[]</tt>====
Jos halutaan korjata ylläoleva Ankanpoika-esimerkki, voitaisiin kirjoittaa:
(t|h|l|T|H|L)upu
joka vastaisi vain ja ainoastaan:
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''

Merkkien <tt>[]</tt> avulla voidaan määritellä kirjainluokkia siten, että seuraava merkki kohteessa vastaa vain ja ainoastaan jotain hakasulkujen välissä olevaa kirjainta. Siten äskeistä täysin vastaa lauseke on
[thlTHL]upu

Hakasulkujen välissä voidaan myös määritellä [[lokaali]]n aakkosjärjestyksen (LC_COLLATE) mukaisia välejä väliviivalla <tt>-</tt>. Tällöin
19[4-9][0-9]|20[0-9][0-9]
vastaa kaikkia vuosilukuja välillä 1940-2099. Samoin
Osasto [A-I]
vastaa
'''Osasto A'''
'''Osasto B'''
'''Osasto C'''
...
'''Osasto H'''
'''Osasto I'''
mutta ei
'''Osasto '''J

On huomioitavaa, että myös kohteet ”Osasto b” tai ”Osasto È” saattavat vastata yllä esitettyä lausketta joissain [[lokaali|lokaaleissa]].

Jos merkki <tt>-</tt> halutaan sisällyttää hakasulkuilmaisuun, se jätetään viimeiseksi. Esim.
Ala[ -]aste
vastaa
'''Ala aste'''
'''Ala-aste'''

Jos oikea hakasulku (<tt>]</tt>) halutaan sisällyttää hakasulkuilmaukseen, se laitetaan hakasulkujen ensimmäiseksi merkiksi. Esim.
[]abcdef]+
vastaa
'''a'''
'''b'''
''']'''
'''ab]'''
'''d]f'''
jne., mutta ei
[gi
zo

Hakasulkuilmaisusn merkitys voidaan kääntää asettamalla hattu <tt>^</tt> sen ensimmäiseksi merkiksi. Tällöin hakasulkuilmaisu vastaa mitä tahansa hakasuluissa '''ei''' esiintyvää merkkiä kohteessa. Täten lauseke
[^aeiouyåäö]+
vastaa mitä tahansa pelkistä konsonanteista, välimerkeistä ja numeroista koostuvaa kohdetta, kuten
'''prrr'''
'''123'''
'''hkr'''
'''brr-hrr'''
jne. Mutta ei
au
aiai
jne.

Grepin hyväksymissä säännöllisissä lausekkeissa merkin <tt>^</tt> voi sisällyttää hakasulkuilmaukseen laittamalla sen miksi tahansa muuksi merkiksi, kuin hakasulkujen ensimmäinen merkki. Tämä ei pidä välttämättä paikkaansa kuitenkaan kaikilla säännöllisten lausekkeiden toteutuksilla, vaan hattumerkin eteen on mahdollisesti laitettava pako-operaattori <tt>\</tt>.

=====POSIX-merkkiluokat=====
Joitain erikoismerkkiluokkia on määrätty ennakkoon grepissä. Esimerkiksi
*<tt><nowiki>[:digit:]</nowiki></tt> vastaa mitä tahansa numeroa
*<tt><nowiki>[:alpha:]</nowiki></tt> vastaa mitä tahansa kirjainta
*<tt><nowiki>[:alnum:]</nowiki></tt> vastaa mitä tahansa kirjainta tai numeroa
*<tt><nowiki>[:space:]</nowiki></tt> vastaa mitä tahansa tyhjää (esim. välilyönti, tabulaattori) merkkiä

Muita tällaisia ovat <tt><nowiki>[:lower:]</nowiki></tt>, <tt><nowiki>[:upper:]</nowiki></tt>, <tt><nowiki>[:xdigit:]</nowiki></tt>, <tt><nowiki>[:blank:]</nowiki></tt>, <tt><nowiki>[:punct:]</nowiki></tt>, <tt><nowiki>[:print:]</nowiki></tt>, <tt><nowiki>[:cntrl:]</nowiki></tt> ja <tt><nowiki>[:graph:]</nowiki></tt>.

Merkkiluokat tulee laittaa lisäksi ulompien hakasulkujen <tt>[]</tt> sisään. Esimerkiksi
<nowiki>[[:upper:]]</nowiki>+
joka vastaa C-lokaalilla (LC_CTYPE=C) ilmaisua
[A-Z]+
eli mielivaltainen (vähintään yksi) määrä isoja kirjaimia A-Z.

'''Huom!''' Merkkiluokkia käytettäessä on huomioitava, että käytetty lokaali vaikuttaa ratkaisevasti siihen, mitä merkkejä luokkaan sisältyy. Siksi niitä ei voi käyttää tietoturvatarkistuksiin muuta kuin ennalta tiedetyillä lokaaleilla.

====Pako-operaattori: <tt>\</tt>====
Jos halutaan vastata jotain merkkiä, joka on määritelty operaattoriksi säännöllisissä lausekkeissa, sitä ei voida kirjoittaa sellaisenaan lausekkeeseen. Jos halutaan vastata tarkalleen jotain seuraavista
Mitä?
Missä?
Milloin?
ei voida kirjoittaa lauseketta
(Mi(tä|ssä|lloin))?
koska kysymysmerkki <tt>?</tt> lopussa vain ehdollista koko ulomman sulkuilmaisun, ja koko lauseke vastaisi siis vain joko tyhjää merkkijonoa tai kysymysmerkitöntä kysymyssanaa.

Tarvitaan pako-operaattoria <tt>\</tt>. Merkin <tt>?</tt> tai ylipäänsä minkä tahansa opraattorimerkin erikoismerkityksen voi poistaa asettamalla sen eteen kenoviivan. Tällöin kenoviivaa välittömästi seuraava merkki täytyy esiintyä kohteessa sellaisenaan. Oikea tapa kirjoittaa yllä oleva lauseke olisi siten
(Mi(tä|ssä|lloin))\?
Tämä vastaa vain ja ainoastaan haluttuja merkkijonoja.

Seuraavat operaattorit on merkittävä pako-operaattorilla, jos niitä ei haluta tulkittavan erikoismerkeiksi:
( ) | * + ? { } [ ] ^ $ \

Siis, jos halutaan vastata kohteessa kenoviivaa, on kirjoitettava <tt>\\</tt>. Esimerkiksi Windows-polku:
''<asema>'':\Dokumentit\''<nimi>''.(doc, docx tai odt)
voidaan löytää esim. seuraavalla säännöllisellä lausekkeella:
[A-Z]:\\Dokumentit\\[a-öA-Ö0-9 _-]+\.(doc|docx|odt)

=== Rivin alku ja loppu: <tt>^</tt> ja <tt>$</tt>===
On voinut herätä kysymys, kuinka voidaan vastata kohdetta (s.o. riviä) ''tarkalleen''. Heti alussa selvisi, että esim grepin mielestä kohde (rivi) vastaa lauseketta, jos lauseke esiintyy missä tahansa kohdassa riviä. Jos halutaan, että lauseke vastaa alusta loppuun tarkalleen koko riviä, on otettava käyttöön erikoismerkit <tt>^</tt> ja <tt>$</tt>. Nämä vastaavat kohteessa rivin tai merkkijonon alkua ja loppua kuvaavia "näkymättömiä" merkkejä vastaavasti. Siten
^abba$
vastaa vain riviä
'''abba'''
mutta ei esimerkiksi
babba
abbab
babbab
'''ab'''a
'''abb'''bba
^abba
'''abba'''$
^abba$

==== Esimerkki ====

Merkit <tt>^</tt> ja <tt>$</tt> antavat viimeisen silauksen grepin tehokkaaseen hyödyntämiseen. Nyt esimerkiksi, jos tulostetaan kaikki [[prosessi]]t komennolla <tt>[[ps]] -ef</tt>, saadaan yleensä jokseenkin tälläinen listaus (esimerkissä palvelinkone):

$ ps -ef
UID PID PPID C STIME TTY TIME CMD
root 1 0 0 Jan21 ? 00:00:34 init [2]
root 1425 1 0 Jan31 ? 00:00:00 /usr/sbin/xinetd
qmails 3986 1 0 Jan21 ? 00:00:00 qmail-send
qmaill 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
root 3993 3986 0 Jan21 ? 00:00:00 qmail-lspawn | /usr/bin/deliverquota ./Maildir
qmailr 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
qmailq 3995 3986 0 Jan21 ? 00:00:00 qmail-clean
root 5566 1 0 Jan21 ? 00:00:05 /usr/sbin/apache2 -k start
root 6091 1 0 Jan21 ? 00:00:03 /usr/sbin/cron
www-data 15379 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
www-data 15386 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
root 21684 32395 0 20:37 ? 00:00:00 sshd: user [priv]
user 21688 21684 0 20:37 ? 00:00:00 sshd: user@pts/1
user 21689 21688 0 20:37 pts/1 00:00:00 -bash
user 21705 21689 0 20:37 pts/1 00:00:00 ps -ef
syslog 32279 1 0 Jan21 ? 00:00:07 /sbin/syslogd -u syslog
bind 32351 1 0 Jan31 ? 00:00:00 /usr/sbin/named
root 32395 1 0 Jan21 ? 00:00:22 /usr/sbin/sshd
(... jne ...)

Jos haluamme ylläolevasta listasta vain "qmail" -alkuisten [[käyttäjä|käyttäjien]] prosessit, voisimme [[putki]]ttaa syötteen grepille kirjoittamalla
ps -ef | grep qmail
Tämä kuitenkin tulostaa myös kaikki sellaiset prosessit, joiden nimikentässä esiintyy "qmail" – joukossa myös käyttäjän [[root]] prosesseja vastoin alkuperäistä tarkoitusta:
$ ps -ef | grep qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 qmail-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
root 3993 3986 0 Jan21 ? 00:00:00 '''qmail'''-lspawn | /usr/bin/deliverquota ./Maildir
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 qmail-clean

Ratkaisu qmail -alkuisten käyttäjien prosessien listaamiseen on:
$ ps -ef | grep ^qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 qmail-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 qmail-clean

Hattumerkki <tt>^</tt> alussa vastaa jokaisen listausrivin alkua, jota pitää välittömästi seurata merkkijono <tt>qmail</tt>, ja tämän jälkeen voi tulla mikä tahansa merkkejä, koska loppumerkkiä ei ole tarkoituksella annettu. Grep tulostaa vain lausketta vastaavat rivit, ja tulos on haluttu.

===== Pako komentotulkista =====
Jos halutaan antaa jokin monimutkaisempi ilmaisu, on hyvä asettaa säännöllinen lauseke yksinkertaisten heittomerkkien <tt>'</tt> sisään, jotta ne regexp-operaattorit, joillla on jokin erikoismerkitys [[komentotulkki|komeotulkissa]] eivät aiheuta ongelmia.
$ echo moi | egrep m(o|a)i
-bash: syntax error near unexpected token `('
Sululla <tt>(</tt> on erikoismerkitys komentotulkissa, samoin merkillä <tt>[[putki||]]</tt>. Ratkaisu:
$ echo moi | egrep 'm(o|a)i'
moi

===== Laajennetut säännölliset lausekkeet: egrep =====
Esimerkissä käytettiin komentoa <tt>egrep</tt>. Se on oikopolku grepin [[valitsin|valitsimelle]] <tt>-E</tt>, joka ottaa säännöllisten lausekkeiden laajennetun (engl. extended) tuen käyttöön. Normaalissa käytössä (pelkkä komento <tt>grep</tt>) operaattorit <tt>? + {} | (</tt> ja <tt>)</tt> eivät ole käytettävissä, paitsi asettamalla niiden eteen pako-operaattorin <tt>\</tt>. Operaattoriella <tt>* . [] ^</tt> ja <tt>$</tt> on sama erikoismerkitys sekä käytettäessä normaalia (<tt>grep</tt>) että laajennettua (<tt>egrep</tt>) syntaksia.

===== Prosessoitu tuloste: awk =====
Jos ylläolevassa prosessilistausesimerkissä halutaan tulostaa pelkät prosessien [[PID]]-numerot, voidaan käyttää [[awk]]-työkalua seuraavasti:
$ ps -ef | awk '/^qmail/ { print $2 }'
3986
3990
3994
3995

== Esimerkkejä lausekkeista ==
Web-kuva:
[^ ]+\.(png|PNG|jpg|JPG|jpeg|JPEG|gif|GIF)
Päivämäärä muotoa pp.kk.vvvv:
[0-9]{1,2}\.[0-9]{1,2}\.[0-9]{4}
2-merkkinen [[wikipedia:fi:heksadesimaalijärjestelmä|heksadesimaali]]:
[0-9A-Fa-f]{2}
Sähköpostiosoite:
[a-zA-Z0-9_]+@[a-zA-Z0-9_\.]+\.[a-zA-Z]{2,3}

== Laajennukset ==
Lukuunottamatta operaattoria <tt>{n,m}</tt> ja POSIX-luokkia (<tt>[[:luokka:]]</tt> jne.) yllä esitetty on pitkälti universaalisti tuettua säännöllisten lausekkeiden eri toteutuksissa. Monissa toteutuksissa on kuitenkin tehty laajennuksia tähän, mutta esim. <tt>[[grep]]</tt> ei tue seuraavia.

=== Pakoluokat ===
Jos halutaan kirjoittaa lauseke, joka jossain kohtaa vastaa mitä tahansa numeromerkkiä, voidaan kirjoittaa hakasulkuilmaus <tt>[0-9]</tt>. Tälläisille yleisesti käytetyille luokille on kuitenkin olemassa laajennuksissa helpompia nimiä. Kutsutaan näitä ''pakoluokiksi''. Ne muistuttavat läheisesti [[#POSIX-merkkiluokat|POSIX-merkkiluokkia]], mutta ovat lyhyempiä.

{| style="border-style: solid; border-collapse: collapse" border="1"
|+'''Pakoluokat'''
|-
! Ilmaisu !! Merkitys !! Vastaava hakasulkuilmaus
|-
| <tt>\w</tt> || Mikä tahansa aakkonen a-z, numero tai alaviiva <tt>_</tt>. || <tt>[a-zA-Z0-9_]</tt>
|-
| <tt>\W</tt> || Äskeisen vastakohta; mikä tahansa muu kuin aakkonen a-z, numero tai alaviiva. || <tt>[^a-zA-Z0-9_]</tt>
|-
| <tt>\s</tt> || Mikä tahansa tyhjä merkki (esim. välilyönti tai tabulaattori) || esim. <tt>[ \t]</tt>, jossa <tt>\t</tt> tabulaattorimerkki
|-
| <tt>\S</tt> || Äskeisen vastakohta; mikä tahansa ei-tyhjä merkki || esim. <tt>[^ \t]</tt>
|-
| <tt>\d</tt> || Mikä tahansa numero. || <tt>[0-9]</tt>
|-
| <tt>\D</tt> || Äskeisen vastakohta; mikä tahansa ei-numero. || <tt>[^0-9]</tt>
|}

Lauseke
\d+
vastaa siis kaikkia numeroita aivan siinä missä myös
[0-9]+

==Katso myös==
* [[Komentorivin perusteet]]
* [[Grep]] ja [[Awk]]
** [[Putki]]
* [[Ed]] ja [[Sed]]: tuki säännöllisille lausekkeille
* [[Vi]] ja [[vim]]: näiden graaffinen tila
* [[Emacs]]

==Aiheesta muualla==
*[[wikipedia:fi:säännöllinen lauseke|Säännöllinen lauseke]]
*[[wikipedia:fi:äärellinen automaatti|Äärellinen automaatti]]
*[[wikipedia:fi:pinoautomaatti|Pinoautomaatti]]
*[[wikipedia:fi:turingin kone|Turingin kone]]
*[http://www.ohjelmointiputka.net/opas.php?tunnus=phpsl Säännölliset lausekkeet PHP:ssä] -opas Ohjelmointiputkassa
*[http://swtch.com/~rsc/regexp/regexp1.html Regular Expression Matching Can Be Simple And Fast]: Keskustelua säännöllisten lausekkeiden toteutuksesta C-kielellä englanniksi.

[[Luokka:Käsitteet]]
[[Luokka:Komentorivi]]
[[Luokka:Perustietoa]]

Säännöllinen lauseke

2010-02-18T13:35:50Z

Ordyh: fix++

'''Säännöllinen lauseke''' (engl. '''regular expression''', '''regexp''') on yksinkertainen merkkijonokieli, joka voi joko ''vastata'' tai ''olla vastaamatta'' jotain toista merkkijonoa. Linux- ja Unix-järjestelmissä säännöllisiä lauskkeista on suurta hyötyä [[komentorivi]]ä käytettäessä esimerkiksi merkkijonojen etsimis- ja korvaustoiminnoissa. Niiden voidaankin sanoa olevan [[putki]]ttamiseen yhdistettynä tärkeimpiä työkaluja, joita komentorivin edistynyt käyttö edellyttää.

Tässä artikkelissa on esitetty johdatus säännöllisiin lausekkeisiin siten, miten komentorivityöklu <tt>[[grep]]</tt> ne ymmärtää ''laajennettussa'' (engl. extended) tilassa. Kaikissa säännöllisten lausekkeiden toteutuksissa syntaksi ei kuitenkaan ole aivan sama. Perusoperaattorit (<tt>*</tt>, <tt>+</tt>, <tt>?</tt>, sulut) ovat kuitenkin ''universaaleja'', eli kaikki toteutukset tukevat niitä.

Säännöllisistä lausekkeista on yleisesti käytössä kolme tyyppiä: ''tavallinen'' (engl. basic), ''laajennettu ''(engl. extended) ja ''[[Perl]]-tyyppinen''. Varsinkin useassa järjestelmässä käytettäviä [[skripti|skriptejä]] kirjoitettaessa täytyy olla huolellinen, mikäli käyttää tavallisesta poikkeavia ilmaisuja. Tässä ohjeessa esitetty syntaksi on yhteensopiva Linuxin [[GNU]]-grepin laajennetun syntaksin kanssa jollei toisin mainita.

Säännöllisiä lausekkeita ei tule sekoittaa tiedostonimi-jokereihin (glob), joilla on samantapainen toiminnallisuus (vrt. <tt>*</tt> ja <tt>.*</tt>). Tiedostonimijokereita ja säännöllisiä lausekkeita voi hydöyntää usein samoissa yhteyksissä, mutta säännölliset lausekkeet ovat tiedostonimijokereita ilmaisuvoimaisempia.

== Teoriaa ==
[[wikipedia:fi:Tietojenkäsittelytiede|Tietojenkäsittelytieteessä]] säännölliset lausekkeet ymmärrettään [[wikipedia:fi:säännöllinen kieli|säännöllisestä kielenä]], joka voidaan tunnistaa [[wikipedia:fi:äärellinen automaatti|äärellisellä automaatilla]]. Säännöllisten lauskkeiden historia juontaa juurensa siten 50- ja 60-luvuille tietojenkäsittelytieteen syntyaikohiin.

Säännöllisiä lausekkeita voi hyödyntää monissa ohjelmointikielissä (mm. Perl, Java, Python, ECMAScript). Mille tahansa [[wikipedia:en:Turing complete|Turing-täydelliselle]] ohjelmointikielelle voidaan myös aina kirjoittaa säännöllisten lausekkeiden [[wikipedia:fi:Ohjelmointikielen tulkki|tulkki]].

== Historia ==
Ensimmäisenä säännöllisten lausekkeiden toteutuksena aidolle tietokoneelle (IBM 7094) pidetään Unix-pioneeri [[wikipedia:fi:Ken Thompson|Ken Thompson]]in julkaisua [http://portal.acm.org/citation.cfm?doid=363347.363387 Regular Expression Search Algorithm] vuodelta 1968. [[Unix]]-järjestelmissä säännöllisiä lausekkeita on siten voinut hyödyntää aina ensimmäisistä versioista lähtien. Ensimmäinen [[grep]]-ohjelma kirjoitettiin ilmeisesti vuonna 1973.[http://www.columbia.edu/~rh120/ch001j.c11]

== Johdatus säännöllisiin lausekkeisiin ==

===Perusteet===
Säännöllinen lauseke joko ''vastaa'' tai ''ei vastaa'' merkkijonoa. Kutsutaan säännöllistä lauseketta ''lausekkeeksi'' ja merkkijonoa, jonka vastaavuus lausekkeeseen halutaan selvittää, ''kohteeksi''.

Lausekkeen yksinkertaiset kirjoitusmerkit vastaavat yksi-yhteen kohteen kirjoitusmerkkejä. Tämän vuoksi lauseke
abba
vastaa yllätyksettömästi kohdetta
'''abba'''
mutta ei kohdetta
bono

Yleensä (mm. grep ja awk) katsotaan, että kohteen alussa ja lopussa voi olla mielivaltainen määrä ei-vastaavia merkkejä. Tällöin kohde (s.o. näiden komentojen tapauksessa jokin ''rivi'' jossain tiedostossa) vastaa lauseketta, jos edes jokin sen ''osa'' vastaa lauseketta. Siis grep ja awk -yhteydessä lauseke
abba
vastaa kohdetta
bo'''abba'''bo
ja
dada'''abba'''gada
mutta ei silti kohdetta
b'''abb'''bab

===Operaattorit===
Yksi-yhteen vastaavien kirjoitusmerkkien lisäksi säännöllisissä lausekkeissa on mahdollisuus käyttää erilaisia ''operaattorimerkkejä'', joilla on lausekkeessa erikoismerkitys.

====Vaihtoehtoisuusoperaattori: <tt>|</tt>====
Näistä ensimmäinen on operaattori <tt>|</tt>, joka tarkoittaa ''vaihtelua'' tai ''alternointia'' (engl. alternation). Sen merkitys on sama kuin luonnollisen kielen sanalla "tai". Lauseke
omena|luumu
vastaa sekä kohteita
'''omena'''
että
'''luumu'''
Kun lisäksi muistamme yltä, että komentorivityökalujen tapauksessa kohde voi sisältää ei-vastaavia merkkejä sekä alussa että lopussa, vastaa ylläoleva lauseke <tt>omena|luumu</tt> myös merkkijonoja
uuni'''omena'''
tai
'''luumu'''soppa
Huomaa kuitenkin, että seuraavassa kohteessa vain ensimmäinen esiintymä vastaa lauseketta
kotimainen '''omena'''-luumuhillo

====Toisto-operaattorit====
Merkeillä <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja ilmaisulla <tt>{n,m}</tt> on säännöllisissä lausekkeissa erikoismerkitys, joka vaikuttaa niitä ''välittömästi edeltävään'' merkkiin.

=====Mielivaltaisen monta: <tt>*</tt>=====
Operaattori <tt>*</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, tai ei kertaakaan"''. Siten lauseke
ab*a
vastaa kaikkia seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
'''aa'''
mutta ei seuraavia:
'''a'''cccca
bba

Todettakooon, että selvästi b-merkkien määrä kohteessa voi olla mielivaltainen, joten eri vastaavia kohdemerkkijonoja on olemassa myös ääretön määrä.

=====Vähintään yksi: <tt>+</tt>=====
Operaattori <tt>+</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, mutta vähintään kerran"''. Siten lauseke
ab+a
vastaa seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
mutta ei seuraavia:
'''a'''a
'''a'''cccca
bba

=====Ehdollinen: <tt>?</tt>=====
Operaattori <tt>?</tt> tarkoittaa ''"edellinen kerran, tai ei kertaakaan''". Siten lauseke
ab?a
vastaa seuraavia kohteita:
'''aba'''
'''aa'''
mutta ei mitään seuraavista:
'''ab'''bbbbbbbbbbbbbbbba
'''ab'''bba
'''ab'''ba
'''a'''cccca
bba

=====n:stä m:n kertaan: <tt>{n, m}</tt>=====
Aina yllä olevat operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> eivät riitä, vaan jotain merkkiä tarvitsee vastata juuri tietyn määrän toistoja. Voitaisiin toki kirjoittaa
aaaa?a?
jos halutaan vastata
aaa
aaaa
aaaaa
mutta voidaan kirjoittaa lyhyemmin
a{3,5}
Tämä tarkoittaa, että edeltävää merkkiä <tt>a</tt> voi esiintyä kolmesta viiteen kertaan. Käytetään yleisesti tästä ilmaisusta mallia <tt>{n,m}</tt>, jossa <tt>n</tt> ja <tt>m</tt> ovat mielivaltaisia kokonaislukuja, tarkoittaen ''"n:stä m:n kertaan"''.

Kumpi tahansa numeroista <tt>n</tt> ja <tt>m</tt> voidaan jättää pois. Täten ilmaisu
{n}
tarkoittaa ''"tasan n kertaa"'. Ilmaisu
{n,}
tarkoittaa ''"vähintään n kertaa"''. Ilmaisu
{,m}
tarkoittaa ''"korkeintaan m kertaa"''.

Sivuhuomatuksena todettakoon, että yllä olevan perusteella lyhyemmät operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> voitaisiin aina korvata ilmaisuilla <tt>{0,}</tt>, <tt>{1,}</tt> ja <tt>{0,1}</tt> vastaavasti. {m,n}-muoto on kuitenkin uudempi laajennos, joka ei toimi kaikissa ohjelmassa.

'''Huom!''' Operaattori <tt>{n,m}</tt> ei ole tuettu kaikissa säännöllisten lausekkeiden toteutuksissa. GNU grep tukee niitä laajennetussa tilassa (<tt>egrep</tt>).

===== Huomautuksia =====
Operaattoreita voi yhdistää mielivaltaisesti toisiinsa. Siten lauseke
hur+a*!*
vastaavaa kaikkia seuraavia kohteita:
'''hur'''
'''hurr'''
'''hurra'''
'''hurraa'''
'''hurraa!'''
'''hurrraaa!!!!'''
jne.

Toisaalta lauseke ''ei vastaa'' mitään seuraavista kohteista:
burraa!
'''hu'''aa!!
'''hu'''uuurraa!!
'''hurr'''urrur!!
jne.

Tässä vaiheessa on hyvä varmistaa, että ymmärtää edellä esitetyn esimerkin kokonaisuudessaan.

===Sulut: <tt>(</tt> ja <tt>)</tt>===
'''Kysymys:''' Jos halutaan vastata kohdetta <tt>hUrrUrrUrr</tt> siten, että merkkijono <tt>Urr</tt> voi esiintyä kohteessa äärettömän monta kertaa, miten tulee toimia?

'''Vastaus:''' Tämä on mahdotonta tähän mennessä esitetyillä operaattoreilla. Voisimme toki kirjoittaa <tt>hU+r+r+</tt> tai vastaavaa, mutta tämä vastaisi vain kohteita kuten <tt>hUUrrrr</tt>. Tarvitsemme selvästi uuden operaattorin; ''sulut''.

Merkeillä <tt>(</tt> ja <tt>)</tt> voidaan määrittää lausekkeen osia, jotka samaan tapaan kuin koulumatematiikassa lasketaan ''ennen'' laskun muita osia. Koska säännöllisissä lausekkeissa ei kuitenkaan lasketa mitään, havainnollistetaan sulkujen merkitystä esittämällä ratkaisu yllä olevaan kysymykseen.

Lauseke
h(Urr)+
vastaa kohteita
'''hUrr'''
'''hUrrUrr'''
'''hUrrUrrUrr'''
'''hUrrUrrUrrUrr'''
jne. jne. Lauseke ei vastaa seuraavia kohteita:
'''h'''Arr
'''h'''Err
burr

Samoin kohde
'''hUr'''
näyttää oikealta, mutta jää kuitenkin liian lyhyeksi, sillä sulkujen sisältö on löydyttävä kohteesta aina ''kokonaan''. Siksi kohde <tt>hUr</tt> ei vastaa lauseketta <tt>h(Urr)+</tt>.

====Esimerkkejä====

Sulkuja voi yhdistellä mielivaltaisesti kaikkiin operaattoreihin <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja <tt>|</tt>. Seuraavassa on annettu sarja lausekkeita, sekä esimerkkejä kutakin vastaavista ja vastaamattomista kohteista:

Lauseke
d(ii)?pada+(pa|ba)?
vastaa esimerkiksi seuraavia kohteita
'''diipadaaba'''
'''diipadaapa'''
'''dpadaapa'''
'''dpadaaba'''
'''diipadaaaaapa'''
'''diipadaaaaaba'''
'''diipada'''
'''diipada'''
'''diipadaaa'''
'''diipadaaaa'''
mutta ei mitään seuraavista
'''di'''padaapa
'''diipad'''uu
'''diipad'''

Viimeinen esimerkki jää lyhyeksi, sillä merkki <tt>a</tt> on lausekkeessa pakollinen vähintään kerran.

Lauseke
(hi|ha|ho)+
vastaa mitä tahansa kohdetta, jossa esiintyy mikä tahansa määrä merkkijonoja <tt>hi</tt>, <tt>ha</tt> ja <tt>ho</tt> peräkkäin mielivaltaisen monta kertaa, kuitenkin vähintään kerran. Lauseke vastaa siis kaikkia seuraavia:
'''hi'''
'''ha'''
'''ho'''
'''hihi'''
'''haha'''
'''hiha'''
'''hoho'''
'''hihaho'''
'''hahohihohahi'''
mutta ei
'''h'''e
'''h'''u
'''h'''uhu
'''h'''ehe

===Yhtä merkkiä vastaavat erikoismerkit===
Säännöllisissä lausekkeissa voi esiintyä myös joitain erikoismerkkejä, jotka eivät ole operaattoreita, eli ne eivät vaikuta niitä edeltäviin sulkuihin tai merkkeihin. Ne voitaisiin aina kirjoittaa lausekkeilla muotoa
(merkki1|merkki2|merkki3|merkki4|...|merkkiN)
mutta tämä on varsin työlästä ja epäselkeää. Siksi säännöllisissä lausekkeissa on joitain erikoismerkkejä, jotka ovat oikopolkuja monimutkaisten vaihtoehtoisuuslausekkeiden kirjoittamiseen.

====Jokerimerkki: <tt>.</tt>====
Merkillä <tt>.</tt> (piste) on erikoismerkitys. Se vastaa aina ''mitä tahansa'' merkkiä. Lauseke
.*
vastaa siis kaikkia mahdollisia kohteita - jopa tyhjää merkkijonoa, sillä operaattori <tt>*</tt> tarkoittaa, että erikoisoperaattori "mikä tahansa merkki" voi esiintyä myös nolla kertaa.

Lauseke
(h.)+
vastaa siten kaikkia seuraavista:
'''ha'''
'''he'''
'''hi'''
'''hy'''
'''hr'''
'''hihrhy'''
mutta ei
rh
ah
oh
ih
'''h'''
Viimeinen esimerkki jää jälleen lyhyeksi, sillä <tt>.</tt> ei vastaa kuitenkaan "tyhjää" merkkiä.

Lauseke
.upu
vastaa
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''
mutta myös
'''supu'''
mutta ei
sepe

====Merkkiluokat: <tt>[]</tt>====
Jos halutaan korjata ylläoleva Ankanpoika-esimerkki, voitaisiin kirjoittaa:
(t|h|l|T|H|L)upu
joka vastaisi vain ja ainoastaan:
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''

Merkkien <tt>[]</tt> avulla voidaan määritellä kirjainluokkia siten, että seuraava merkki kohteessa vastaa vain ja ainoastaan jotain hakasulkujen välissä olevaa kirjainta. Siten äskeistä täysin vastaa lauseke on
[thlTHL]upu

Hakasulkujen välissä voidaan myös määritellä [[lokaali]]n aakkoston mukaisia välejä väliviivalla <tt>-</tt>. Tällöin
19[4-9][0-9]|20[0-9][0-9]
vastaa kaikkia vuosilukuja välillä 1940-2099. Samoin
Osasto [A-I]
vastaa
'''Osasto A'''
'''Osasto B'''
'''Osasto C'''
...
'''Osasto H'''
'''Osasto I'''
mutta ei
'''Osasto '''J

On huomioitavaa, että myös kohteet ”Osasto b” tai ”Osasto È” saattavat vastata yllä esitettyä lausketta joissain [[lokaali|lokaaleissa]].

Jos merkki <tt>-</tt> halutaan sisällyttää hakasulkuilmaisuun, se jätetään viimeiseksi. Esim.
Ala[ -]aste
vastaa
'''Ala aste'''
'''Ala-aste'''

Jos oikea hakasulku (<tt>]</tt>) halutaan sisällyttää hakasulkuilmaukseen, se laitetaan hakasulkujen ensimmäiseksi merkiksi. Esim.
[]abcdef]+
vastaa
'''a'''
'''b'''
''']'''
'''ab]'''
'''d]f'''
jne., mutta ei
[gi
zo

Hakasulkuilmaisusn merkitys voidaan kääntää asettamalla hattu <tt>^</tt> sen ensimmäiseksi merkiksi. Tällöin hakasulkuilmaisu vastaa mitä tahansa hakasuluissa '''ei''' esiintyvää merkkiä kohteessa. Täten lauseke
[^aeiouyåäö]+
vastaa mitä tahansa pelkistä konsonanteista, välimerkeistä ja numeroista koostuvaa kohdetta, kuten
'''prrr'''
'''123'''
'''hkr'''
'''brr-hrr'''
jne. Mutta ei
au
aiai
jne.

Grepin hyväksymissä säännöllisissä lausekkeissa merkin <tt>^</tt> voi sisällyttää hakasulkuilmaukseen laittamalla sen miksi tahansa muuksi merkiksi, kuin hakasulkujen ensimmäinen merkki. Tämä ei pidä välttämättä paikkaansa kuitenkaan kaikilla säännöllisten lausekkeiden toteutuksilla, vaan hattumerkin eteen on mahdollisesti laitettava pako-operaattori <tt>\</tt>.

=====POSIX-merkkiluokat=====
Joitain erikoismerkkiluokkia on määrätty ennakkoon grepissä. Esimerkiksi
*<tt><nowiki>[:digit:]</nowiki></tt> vastaa mitä tahansa numeroa
*<tt><nowiki>[:alpha:]</nowiki></tt> vastaa mitä tahansa kirjainta
*<tt><nowiki>[:alnum:]</nowiki></tt> vastaa mitä tahansa kirjainta tai numeroa
*<tt><nowiki>[:space:]</nowiki></tt> vastaa mitä tahansa tyhjää (esim. välilyönti, tabulaattori) merkkiä

Muita tällaisia ovat <tt><nowiki>[:lower:]</nowiki></tt>, <tt><nowiki>[:upper:]</nowiki></tt>, <tt><nowiki>[:xdigit:]</nowiki></tt>, <tt><nowiki>[:blank:]</nowiki></tt>, <tt><nowiki>[:punct:]</nowiki></tt>, <tt><nowiki>[:print:]</nowiki></tt>, <tt><nowiki>[:cntrl:]</nowiki></tt> ja <tt><nowiki>[:graph:]</nowiki></tt>.

Merkkiluokat tulee laittaa lisäksi ulompien hakasulkujen <tt>[]</tt> sisään. Esimerkiksi
<nowiki>[[:upper:]]</nowiki>+
joka vastaa yleensä ilmaisua
[A-Z]+
eli mielivaltainen (vähintään yksi) määrä isoja kirjaimia A-Z.

'''Huom!''' Merkkiluokkia käytettäessä on huomioitava, että käytetty lokaali vaikuttaa ratkaisevasti siihen, mitä merkkejä luokkaan sisältyy. Siksi niitä ei voi käyttää tietoturvatarkistuksiin muuta kuin ennalta tiedetyillä lokaaleilla.

====Pako-operaattori: <tt>\</tt>====
Jos halutaan vastata jotain merkkiä, joka on määritelty operaattoriksi säännöllisissä lausekkeissa, sitä ei voida kirjoittaa sellaisenaan lausekkeeseen. Jos halutaan vastata tarkalleen jotain seuraavista
Mitä?
Missä?
Milloin?
ei voida kirjoittaa lauseketta
(Mi(tä|ssä|lloin))?
koska kysymysmerkki <tt>?</tt> lopussa vain ehdollista koko ulomman sulkuilmaisun, ja koko lauseke vastaisi siis vain joko tyhjää merkkijonoa tai kysymysmerkitöntä kysymyssanaa.

Tarvitaan pako-operaattoria <tt>\</tt>. Merkin <tt>?</tt> tai ylipäänsä minkä tahansa opraattorimerkin erikoismerkityksen voi poistaa asettamalla sen eteen kenoviivan. Tällöin kenoviivaa välittömästi seuraava merkki täytyy esiintyä kohteessa sellaisenaan. Oikea tapa kirjoittaa yllä oleva lauseke olisi siten
(Mi(tä|ssä|lloin))\?
Tämä vastaa vain ja ainoastaan haluttuja merkkijonoja.

Seuraavat operaattorit on merkittävä pako-operaattorilla, jos niitä ei haluta tulkittavan erikoismerkeiksi:
( ) | * + ? { } [ ] ^ $ \

Siis, jos halutaan vastata kohteessa kenoviivaa, on kirjoitettava <tt>\\</tt>. Esimerkiksi Windows-polku:
''<asema>'':\Dokumentit\''<nimi>''.(doc, docx tai odt)
voidaan löytää esim. seuraavalla säännöllisellä lausekkeella:
[A-Z]:\\Dokumentit\\[a-öA-Ö0-9 _-]+\.(doc|docx|odt)

=== Rivin alku ja loppu: <tt>^</tt> ja <tt>$</tt>===
On voinut herätä kysymys, kuinka voidaan vastata kohdetta (s.o. riviä) ''tarkalleen''. Heti alussa selvisi, että esim grepin mielestä kohde (rivi) vastaa lauseketta, jos lauseke esiintyy missä tahansa kohdassa riviä. Jos halutaan, että lauseke vastaa alusta loppuun tarkalleen koko riviä, on otettava käyttöön erikoismerkit <tt>^</tt> ja <tt>$</tt>. Nämä vastaavat kohteessa rivin tai merkkijonon alkua ja loppua kuvaavia "näkymättömiä" merkkejä vastaavasti. Siten
^abba$
vastaa vain riviä
'''abba'''
mutta ei esimerkiksi
babba
abbab
babbab
'''ab'''a
'''abb'''bba
^abba
'''abba'''$
^abba$

==== Esimerkki ====

Merkit <tt>^</tt> ja <tt>$</tt> antavat viimeisen silauksen grepin tehokkaaseen hyödyntämiseen. Nyt esimerkiksi, jos tulostetaan kaikki [[prosessi]]t komennolla <tt>[[ps]] -ef</tt>, saadaan yleensä jokseenkin tälläinen listaus (esimerkissä palvelinkone):

$ ps -ef
UID PID PPID C STIME TTY TIME CMD
root 1 0 0 Jan21 ? 00:00:34 init [2]
root 1425 1 0 Jan31 ? 00:00:00 /usr/sbin/xinetd
qmails 3986 1 0 Jan21 ? 00:00:00 qmail-send
qmaill 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
root 3993 3986 0 Jan21 ? 00:00:00 qmail-lspawn | /usr/bin/deliverquota ./Maildir
qmailr 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
qmailq 3995 3986 0 Jan21 ? 00:00:00 qmail-clean
root 5566 1 0 Jan21 ? 00:00:05 /usr/sbin/apache2 -k start
root 6091 1 0 Jan21 ? 00:00:03 /usr/sbin/cron
www-data 15379 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
www-data 15386 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
root 21684 32395 0 20:37 ? 00:00:00 sshd: user [priv]
user 21688 21684 0 20:37 ? 00:00:00 sshd: user@pts/1
user 21689 21688 0 20:37 pts/1 00:00:00 -bash
user 21705 21689 0 20:37 pts/1 00:00:00 ps -ef
syslog 32279 1 0 Jan21 ? 00:00:07 /sbin/syslogd -u syslog
bind 32351 1 0 Jan31 ? 00:00:00 /usr/sbin/named
root 32395 1 0 Jan21 ? 00:00:22 /usr/sbin/sshd
(... jne ...)

Jos haluamme ylläolevasta listasta vain "qmail" -alkuisten [[käyttäjä|käyttäjien]] prosessit, voisimme [[putki]]ttaa syötteen grepille kirjoittamalla
ps -ef | grep qmail
Tämä kuitenkin tulostaa myös kaikki sellaiset prosessit, joiden nimikentässä esiintyy "qmail" – joukossa myös käyttäjän [[root]] prosesseja vastoin alkuperäistä tarkoitusta:
$ ps -ef | grep qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 qmail-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
root 3993 3986 0 Jan21 ? 00:00:00 '''qmail'''-lspawn | /usr/bin/deliverquota ./Maildir
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 qmail-clean

Ratkaisu qmail -alkuisten käyttäjien prosessien listaamiseen on:
$ ps -ef | grep ^qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 qmail-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 qmail-clean

Hattumerkki <tt>^</tt> alussa vastaa jokaisen listausrivin alkua, jota pitää välittömästi seurata merkkijono <tt>qmail</tt>, ja tämän jälkeen voi tulla mikä tahansa merkkejä, koska loppumerkkiä ei ole tarkoituksella annettu. Grep tulostaa vain lausketta vastaavat rivit, ja tulos on haluttu.

===== Pako komentotulkista =====
Jos halutaan antaa jokin monimutkaisempi ilmaisu, on hyvä asettaa säännöllinen lauseke yksinkertaisten heittomerkkien <tt>'</tt> sisään, jotta ne regexp-operaattorit, joillla on jokin erikoismerkitys [[komentotulkki|komeotulkissa]] eivät aiheuta ongelmia.
$ echo moi | egrep m(o|a)i
-bash: syntax error near unexpected token `('
Sululla <tt>(</tt> on erikoismerkitys komentotulkissa, samoin merkillä <tt>[[putki||]]</tt>. Ratkaisu:
$ echo moi | egrep 'm(o|a)i'
moi

===== Laajennetut säännölliset lausekkeet: egrep =====
Esimerkissä käytettiin komentoa <tt>egrep</tt>. Se on oikopolku grepin [[valitsin|valitsimelle]] <tt>-E</tt>, joka ottaa säännöllisten lausekkeiden laajennetun (engl. extended) tuen käyttöön. Normaalissa käytössä (pelkkä komento <tt>grep</tt>) operaattorit <tt>? + {} | (</tt> ja <tt>)</tt> eivät ole käytettävissä, paitsi asettamalla niiden eteen pako-operaattorin <tt>\</tt>.

===== Prosessoitu tuloste: awk =====
Jos ylläolevassa prosessilistausesimerkissä halutaan tulostaa pelkät prosessien [[PID]]-numerot, voidaan käyttää [[awk]]-työkalua seuraavasti:
$ ps -ef | awk '/^qmail/ { print $2 }'
3986
3990
3994
3995

== Esimerkkejä lausekkeista ==
Web-kuva:
[^ ]+\.(png|PNG|jpg|JPG|jpeg|JPEG|gif|GIF)
Päivämäärä muotoa pp.kk.vvvv:
[0-9]{1,2}\.[0-9]{1,2}\.[0-9]{4}
2-merkkinen [[wikipedia:fi:heksadesimaalijärjestelmä|heksadesimaali]]:
[0-9A-Fa-f]{2}
Sähköpostiosoite:
[a-zA-Z0-9_]+@[a-zA-Z0-9_\.]+\.[a-zA-Z]{2,3}

== Laajennukset ==
Lukuunottamatta operaattoria <tt>{n,m}</tt> ja POSIX-luokkia (<tt>[[:luokka:]]</tt> jne.) yllä esitetty on pitkälti universaalisti tuettua säännöllisten lausekkeiden eri toteutuksissa. Monissa toteutuksissa on kuitenkin tehty laajennuksia tähän, mutta esim. <tt>[[grep]]</tt> ei tue seuraavia.

=== Pakoluokat ===
Jos halutaan kirjoittaa lauseke, joka jossain kohtaa vastaa mitä tahansa numeromerkkiä, voidaan kirjoittaa hakasulkuilmaus <tt>[0-9]</tt>. Tälläisille yleisesti käytetyille luokille on kuitenkin olemassa laajennuksissa helpompia nimiä. Kutsutaan näitä ''pakoluokiksi''. Ne muistuttavat läheisesti [[#POSIX-merkkiluokat|POSIX-merkkiluokkia]], mutta ovat lyhyempiä.

{| style="border-style: solid; border-collapse: collapse" border="1"
|+'''Pakoluokat'''
|-
! Ilmaisu !! Merkitys !! Vastaava hakasulkuilmaus
|-
| <tt>\w</tt> || Mikä tahansa aakkonen a-z, numero tai alaviiva <tt>_</tt>. || <tt>[a-zA-Z0-9_]</tt>
|-
| <tt>\W</tt> || Äskeisen vastakohta; mikä tahansa muu kuin aakkonen a-z, numero tai alaviiva. || <tt>[^a-zA-Z0-9_]</tt>
|-
| <tt>\s</tt> || Mikä tahansa tyhjä merkki (esim. välilyönti tai tabulaattori) || esim. <tt>[ \t]</tt>, jossa <tt>\t</tt> tabulaattorimerkki
|-
| <tt>\S</tt> || Äskeisen vastakohta; mikä tahansa ei-tyhjä merkki || esim. <tt>[^ \t]</tt>
|-
| <tt>\d</tt> || Mikä tahansa numero. || <tt>[0-9]</tt>
|-
| <tt>\D</tt> || Äskeisen vastakohta; mikä tahansa ei-numero. || <tt>[^0-9]</tt>
|}

Lauseke
\d+
vastaa siis kaikkia numeroita aivan siinä missä myös
[0-9]+

==Katso myös==
* [[Komentorivin perusteet]]
* [[Grep]] ja [[Awk]]
** [[Putki]]
* [[Ed]] ja [[Sed]]: tuki säännöllisille lausekkeille
* [[Vi]] ja [[vim]]: näiden graaffinen tila
* [[Emacs]]

==Aiheesta muualla==
*[[wikipedia:fi:säännöllinen lauseke|Säännöllinen lauseke]]
*[[wikipedia:fi:äärellinen automaatti|Äärellinen automaatti]]
*[[wikipedia:fi:pinoautomaatti|Pinoautomaatti]]
*[[wikipedia:fi:turingin kone|Turingin kone]]
*[http://www.ohjelmointiputka.net/opas.php?tunnus=phpsl Säännölliset lausekkeet PHP:ssä] -opas Ohjelmointiputkassa
*[http://swtch.com/~rsc/regexp/regexp1.html Regular Expression Matching Can Be Simple And Fast]: Keskustelua säännöllisten lausekkeiden toteutuksesta C-kielellä englanniksi.

[[Luokka:Käsitteet]]
[[Luokka:Komentorivi]]
[[Luokka:Perustietoa]]

Säännöllinen lauseke

2010-02-17T21:35:00Z

Ordyh: /* Teoriaa */ typo

'''Säännöllinen lauseke''' (engl. '''regular expression''', '''regexp''') on yksinkertainen merkkijonokieli, joka voi joko ''vastata'' tai ''olla vastaamatta'' jotain toista merkkijonoa. Linux- ja Unix-järjestelmissä säännöllisiä lauskkeista on suurta hyötyä [[komentorivi]]ä käytettäessä esimerkiksi merkkijonojen etsimis- ja korvaustoiminnoissa. Niiden voidaankin sanoa olevan [[putki]]ttamiseen yhdistettynä tärkeimpiä työkaluja, joita komentorivin edistynyt käyttö edellyttää.

Tässä artikkelissa on esitetty johdatus säännöllisiin lausekkeisiin siten, miten komentorivityöklu <tt>[[grep]]</tt> ne ymmärtää ''laajennettussa'' (engl. extended) tilassa. Kaikissa säännöllisten lausekkeiden toteutuksissa syntaksi ei kuitenkaan ole aivan sama. Perusoperaattorit (<tt>*</tt>, <tt>+</tt>, <tt>?</tt>, sulut) ovat kuitenkin ''universaaleja'', eli kaikki toteutukset tukevat niitä.

Säännöllisistä lausekkeista on yleisesti käytössä kolme tyyppiä: ''tavallinen'' (engl. basic), ''laajennettu ''(engl. extended) ja ''[[Perl]]-tyyppinen''. Varsinkin useassa järjestelmässä käytettäviä [[skripti|skriptejä]] kirjoitettaessa täytyy olla huolellinen, mikäli käyttää tavallisesta poikkeavia ilmaisuja. Tässä ohjeessa esitetty syntaksi on yhteensopiva Linuxin [[GNU]]-grepin laajennetun syntaksin kanssa jollei toisin mainita.

Säännöllisiä lausekkeita ei pidä sekoittaa tiedostonimi-jokereihin ([[glob]]), joilla on samankaltainen toiminnallisuus (vrt. <tt>*</tt> ja <tt>.*</tt>).

== Teoriaa ==
[[wikipedia:fi:Tietojenkäsittelytiede|Tietojenkäsittelytieteessä]] säännölliset lausekkeet ymmärrettään [[wikipedia:fi:säännöllinen kieli|säännöllisestä kielenä]], joka voidaan tunnistaa [[wikipedia:fi:äärellinen automaatti|äärellisellä automaatilla]]. Säännöllisten lauskkeiden historia juontaa juurensa siten 50- ja 60-luvuille tietojenkäsittelytieteen syntyaikohiin.

Säännöllisiä lausekkeita voi hyödyntää monissa ohjelmointikielissä (mm. Perl, Java, Python, ECMAScript). Mille tahansa [[wikipedia:en:Turing complete|Turing-täydelliselle]] ohjelmointikielelle voidaan myös aina kirjoittaa säännöllisten lausekkeiden [[wikipedia:fi:Ohjelmointikielen tulkki|tulkki]].

== Historia ==
Ensimmäisenä säännöllisten lausekkeiden toteutuksena aidolle tietokoneelle (IBM 7094) pidetään Unix-pioneeri [[wikipedia:fi:Ken Thompson|Ken Thompson]]in julkaisua [http://portal.acm.org/citation.cfm?doid=363347.363387 Regular Expression Search Algorithm] vuodelta 1968. [[Unix]]-järjestelmissä säännöllisiä lausekkeita on siten voinut hyödyntää aina ensimmäisistä versioista lähtien. Ensimmäinen [[grep]]-ohjelma kirjoitettiin ilmeisesti vuonna 1973.[http://www.columbia.edu/~rh120/ch001j.c11]

== Johdatus säännöllisiin lausekkeisiin ==

===Perusteet===
Säännöllinen lauseke joko ''vastaa'' tai ''ei vastaa'' merkkijonoa. Kutsutaan säännöllistä lauseketta ''lausekkeeksi'' ja merkkijonoa, jonka vastaavuus lausekkeeseen halutaan selvittää, ''kohteeksi''.

Lausekkeen yksinkertaiset kirjoitusmerkit vastaavat yksi-yhteen kohteen kirjoitusmerkkejä. Tämän vuoksi lauseke
abba
vastaa yllätyksettömästi kohdetta
'''abba'''
mutta ei kohdetta
bono

Yleensä (mm. grep ja awk) katsotaan, että kohteen alussa ja lopussa voi olla mielivaltainen määrä ei-vastaavia merkkejä. Tällöin kohde (s.o. näiden komentojen tapauksessa ''rivi'') vastaa lauseketta, jos edes jokin sen ''osa'' vastaa lauseketta. Siis grep ja awk -yhteydessä lauseke
abba
vastaa kohdetta
bo'''abba'''bo
ja
dada'''abba'''gada
mutta ei silti kohdetta
b'''abb'''bab

===Operaattorit===
Yksi-yhteen vastaavien kirjoitusmerkkien lisäksi säännöllisissä lausekkeissa on mahdollisuus käyttää erilaisia ''operaattorimerkkejä'', joilla on lausekkeessa erikoismerkitys.

====Vaihtoehtoisuusoperaattori: <tt>|</tt>====
Näistä ensimmäinen on operaattori <tt>|</tt>, joka tarkoittaa ''vaihtelua'' tai ''alternointia'' (engl. alternation). Sen merkitys on sama kuin luonnollisen kielen sanalla "tai". Lauseke
omena|luumu
vastaa sekä kohteita
'''omena'''
että
'''luumu'''
Kun lisäksi muistamme yltä, että komentorivityökalujen tapauksessa kohde voi sisältää ei-vastaavia merkkejä sekä alussa että lopussa, vastaa ylläoleva lauseke <tt>omena|luumu</tt> myös merkkijonoja
uuni'''omena'''
tai
'''luumu'''soppa
Huomaa kuitenkin, että seuraavassa kohteessa vain ensimmäinen esiintymä vastaa lauseketta
kotimainen '''omena'''-luumuhillo

====Toisto-operaattorit====
Merkeillä <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja ilmaisulla <tt>{n,m}</tt> on säännöllisissä lausekkeissa erikoismerkitys, joka vaikuttaa niitä ''välittömästi edeltävään'' merkkiin.

=====Mielivaltaisen monta: <tt>*</tt>=====
Operaattori <tt>*</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, tai ei kertaakaan"''. Siten lauseke
ab*a
vastaa kaikkia seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
'''aa'''
mutta ei seuraavia:
'''a'''cccca
bba

Todettakooon, että selvästi b-merkkien määrä kohteessa voi olla mielivaltainen, joten eri vastaavia kohdemerkkijonoja on olemassa myös ääretön määrä.

=====Vähintään yksi: <tt>+</tt>=====
Operaattori <tt>+</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, mutta vähintään kerran"''. Siten lauseke
ab+a
vastaa seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
mutta ei seuraavia:
'''a'''a
'''a'''cccca
bba

=====Ehdollinen: <tt>?</tt>=====
Operaattori <tt>?</tt> tarkoittaa ''"edellinen kerran, tai ei kertaakaan''". Siten lauseke
ab?a
vastaa seuraavia kohteita:
'''aba'''
'''aa'''
mutta ei mitään seuraavista:
'''ab'''bbbbbbbbbbbbbbbba
'''ab'''bba
'''ab'''ba
'''a'''cccca
bba

=====n:stä m:n kertaan: <tt>{n, m}</tt>=====
Aina yllä olevat operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> eivät riitä, vaan jotain merkkiä tarvitsee vastata juuri tietyn määrän toistoja. Voitaisiin toki kirjoittaa
aaaa?a?
jos halutaan vastata
aaa
aaaa
aaaaa
mutta voidaan kirjoittaa lyhyemmin
a{3,5}
Tämä tarkoittaa, että edeltävää merkkiä <tt>a</tt> voi esiintyä kolmesta viiteen kertaan. Käytetään yleisesti tästä ilmaisusta mallia <tt>{n,m}</tt>, jossa <tt>n</tt> ja <tt>m</tt> ovat mielivaltaisia kokonaislukuja, tarkoittaen ''"n:stä m:n kertaan"''.

Kumpi tahansa numeroista <tt>n</tt> ja <tt>m</tt> voidaan jättää pois. Täten ilmaisu
{n}
tarkoittaa ''"tasan n kertaa"'. Ilmaisu
{n,}
tarkoittaa ''"vähintään n kertaa"''. Ilmaisu
{,m}
tarkoittaa ''"korkeintaan m kertaa"''.

Sivuhuomatuksena todettakoon, että yllä olevan perusteella lyhyemmät operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> voitaisiin aina korvata ilmaisuilla <tt>{0,}</tt>, <tt>{1,}</tt> ja <tt>{0,1}</tt> vastaavasti. {m,n}-muoto on kuitenkin uudempi laajennos, joka ei toimi kaikissa ohjelmassa.

'''Huom!''' Operaattori <tt>{n,m}</tt> ei ole tuettu kaikissa säännöllisten lausekkeiden toteutuksissa. GNU grep tukee niitä laajennetussa tilassa (<tt>egrep</tt>).

===== Huomautuksia =====
Operaattoreita voi yhdistää mielivaltaisesti toisiinsa. Siten lauseke
hur+a*!*
vastaavaa kaikkia seuraavia kohteita:
'''hur'''
'''hurr'''
'''hurra'''
'''hurraa'''
'''hurraa!'''
'''hurrraaa!!!!'''
jne.

Toisaalta lauseke ''ei vastaa'' mitään seuraavista kohteista:
burraa!
'''hu'''aa!!
'''hu'''uuurraa!!
'''hurr'''urrur!!
jne.

Tässä vaiheessa on hyvä varmistaa, että ymmärtää edellä esitetyn esimerkin kokonaisuudessaan.

===Sulut: <tt>(</tt> ja <tt>)</tt>===
'''Kysymys:''' Jos halutaan vastata kohdetta <tt>hUrrUrrUrr</tt> siten, että merkkijono <tt>Urr</tt> voi esiintyä kohteessa äärettömän monta kertaa, miten tulee toimia?

'''Vastaus:''' Tämä on mahdotonta tähän mennessä esitetyillä operaattoreilla. Voisimme toki kirjoittaa <tt>hU+r+r+</tt> tai vastaavaa, mutta tämä vastaisi vain kohteita kuten <tt>hUUrrrr</tt>. Tarvitsemme selvästi uuden operaattorin; ''sulut''.

Merkeillä <tt>(</tt> ja <tt>)</tt> voidaan määrittää lausekkeen osia, jotka samaan tapaan kuin koulumatematiikassa lasketaan ''ennen'' laskun muita osia. Koska säännöllisissä lausekkeissa ei kuitenkaan lasketa mitään, havainnollistetaan sulkujen merkitystä esittämällä ratkaisu yllä olevaan kysymykseen.

Lauseke
h(Urr)+
vastaa kohteita
'''hUrr'''
'''hUrrUrr'''
'''hUrrUrrUrr'''
'''hUrrUrrUrrUrr'''
jne. jne. Lauseke ei vastaa seuraavia kohteita:
'''h'''Arr
'''h'''Err
burr

Samoin kohde
'''hUr'''
näyttää oikealta, mutta jää kuitenkin liian lyhyeksi, sillä sulkujen sisältö on löydyttävä kohteesta aina ''kokonaan''. Siksi kohde <tt>hUr</tt> ei vastaa lauseketta <tt>h(Urr)+</tt>.

====Esimerkkejä====

Sulkuja voi yhdistellä mielivaltaisesti kaikkiin operaattoreihin <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja <tt>|</tt>. Seuraavassa on annettu sarja lausekkeita, sekä esimerkkejä kutakin vastaavista ja vastaamattomista kohteista:

Lauseke
d(ii)?pada+(pa|ba)?
vastaa esimerkiksi seuraavia kohteita
'''diipadaaba'''
'''diipadaapa'''
'''dpadaapa'''
'''dpadaaba'''
'''diipadaaaaapa'''
'''diipadaaaaaba'''
'''diipada'''
'''diipada'''
'''diipadaaa'''
'''diipadaaaa'''
mutta ei mitään seuraavista
'''di'''padaapa
'''diipad'''uu
'''diipad'''

Viimeinen esimerkki jää lyhyeksi, sillä merkki <tt>a</tt> on lausekkeessa pakollinen vähintään kerran.

Lauseke
(hi|ha|ho)+
vastaa mitä tahansa kohdetta, jossa esiintyy mikä tahansa määrä merkkijonoja <tt>hi</tt>, <tt>ha</tt> ja <tt>ho</tt> peräkkäin mielivaltaisen monta kertaa, kuitenkin vähintään kerran. Lauseke vastaa siis kaikkia seuraavia:
'''hi'''
'''ha'''
'''ho'''
'''hihi'''
'''haha'''
'''hiha'''
'''hoho'''
'''hihaho'''
'''hahohihohahi'''
mutta ei
'''h'''e
'''h'''u
'''h'''uhu
'''h'''ehe

===Yhtä merkkiä vastaavat erikoismerkit===
Säännöllisissä lausekkeissa voi esiintyä myös joitain erikoismerkkejä, jotka eivät ole operaattoreita, eli ne eivät vaikuta niitä edeltäviin sulkuihin tai merkkeihin. Ne voitaisiin aina kirjoittaa lausekkeilla muotoa
(merkki1|merkki2|merkki3|merkki4|...|merkkiN)
mutta tämä on varsin työlästä ja epäselkeää. Siksi säännöllisissä lausekkeissa on joitain erikoismerkkejä, jotka ovat oikopolkuja monimutkaisten vaihtoehtoisuuslausekkeiden kirjoittamiseen.

====Jokerimerkki: <tt>.</tt>====
Merkillä <tt>.</tt> (piste) on erikoismerkitys. Se vastaa aina ''mitä tahansa'' merkkiä. Lauseke
.*
vastaa siis kaikkia mahdollisia kohteita - jopa tyhjää merkkijonoa, sillä operaattori <tt>*</tt> tarkoittaa, että erikoisoperaattori "mikä tahansa merkki" voi esiintyä myös nolla kertaa.

Lauseke
(h.)+
vastaa siten kaikkia seuraavista:
'''ha'''
'''he'''
'''hi'''
'''hy'''
'''hr'''
'''hihrhy'''
mutta ei
rh
ah
oh
ih
'''h'''
Viimeinen esimerkki jää jälleen lyhyeksi, sillä <tt>.</tt> ei vastaa kuitenkaan "tyhjää" merkkiä.

Lauseke
.upu
vastaa
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''
mutta myös
'''supu'''
mutta ei
sepe

====Merkkiluokat: <tt>[]</tt>====
Jos halutaan korjata ylläoleva Ankanpoika-esimerkki, voitaisiin kirjoittaa:
(t|h|l|T|H|L)upu
joka vastaisi vain ja ainoastaan:
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''

Merkkien <tt>[]</tt> avulla voidaan määritellä kirjainluokkia siten, että seuraava merkki kohteessa vastaa vain ja ainoastaan jotain hakasulkujen välissä olevaa kirjainta. Siten äskeistä täysin vastaa lauseke on
[thlTHL]upu

Hakasulkujen välissä voidaan myös määritellä [[lokaali]]n aakkoston mukaisia välejä väliviivalla <tt>-</tt>. Tällöin
19[4-9][0-9]|20[0-9][0-9]
vastaa kaikkia vuosilukuja välillä 1940-2099. Samoin
Osasto [A-I]
vastaa
'''Osasto A'''
'''Osasto B'''
'''Osasto C'''
...
'''Osasto H'''
'''Osasto I'''
mutta ei
'''Osasto '''J

On huomioitavaa, että myös kohteet ”Osasto b” tai ”Osasto È” saattavat vastata yllä esitettyä lausketta joissain [[lokaali|lokaaleissa]].

Jos merkki <tt>-</tt> halutaan sisällyttää hakasulkuilmaisuun, se jätetään viimeiseksi. Esim.
Ala[ -]aste
vastaa
'''Ala aste'''
'''Ala-aste'''

Jos oikea hakasulku (<tt>]</tt>) halutaan sisällyttää hakasulkuilmaukseen, se laitetaan hakasulkujen ensimmäiseksi merkiksi. Esim.
[]abcdef]+
vastaa
'''a'''
'''b'''
''']'''
'''ab]'''
'''d]f'''
jne., mutta ei
[gi
zo

Hakasulkuilmaisusn merkitys voidaan kääntää asettamalla hattu <tt>^</tt> sen ensimmäiseksi merkiksi. Tällöin hakasulkuilmaisu vastaa mitä tahansa hakasuluissa '''ei''' esiintyvää merkkiä kohteessa. Täten lauseke
[^aeiouyåäö]+
vastaa mitä tahansa pelkistä konsonanteista, välimerkeistä ja numeroista koostuvaa kohdetta, kuten
'''prrr'''
'''123'''
'''hkr'''
'''brr-hrr'''
jne. Mutta ei
au
aiai
jne.

Grepin hyväksymissä säännöllisissä lausekkeissa merkin <tt>^</tt> voi sisällyttää hakasulkuilmaukseen laittamalla sen miksi tahansa muuksi merkiksi, kuin hakasulkujen ensimmäinen merkki. Tämä ei pidä välttämättä paikkaansa kuitenkaan kaikilla säännöllisten lausekkeiden toteutuksilla, vaan hattumerkin eteen on mahdollisesti laitettava pako-operaattori <tt>\</tt>.

=====POSIX-merkkiluokat=====
Joitain erikoismerkkiluokkia on määrätty ennakkoon grepissä. Esimerkiksi
*<tt><nowiki>[:digit:]</nowiki></tt> vastaa mitä tahansa numeroa
*<tt><nowiki>[:alpha:]</nowiki></tt> vastaa mitä tahansa kirjainta
*<tt><nowiki>[:alnum:]</nowiki></tt> vastaa mitä tahansa kirjainta tai numeroa
*<tt><nowiki>[:space:]</nowiki></tt> vastaa mitä tahansa tyhjää (esim. välilyönti, tabulaattori) merkkiä

Muita tällaisia ovat <tt><nowiki>[:lower:]</nowiki></tt>, <tt><nowiki>[:upper:]</nowiki></tt>, <tt><nowiki>[:xdigit:]</nowiki></tt>, <tt><nowiki>[:blank:]</nowiki></tt>, <tt><nowiki>[:punct:]</nowiki></tt>, <tt><nowiki>[:print:]</nowiki></tt>, <tt><nowiki>[:cntrl:]</nowiki></tt> ja <tt><nowiki>[:graph:]</nowiki></tt>.

Merkkiluokat tulee laittaa lisäksi ulompien hakasulkujen <tt>[]</tt> sisään. Esimerkiksi
<nowiki>[[:upper:]]</nowiki>+
joka vastaa yleensä ilmaisua
[A-Z]+
eli mielivaltainen (vähintään yksi) määrä isoja kirjaimia A-Z.

'''Huom!''' Merkkiluokkia käytettäessä on huomioitava, että käytetty lokaali vaikuttaa ratkaisevasti siihen, mitä merkkejä luokkaan sisältyy. Siksi niitä ei voi käyttää tietoturvatarkistuksiin muuta kuin ennalta tiedetyillä lokaaleilla.

====Pako-operaattori: <tt>\</tt>====
Jos halutaan vastata jotain merkkiä, joka on määritelty operaattoriksi säännöllisissä lausekkeissa, sitä ei voida kirjoittaa sellaisenaan lausekkeeseen. Jos halutaan vastata tarkalleen jotain seuraavista
Mitä?
Missä?
Milloin?
ei voida kirjoittaa lauseketta
(Mi(tä|ssä|lloin))?
koska kysymysmerkki <tt>?</tt> lopussa vain ehdollista koko ulomman sulkuilmaisun, ja koko lauseke vastaisi siis vain joko tyhjää merkkijonoa tai kysymysmerkitöntä kysymyssanaa.

Tarvitaan pako-operaattoria <tt>\</tt>. Merkin <tt>?</tt> tai ylipäänsä minkä tahansa opraattorimerkin erikoismerkityksen voi poistaa asettamalla sen eteen kenoviivan. Tällöin kenoviivaa välittömästi seuraava merkki täytyy esiintyä kohteessa sellaisenaan. Oikea tapa kirjoittaa yllä oleva lauseke olisi siten
(Mi(tä|ssä|lloin))\?
Tämä vastaa vain ja ainoastaan haluttuja merkkijonoja.

Seuraavat operaattorit on merkittävä pako-operaattorilla, jos niitä ei haluta tulkittavan erikoismerkeiksi:
( ) | * + ? { } [ ] ^ $ \

Siis, jos halutaan vastata kohteessa kenoviivaa, on kirjoitettava <tt>\\</tt>. Esimerkiksi Windows-polku:
''<asema>'':\Dokumentit\''<nimi>''.(doc, docx tai odt)
voidaan löytää esim. seuraavalla säännöllisellä lausekkeella:
[A-Z]:\\Dokumentit\\[a-öA-Ö0-9 _-]+\.(doc|docx|odt)

=== Rivin alku ja loppu: <tt>^</tt> ja <tt>$</tt>===
On voinut herätä kysymys, kuinka voidaan vastata kohdetta (s.o. riviä) ''tarkalleen''. Heti alussa selvisi, että esim grepin mielestä kohde (rivi) vastaa lauseketta, jos lauseke esiintyy missä tahansa kohdassa riviä. Jos halutaan, että lauseke vastaa alusta loppuun tarkalleen koko riviä, on otettava käyttöön erikoismerkit <tt>^</tt> ja <tt>$</tt>. Nämä vastaavat kohteessa rivin tai merkkijonon alkua ja loppua kuvaavia "näkymättömiä" merkkejä vastaavasti. Siten
^abba$
vastaa vain riviä
'''abba'''
mutta ei esimerkiksi
babba
abbab
babbab
'''ab'''a
'''abb'''bba
^abba
'''abba'''$
^abba$

==== Esimerkki ====

Merkit <tt>^</tt> ja <tt>$</tt> antavat viimeisen silauksen grepin tehokkaaseen hyödyntämiseen. Nyt esimerkiksi, jos tulostetaan kaikki [[prosessi]]t komennolla <tt>[[ps]] -ef</tt>, saadaan yleensä jokseenkin tälläinen listaus (esimerkissä palvelinkone):

$ ps -ef
UID PID PPID C STIME TTY TIME CMD
root 1 0 0 Jan21 ? 00:00:34 init [2]
root 1425 1 0 Jan31 ? 00:00:00 /usr/sbin/xinetd
qmails 3986 1 0 Jan21 ? 00:00:00 qmail-send
qmaill 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
root 3993 3986 0 Jan21 ? 00:00:00 qmail-lspawn | /usr/bin/deliverquota ./Maildir
qmailr 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
qmailq 3995 3986 0 Jan21 ? 00:00:00 qmail-clean
root 5566 1 0 Jan21 ? 00:00:05 /usr/sbin/apache2 -k start
root 6091 1 0 Jan21 ? 00:00:03 /usr/sbin/cron
www-data 15379 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
www-data 15386 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
root 21684 32395 0 20:37 ? 00:00:00 sshd: user [priv]
user 21688 21684 0 20:37 ? 00:00:00 sshd: user@pts/1
user 21689 21688 0 20:37 pts/1 00:00:00 -bash
user 21705 21689 0 20:37 pts/1 00:00:00 ps -ef
syslog 32279 1 0 Jan21 ? 00:00:07 /sbin/syslogd -u syslog
bind 32351 1 0 Jan31 ? 00:00:00 /usr/sbin/named
root 32395 1 0 Jan21 ? 00:00:22 /usr/sbin/sshd
(... jne ...)

Jos haluamme ylläolevasta listasta vain "qmail" -alkuisten [[käyttäjä|käyttäjien]] prosessit, voisimme kirjoittaa
ps -ef | grep qmail
Tämä kuitenkin tulostaa myös kaikki sellaiset prosessit, joiden nimikentässä esiintyy "qmail" – joukossa myös käyttäjän [[root]] prosesseja vastoin alkuperäistä tarkoitusta:
$ ps -ef | grep qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 '''qmail'''-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger '''qmail''' 2
root 3993 3986 0 Jan21 ? 00:00:00 '''qmail'''-lspawn | /usr/bin/deliverquota ./Maildir
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 '''qmail'''-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 '''qmail'''-clean

Ratkaisu qmail -alkuisten käyttäjien prosessien listaamiseen on:
$ ps -ef | grep ^qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 qmail-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 qmail-clean

Hattumerkki <tt>^</tt> alussa vastaa jokaisen listausrivin alkua, jota pitää välittömästi seurata merkkijono <tt>qmail</tt>, ja tämän jälkeen voi tulla mikä tahansa merkkejä, koska loppumerkkiä ei ole tarkoituksella annettu. Grep tulostaa vain lausketta vastaavat rivit, ja tulos on haluttu.

===== Pako komentotulkista =====
Jos halutaan antaa jokin monimutkaisempi ilmaisu, on hyvä asettaa säännöllinen lauseke yksinkertaisten heittomerkkien <tt>'</tt> sisään, jotta ne regexp-operaattorit, joillla on jokin erikoismerkitys [[komentotulkki|komeotulkissa]] eivät aiheuta ongelmia.
$ echo moi | egrep m(o|a)i
-bash: syntax error near unexpected token `('
Sululla <tt>(</tt> on erikoismerkitys komentotulkissa, samoin merkillä <tt>[[putki||]]</tt>. Ratkaisu:
$ echo moi | egrep 'm(o|a)i'
moi

===== Laajennetut säännölliset lausekkeet: egrep =====
Esimerkissä käytettiin komentoa <tt>egrep</tt>. Se on oikopolku grepin [[valitsin|valitsimelle]] <tt>-E</tt>, joka ottaa säännöllisten lausekkeiden laajennetun (engl. extended) tuen käyttöön. Normaalissa käytössä (pelkkä komento <tt>grep</tt>) operaattorit <tt>? + {} | (</tt> ja <tt>)</tt> eivät ole käytettävissä, paitsi asettamalla niiden eteen pako-operaattorin <tt>\</tt>.

===== Prosessoitu tuloste: awk =====
Jos ylläolevassa prosessilistausesimerkissä halutaan tulostaa pelkät prosessien [[PID]]-numerot, voidaan käyttää [[awk]]-työkalua seuraavasti:
$ ps -ef | awk '/^qmail/ { print $2 }'
3986
3990
3994
3995

== Esimerkkejä lausekkeista ==
Web-kuva:
[^ ]+\.(png|PNG|jpg|JPG|jpeg|JPEG|gif|GIF)
Päivämäärä muotoa pp.kk.vvvv:
[0-9]{1,2}\.[0-9]{1,2}\.[0-9]{4}
2-merkkinen [[wikipedia:fi:heksadesimaalijärjestelmä|heksadesimaali]]:
[0-9A-Fa-f]{2}
Sähköpostiosoite:
[a-zA-Z0-9_]+@[a-zA-Z0-9_\.]+\.[a-zA-Z]{2,3}

== Laajennukset ==
Lukuunottamatta operaattoria <tt>{n,m}</tt> ja POSIX-luokkia (<tt>[[:luokka:]]</tt> jne.) yllä esitetty on pitkälti universaalisti tuettua säännöllisten lausekkeiden eri toteutuksissa. Monissa toteutuksissa on kuitenkin tehty laajennuksia tähän, mutta esim. [[grep]] ei tue seuraavia.

=== Pakoluokat ===
Jos halutaan kirjoittaa lauseke, joka jossain kohtaa vastaa mitä tahansa numeromerkkiä, voidaan kirjoittaa hakasulkuilmaus <tt>[0-9]</tt>. Tälläisille yleisesti käytetyille luokille on kuitenkin olemassa laajennuksissa helpompia nimiä. Kutsutaan näitä ''pakoluokiksi''. Ne muistuttavat läheisesti [[#POSIX-merkkiluokat|POSIX-merkkiluokkia]], mutta ovat lyhyempiä.

{| style="border-style: solid; border-collapse: collapse" border="1"
|+'''Pakoluokat'''
|-
! Ilmaisu !! Merkitys !! Vastaava hakasulkuilmaus
|-
| <tt>\w</tt> || Mikä tahansa aakkonen a-z, numero tai alaviiva <tt>_</tt>. || <tt>[a-zA-Z0-9_]</tt>
|-
| <tt>\W</tt> || Äskeisen vastakohta; mikä tahansa muu kuin aakkonen a-z, numero tai alaviiva. || <tt>[^a-zA-Z0-9_]</tt>
|-
| <tt>\s</tt> || Mikä tahansa tyhjä merkki (esim. välilyönti tai tabulaattori) || esim. <tt>[ \t]</tt>, jossa <tt>\t</tt> tabulaattorimerkki
|-
| <tt>\S</tt> || Äskeisen vastakohta; mikä tahansa ei-tyhjä merkki || esim. <tt>[^ \t]</tt>
|-
| <tt>\d</tt> || Mikä tahansa numero. || <tt>[0-9]</tt>
|-
| <tt>\D</tt> || Äskeisen vastakohta; mikä tahansa ei-numero. || <tt>[^0-9]</tt>
|}

Lauseke
\d+
vastaa siis kaikkia numeroita aivan siinä missä myös
[0-9]+

==Katso myös==
* [[Komentorivin perusteet]]
* [[Grep]] ja [[Awk]]
** [[Putki]]
* [[Ed]] ja [[Sed]]: tuki säännöllisille lausekkeille
* [[Vi]] ja [[vim]]: näiden graaffinen tila
* [[Emacs]]

==Aiheesta muualla==
*[[wikipedia:fi:säännöllinen lauseke|Säännöllinen lauseke]]
*[[wikipedia:fi:äärellinen automaatti|Äärellinen automaatti]]
*[[wikipedia:fi:pinoautomaatti|Pinoautomaatti]]
*[[wikipedia:fi:turingin kone|Turingin kone]]
*[http://www.ohjelmointiputka.net/opas.php?tunnus=phpsl Säännölliset lausekkeet PHP:ssä] -opas Ohjelmointiputkassa
*[http://swtch.com/~rsc/regexp/regexp1.html Regular Expression Matching Can Be Simple And Fast]: Keskustelua säännöllisten lausekkeiden toteutuksesta C-kielellä englanniksi.

[[Luokka:Käsitteet]]
[[Luokka:Komentorivi]]
[[Luokka:Perustietoa]]

Säännöllinen lauseke

2010-02-17T17:16:12Z

Ordyh: /* Teoriaa */ erotettu historia-osio. laajennettu.

'''Säännöllinen lauseke''' (engl. '''regular expression''', '''regexp''') on yksinkertainen merkkijonokieli, joka voi joko ''vastata'' tai ''olla vastaamatta'' jotain toista merkkijonoa. Linux- ja Unix-järjestelmissä säännöllisiä lauskkeista on suurta hyötyä [[komentorivi]]ä käytettäessä esimerkiksi merkkijonojen etsimis- ja korvaustoiminnoissa. Niiden voidaankin sanoa olevan [[putki]]ttamiseen yhdistettynä tärkeimpiä työkaluja, joita komentorivin edistynyt käyttö edellyttää.

Tässä artikkelissa on esitetty johdatus säännöllisiin lausekkeisiin siten, miten komentorivityöklu <tt>[[grep]]</tt> ne ymmärtää ''laajennettussa'' (engl. extended) tilassa. Kaikissa säännöllisten lausekkeiden toteutuksissa syntaksi ei kuitenkaan ole aivan sama. Perusoperaattorit (<tt>*</tt>, <tt>+</tt>, <tt>?</tt>, sulut) ovat kuitenkin ''universaaleja'', eli kaikki toteutukset tukevat niitä.

Säännöllisistä lausekkeista on yleisesti käytössä kolme tyyppiä: ''tavallinen'' (engl. basic), ''laajennettu ''(engl. extended) ja ''[[Perl]]-tyyppinen''. Varsinkin useassa järjestelmässä käytettäviä [[skripti|skriptejä]] kirjoitettaessa täytyy olla huolellinen, mikäli käyttää tavallisesta poikkeavia ilmaisuja. Tässä ohjeessa esitetty syntaksi on yhteensopiva Linuxin [[GNU]]-grepin laajennetun syntaksin kanssa jollei toisin mainita.

Säännöllisiä lausekkeita ei pidä sekoittaa tiedostonimi-jokereihin ([[glob]]), joilla on samankaltainen toiminnallisuus (vrt. <tt>*</tt> ja <tt>.*</tt>).

== Teoriaa ==
[[wikipedia:fi:Tietojenkäsittelytiede|Tietojenkäsittelytieteessä]] säännölliset lausekkeet ymmärrettään [[wikipedia:fi:säännöllinen kieli|säännöllisestä kielena]], joka voidaan tunnistaa [[wikipedia:fi:äärellinen automaatti|äärellisellä automaatilla]]. Säännöllisten lauskkeiden historia juontaa juurensa siten 50- ja 60-luvuille tietojenkäsittelytieteen syntyaikohiin.

Säännöllisiä lausekkeita voi hyödyntää monissa ohjelmointikielissä (mm. Perl, Java, Python, ECMAScript). Mille tahansa [[wikipedia:en:Turing complete|Turing-täydelliselle]] ohjelmointikielelle voidaan myös aina kirjoittaa säännöllisten lausekkeiden [[wikipedia:fi:Ohjelmointikielen tulkki|tulkki]].

== Historia ==
Ensimmäisenä säännöllisten lausekkeiden toteutuksena aidolle tietokoneelle (IBM 7094) pidetään Unix-pioneeri [[wikipedia:fi:Ken Thompson|Ken Thompson]]in julkaisua [http://portal.acm.org/citation.cfm?doid=363347.363387 Regular Expression Search Algorithm] vuodelta 1968. [[Unix]]-järjestelmissä säännöllisiä lausekkeita on siten voinut hyödyntää aina ensimmäisistä versioista lähtien. Ensimmäinen [[grep]]-ohjelma kirjoitettiin ilmeisesti vuonna 1973.[http://www.columbia.edu/~rh120/ch001j.c11]

== Johdatus säännöllisiin lausekkeisiin ==

===Perusteet===
Säännöllinen lauseke joko ''vastaa'' tai ''ei vastaa'' merkkijonoa. Kutsutaan säännöllistä lauseketta ''lausekkeeksi'' ja merkkijonoa, jonka vastaavuus lausekkeeseen halutaan selvittää, ''kohteeksi''.

Lausekkeen yksinkertaiset kirjoitusmerkit vastaavat yksi-yhteen kohteen kirjoitusmerkkejä. Tämän vuoksi lauseke
abba
vastaa yllätyksettömästi kohdetta
'''abba'''
mutta ei kohdetta
bono

Yleensä (mm. grep ja awk) katsotaan, että kohteen alussa ja lopussa voi olla mielivaltainen määrä ei-vastaavia merkkejä. Tällöin kohde (s.o. näiden komentojen tapauksessa ''rivi'') vastaa lauseketta, jos edes jokin sen ''osa'' vastaa lauseketta. Siis grep ja awk -yhteydessä lauseke
abba
vastaa kohdetta
bo'''abba'''bo
ja
dada'''abba'''gada
mutta ei silti kohdetta
b'''abb'''bab

===Operaattorit===
Yksi-yhteen vastaavien kirjoitusmerkkien lisäksi säännöllisissä lausekkeissa on mahdollisuus käyttää erilaisia ''operaattorimerkkejä'', joilla on lausekkeessa erikoismerkitys.

====Vaihtoehtoisuusoperaattori: <tt>|</tt>====
Näistä ensimmäinen on operaattori <tt>|</tt>, joka tarkoittaa ''vaihtelua'' tai ''alternointia'' (engl. alternation). Sen merkitys on sama kuin luonnollisen kielen sanalla "tai". Lauseke
omena|luumu
vastaa sekä kohteita
'''omena'''
että
'''luumu'''
Kun lisäksi muistamme yltä, että komentorivityökalujen tapauksessa kohde voi sisältää ei-vastaavia merkkejä sekä alussa että lopussa, vastaa ylläoleva lauseke <tt>omena|luumu</tt> myös merkkijonoja
uuni'''omena'''
tai
'''luumu'''soppa
Huomaa kuitenkin, että seuraavassa kohteessa vain ensimmäinen esiintymä vastaa lauseketta
kotimainen '''omena'''-luumuhillo

====Toisto-operaattorit====
Merkeillä <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja ilmaisulla <tt>{n,m}</tt> on säännöllisissä lausekkeissa erikoismerkitys, joka vaikuttaa niitä ''välittömästi edeltävään'' merkkiin.

=====Mielivaltaisen monta: <tt>*</tt>=====
Operaattori <tt>*</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, tai ei kertaakaan"''. Siten lauseke
ab*a
vastaa kaikkia seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
'''aa'''
mutta ei seuraavia:
'''a'''cccca
bba

Todettakooon, että selvästi b-merkkien määrä kohteessa voi olla mielivaltainen, joten eri vastaavia kohdemerkkijonoja on olemassa myös ääretön määrä.

=====Vähintään yksi: <tt>+</tt>=====
Operaattori <tt>+</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, mutta vähintään kerran"''. Siten lauseke
ab+a
vastaa seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
mutta ei seuraavia:
'''a'''a
'''a'''cccca
bba

=====Ehdollinen: <tt>?</tt>=====
Operaattori <tt>?</tt> tarkoittaa ''"edellinen kerran, tai ei kertaakaan''". Siten lauseke
ab?a
vastaa seuraavia kohteita:
'''aba'''
'''aa'''
mutta ei mitään seuraavista:
'''ab'''bbbbbbbbbbbbbbbba
'''ab'''bba
'''ab'''ba
'''a'''cccca
bba

=====n:stä m:n kertaan: <tt>{n, m}</tt>=====
Aina yllä olevat operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> eivät riitä, vaan jotain merkkiä tarvitsee vastata juuri tietyn määrän toistoja. Voitaisiin toki kirjoittaa
aaaa?a?
jos halutaan vastata
aaa
aaaa
aaaaa
mutta voidaan kirjoittaa lyhyemmin
a{3,5}
Tämä tarkoittaa, että edeltävää merkkiä <tt>a</tt> voi esiintyä kolmesta viiteen kertaan. Käytetään yleisesti tästä ilmaisusta mallia <tt>{n,m}</tt>, jossa <tt>n</tt> ja <tt>m</tt> ovat mielivaltaisia kokonaislukuja, tarkoittaen ''"n:stä m:n kertaan"''.

Kumpi tahansa numeroista <tt>n</tt> ja <tt>m</tt> voidaan jättää pois. Täten ilmaisu
{n}
tarkoittaa ''"tasan n kertaa"'. Ilmaisu
{n,}
tarkoittaa ''"vähintään n kertaa"''. Ilmaisu
{,m}
tarkoittaa ''"korkeintaan m kertaa"''.

Sivuhuomatuksena todettakoon, että yllä olevan perusteella lyhyemmät operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> voitaisiin aina korvata ilmaisuilla <tt>{0,}</tt>, <tt>{1,}</tt> ja <tt>{0,1}</tt> vastaavasti. {m,n}-muoto on kuitenkin uudempi laajennos, joka ei toimi kaikissa ohjelmassa.

'''Huom!''' Operaattori <tt>{n,m}</tt> ei ole tuettu kaikissa säännöllisten lausekkeiden toteutuksissa. GNU grep tukee niitä laajennetussa tilassa (<tt>egrep</tt>).

===== Huomautuksia =====
Operaattoreita voi yhdistää mielivaltaisesti toisiinsa. Siten lauseke
hur+a*!*
vastaavaa kaikkia seuraavia kohteita:
'''hur'''
'''hurr'''
'''hurra'''
'''hurraa'''
'''hurraa!'''
'''hurrraaa!!!!'''
jne.

Toisaalta lauseke ''ei vastaa'' mitään seuraavista kohteista:
burraa!
'''hu'''aa!!
'''hu'''uuurraa!!
'''hurr'''urrur!!
jne.

Tässä vaiheessa on hyvä varmistaa, että ymmärtää edellä esitetyn esimerkin kokonaisuudessaan.

===Sulut: <tt>(</tt> ja <tt>)</tt>===
'''Kysymys:''' Jos halutaan vastata kohdetta <tt>hUrrUrrUrr</tt> siten, että merkkijono <tt>Urr</tt> voi esiintyä kohteessa äärettömän monta kertaa, miten tulee toimia?

'''Vastaus:''' Tämä on mahdotonta tähän mennessä esitetyillä operaattoreilla. Voisimme toki kirjoittaa <tt>hU+r+r+</tt> tai vastaavaa, mutta tämä vastaisi vain kohteita kuten <tt>hUUrrrr</tt>. Tarvitsemme selvästi uuden operaattorin; ''sulut''.

Merkeillä <tt>(</tt> ja <tt>)</tt> voidaan määrittää lausekkeen osia, jotka samaan tapaan kuin koulumatematiikassa lasketaan ''ennen'' laskun muita osia. Koska säännöllisissä lausekkeissa ei kuitenkaan lasketa mitään, havainnollistetaan sulkujen merkitystä esittämällä ratkaisu yllä olevaan kysymykseen.

Lauseke
h(Urr)+
vastaa kohteita
'''hUrr'''
'''hUrrUrr'''
'''hUrrUrrUrr'''
'''hUrrUrrUrrUrr'''
jne. jne. Lauseke ei vastaa seuraavia kohteita:
'''h'''Arr
'''h'''Err
burr

Samoin kohde
'''hUr'''
näyttää oikealta, mutta jää kuitenkin liian lyhyeksi, sillä sulkujen sisältö on löydyttävä kohteesta aina ''kokonaan''. Siksi kohde <tt>hUr</tt> ei vastaa lauseketta <tt>h(Urr)+</tt>.

====Esimerkkejä====

Sulkuja voi yhdistellä mielivaltaisesti kaikkiin operaattoreihin <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja <tt>|</tt>. Seuraavassa on annettu sarja lausekkeita, sekä esimerkkejä kutakin vastaavista ja vastaamattomista kohteista:

Lauseke
d(ii)?pada+(pa|ba)?
vastaa esimerkiksi seuraavia kohteita
'''diipadaaba'''
'''diipadaapa'''
'''dpadaapa'''
'''dpadaaba'''
'''diipadaaaaapa'''
'''diipadaaaaaba'''
'''diipada'''
'''diipada'''
'''diipadaaa'''
'''diipadaaaa'''
mutta ei mitään seuraavista
'''di'''padaapa
'''diipad'''uu
'''diipad'''

Viimeinen esimerkki jää lyhyeksi, sillä merkki <tt>a</tt> on lausekkeessa pakollinen vähintään kerran.

Lauseke
(hi|ha|ho)+
vastaa mitä tahansa kohdetta, jossa esiintyy mikä tahansa määrä merkkijonoja <tt>hi</tt>, <tt>ha</tt> ja <tt>ho</tt> peräkkäin mielivaltaisen monta kertaa, kuitenkin vähintään kerran. Lauseke vastaa siis kaikkia seuraavia:
'''hi'''
'''ha'''
'''ho'''
'''hihi'''
'''haha'''
'''hiha'''
'''hoho'''
'''hihaho'''
'''hahohihohahi'''
mutta ei
'''h'''e
'''h'''u
'''h'''uhu
'''h'''ehe

===Yhtä merkkiä vastaavat erikoismerkit===
Säännöllisissä lausekkeissa voi esiintyä myös joitain erikoismerkkejä, jotka eivät ole operaattoreita, eli ne eivät vaikuta niitä edeltäviin sulkuihin tai merkkeihin. Ne voitaisiin aina kirjoittaa lausekkeilla muotoa
(merkki1|merkki2|merkki3|merkki4|...|merkkiN)
mutta tämä on varsin työlästä ja epäselkeää. Siksi säännöllisissä lausekkeissa on joitain erikoismerkkejä, jotka ovat oikopolkuja monimutkaisten vaihtoehtoisuuslausekkeiden kirjoittamiseen.

====Jokerimerkki: <tt>.</tt>====
Merkillä <tt>.</tt> (piste) on erikoismerkitys. Se vastaa aina ''mitä tahansa'' merkkiä. Lauseke
.*
vastaa siis kaikkia mahdollisia kohteita - jopa tyhjää merkkijonoa, sillä operaattori <tt>*</tt> tarkoittaa, että erikoisoperaattori "mikä tahansa merkki" voi esiintyä myös nolla kertaa.

Lauseke
(h.)+
vastaa siten kaikkia seuraavista:
'''ha'''
'''he'''
'''hi'''
'''hy'''
'''hr'''
'''hihrhy'''
mutta ei
rh
ah
oh
ih
'''h'''
Viimeinen esimerkki jää jälleen lyhyeksi, sillä <tt>.</tt> ei vastaa kuitenkaan "tyhjää" merkkiä.

Lauseke
.upu
vastaa
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''
mutta myös
'''supu'''
mutta ei
sepe

====Merkkiluokat: <tt>[]</tt>====
Jos halutaan korjata ylläoleva Ankanpoika-esimerkki, voitaisiin kirjoittaa:
(t|h|l|T|H|L)upu
joka vastaisi vain ja ainoastaan:
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''

Merkkien <tt>[]</tt> avulla voidaan määritellä kirjainluokkia siten, että seuraava merkki kohteessa vastaa vain ja ainoastaan jotain hakasulkujen välissä olevaa kirjainta. Siten äskeistä täysin vastaa lauseke on
[thlTHL]upu

Hakasulkujen välissä voidaan myös määritellä [[lokaali]]n aakkoston mukaisia välejä väliviivalla <tt>-</tt>. Tällöin
19[4-9][0-9]|20[0-9][0-9]
vastaa kaikkia vuosilukuja välillä 1940-2099. Samoin
Osasto [A-I]
vastaa
'''Osasto A'''
'''Osasto B'''
'''Osasto C'''
...
'''Osasto H'''
'''Osasto I'''
mutta ei
'''Osasto '''J

On huomioitavaa, että myös kohteet ”Osasto b” tai ”Osasto È” saattavat vastata yllä esitettyä lausketta joissain [[lokaali|lokaaleissa]].

Jos merkki <tt>-</tt> halutaan sisällyttää hakasulkuilmaisuun, se jätetään viimeiseksi. Esim.
Ala[ -]aste
vastaa
'''Ala aste'''
'''Ala-aste'''

Jos oikea hakasulku (<tt>]</tt>) halutaan sisällyttää hakasulkuilmaukseen, se laitetaan hakasulkujen ensimmäiseksi merkiksi. Esim.
[]abcdef]+
vastaa
'''a'''
'''b'''
''']'''
'''ab]'''
'''d]f'''
jne., mutta ei
[gi
zo

Hakasulkuilmaisusn merkitys voidaan kääntää asettamalla hattu <tt>^</tt> sen ensimmäiseksi merkiksi. Tällöin hakasulkuilmaisu vastaa mitä tahansa hakasuluissa '''ei''' esiintyvää merkkiä kohteessa. Täten lauseke
[^aeiouyåäö]+
vastaa mitä tahansa pelkistä konsonanteista, välimerkeistä ja numeroista koostuvaa kohdetta, kuten
'''prrr'''
'''123'''
'''hkr'''
'''brr-hrr'''
jne. Mutta ei
au
aiai
jne.

Grepin hyväksymissä säännöllisissä lausekkeissa merkin <tt>^</tt> voi sisällyttää hakasulkuilmaukseen laittamalla sen miksi tahansa muuksi merkiksi, kuin hakasulkujen ensimmäinen merkki. Tämä ei pidä välttämättä paikkaansa kuitenkaan kaikilla säännöllisten lausekkeiden toteutuksilla, vaan hattumerkin eteen on mahdollisesti laitettava pako-operaattori <tt>\</tt>.

=====POSIX-merkkiluokat=====
Joitain erikoismerkkiluokkia on määrätty ennakkoon grepissä. Esimerkiksi
*<tt><nowiki>[:digit:]</nowiki></tt> vastaa mitä tahansa numeroa
*<tt><nowiki>[:alpha:]</nowiki></tt> vastaa mitä tahansa kirjainta
*<tt><nowiki>[:alnum:]</nowiki></tt> vastaa mitä tahansa kirjainta tai numeroa
*<tt><nowiki>[:space:]</nowiki></tt> vastaa mitä tahansa tyhjää (esim. välilyönti, tabulaattori) merkkiä

Muita tällaisia ovat <tt><nowiki>[:lower:]</nowiki></tt>, <tt><nowiki>[:upper:]</nowiki></tt>, <tt><nowiki>[:xdigit:]</nowiki></tt>, <tt><nowiki>[:blank:]</nowiki></tt>, <tt><nowiki>[:punct:]</nowiki></tt>, <tt><nowiki>[:print:]</nowiki></tt>, <tt><nowiki>[:cntrl:]</nowiki></tt> ja <tt><nowiki>[:graph:]</nowiki></tt>.

Merkkiluokat tulee laittaa lisäksi ulompien hakasulkujen <tt>[]</tt> sisään. Esimerkiksi
<nowiki>[[:upper:]]</nowiki>+
joka vastaa yleensä ilmaisua
[A-Z]+
eli mielivaltainen (vähintään yksi) määrä isoja kirjaimia A-Z.

'''Huom!''' Merkkiluokkia käytettäessä on huomioitava, että käytetty lokaali vaikuttaa ratkaisevasti siihen, mitä merkkejä luokkaan sisältyy. Siksi niitä ei voi käyttää tietoturvatarkistuksiin muuta kuin ennalta tiedetyillä lokaaleilla.

====Pako-operaattori: <tt>\</tt>====
Jos halutaan vastata jotain merkkiä, joka on määritelty operaattoriksi säännöllisissä lausekkeissa, sitä ei voida kirjoittaa sellaisenaan lausekkeeseen. Jos halutaan vastata tarkalleen jotain seuraavista
Mitä?
Missä?
Milloin?
ei voida kirjoittaa lauseketta
(Mi(tä|ssä|lloin))?
koska kysymysmerkki <tt>?</tt> lopussa vain ehdollista koko ulomman sulkuilmaisun, ja koko lauseke vastaisi siis vain joko tyhjää merkkijonoa tai kysymysmerkitöntä kysymyssanaa.

Tarvitaan pako-operaattoria <tt>\</tt>. Merkin <tt>?</tt> tai ylipäänsä minkä tahansa opraattorimerkin erikoismerkityksen voi poistaa asettamalla sen eteen kenoviivan. Tällöin kenoviivaa välittömästi seuraava merkki täytyy esiintyä kohteessa sellaisenaan. Oikea tapa kirjoittaa yllä oleva lauseke olisi siten
(Mi(tä|ssä|lloin))\?
Tämä vastaa vain ja ainoastaan haluttuja merkkijonoja.

Seuraavat operaattorit on merkittävä pako-operaattorilla, jos niitä ei haluta tulkittavan erikoismerkeiksi:
( ) | * + ? { } [ ] ^ $ \

Siis, jos halutaan vastata kohteessa kenoviivaa, on kirjoitettava <tt>\\</tt>. Esimerkiksi Windows-polku:
''<asema>'':\Dokumentit\''<nimi>''.(doc, docx tai odt)
voidaan löytää esim. seuraavalla säännöllisellä lausekkeella:
[A-Z]:\\Dokumentit\\[a-öA-Ö0-9 _-]+\.(doc|docx|odt)

=== Rivin alku ja loppu: <tt>^</tt> ja <tt>$</tt>===
On voinut herätä kysymys, kuinka voidaan vastata kohdetta (s.o. riviä) ''tarkalleen''. Heti alussa selvisi, että esim grepin mielestä kohde (rivi) vastaa lauseketta, jos lauseke esiintyy missä tahansa kohdassa riviä. Jos halutaan, että lauseke vastaa alusta loppuun tarkalleen koko riviä, on otettava käyttöön erikoismerkit <tt>^</tt> ja <tt>$</tt>. Nämä vastaavat kohteessa rivin tai merkkijonon alkua ja loppua kuvaavia "näkymättömiä" merkkejä vastaavasti. Siten
^abba$
vastaa vain riviä
'''abba'''
mutta ei esimerkiksi
babba
abbab
babbab
'''ab'''a
'''abb'''bba
^abba
'''abba'''$
^abba$

==== Esimerkki ====

Merkit <tt>^</tt> ja <tt>$</tt> antavat viimeisen silauksen grepin tehokkaaseen hyödyntämiseen. Nyt esimerkiksi, jos tulostetaan kaikki [[prosessi]]t komennolla <tt>[[ps]] -ef</tt>, saadaan yleensä jokseenkin tälläinen listaus (esimerkissä palvelinkone):

$ ps -ef
UID PID PPID C STIME TTY TIME CMD
root 1 0 0 Jan21 ? 00:00:34 init [2]
root 1425 1 0 Jan31 ? 00:00:00 /usr/sbin/xinetd
qmails 3986 1 0 Jan21 ? 00:00:00 qmail-send
qmaill 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
root 3993 3986 0 Jan21 ? 00:00:00 qmail-lspawn | /usr/bin/deliverquota ./Maildir
qmailr 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
qmailq 3995 3986 0 Jan21 ? 00:00:00 qmail-clean
root 5566 1 0 Jan21 ? 00:00:05 /usr/sbin/apache2 -k start
root 6091 1 0 Jan21 ? 00:00:03 /usr/sbin/cron
www-data 15379 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
www-data 15386 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
root 21684 32395 0 20:37 ? 00:00:00 sshd: user [priv]
user 21688 21684 0 20:37 ? 00:00:00 sshd: user@pts/1
user 21689 21688 0 20:37 pts/1 00:00:00 -bash
user 21705 21689 0 20:37 pts/1 00:00:00 ps -ef
syslog 32279 1 0 Jan21 ? 00:00:07 /sbin/syslogd -u syslog
bind 32351 1 0 Jan31 ? 00:00:00 /usr/sbin/named
root 32395 1 0 Jan21 ? 00:00:22 /usr/sbin/sshd
(... jne ...)

Jos haluamme ylläolevasta listasta vain "qmail" -alkuisten [[käyttäjä|käyttäjien]] prosessit, voisimme kirjoittaa
ps -ef | grep qmail
Tämä kuitenkin tulostaa myös kaikki sellaiset prosessit, joiden nimikentässä esiintyy "qmail" – joukossa myös käyttäjän [[root]] prosesseja vastoin alkuperäistä tarkoitusta:
$ ps -ef | grep qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 '''qmail'''-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger '''qmail''' 2
root 3993 3986 0 Jan21 ? 00:00:00 '''qmail'''-lspawn | /usr/bin/deliverquota ./Maildir
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 '''qmail'''-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 '''qmail'''-clean

Ratkaisu qmail -alkuisten käyttäjien prosessien listaamiseen on:
$ ps -ef | grep ^qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 qmail-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 qmail-clean

Hattumerkki <tt>^</tt> alussa vastaa jokaisen listausrivin alkua, jota pitää välittömästi seurata merkkijono <tt>qmail</tt>, ja tämän jälkeen voi tulla mikä tahansa merkkejä, koska loppumerkkiä ei ole tarkoituksella annettu. Grep tulostaa vain lausketta vastaavat rivit, ja tulos on haluttu.

===== Pako komentotulkista =====
Jos halutaan antaa jokin monimutkaisempi ilmaisu, on hyvä asettaa säännöllinen lauseke yksinkertaisten heittomerkkien <tt>'</tt> sisään, jotta ne regexp-operaattorit, joillla on jokin erikoismerkitys [[komentotulkki|komeotulkissa]] eivät aiheuta ongelmia.
$ echo moi | egrep m(o|a)i
-bash: syntax error near unexpected token `('
Sululla <tt>(</tt> on erikoismerkitys komentotulkissa, samoin merkillä <tt>[[putki||]]</tt>. Ratkaisu:
$ echo moi | egrep 'm(o|a)i'
moi

===== Laajennetut säännölliset lausekkeet: egrep =====
Esimerkissä käytettiin komentoa <tt>egrep</tt>. Se on oikopolku grepin [[valitsin|valitsimelle]] <tt>-E</tt>, joka ottaa säännöllisten lausekkeiden laajennetun (engl. extended) tuen käyttöön. Normaalissa käytössä (pelkkä komento <tt>grep</tt>) operaattorit <tt>? + {} | (</tt> ja <tt>)</tt> eivät ole käytettävissä, paitsi asettamalla niiden eteen pako-operaattorin <tt>\</tt>.

===== Prosessoitu tuloste: awk =====
Jos ylläolevassa prosessilistausesimerkissä halutaan tulostaa pelkät prosessien [[PID]]-numerot, voidaan käyttää [[awk]]-työkalua seuraavasti:
$ ps -ef | awk '/^qmail/ { print $2 }'
3986
3990
3994
3995

== Esimerkkejä lausekkeista ==
Web-kuva:
[^ ]+\.(png|PNG|jpg|JPG|jpeg|JPEG|gif|GIF)
Päivämäärä muotoa pp.kk.vvvv:
[0-9]{1,2}\.[0-9]{1,2}\.[0-9]{4}
2-merkkinen [[wikipedia:fi:heksadesimaalijärjestelmä|heksadesimaali]]:
[0-9A-Fa-f]{2}
Sähköpostiosoite:
[a-zA-Z0-9_]+@[a-zA-Z0-9_\.]+\.[a-zA-Z]{2,3}

== Laajennukset ==
Lukuunottamatta operaattoria <tt>{n,m}</tt> ja POSIX-luokkia (<tt>[[:luokka:]]</tt> jne.) yllä esitetty on pitkälti universaalisti tuettua säännöllisten lausekkeiden eri toteutuksissa. Monissa toteutuksissa on kuitenkin tehty laajennuksia tähän, mutta esim. [[grep]] ei tue seuraavia.

=== Pakoluokat ===
Jos halutaan kirjoittaa lauseke, joka jossain kohtaa vastaa mitä tahansa numeromerkkiä, voidaan kirjoittaa hakasulkuilmaus <tt>[0-9]</tt>. Tälläisille yleisesti käytetyille luokille on kuitenkin olemassa laajennuksissa helpompia nimiä. Kutsutaan näitä ''pakoluokiksi''. Ne muistuttavat läheisesti [[#POSIX-merkkiluokat|POSIX-merkkiluokkia]], mutta ovat lyhyempiä.

{| style="border-style: solid; border-collapse: collapse" border="1"
|+'''Pakoluokat'''
|-
! Ilmaisu !! Merkitys !! Vastaava hakasulkuilmaus
|-
| <tt>\w</tt> || Mikä tahansa aakkonen a-z, numero tai alaviiva <tt>_</tt>. || <tt>[a-zA-Z0-9_]</tt>
|-
| <tt>\W</tt> || Äskeisen vastakohta; mikä tahansa muu kuin aakkonen a-z, numero tai alaviiva. || <tt>[^a-zA-Z0-9_]</tt>
|-
| <tt>\s</tt> || Mikä tahansa tyhjä merkki (esim. välilyönti tai tabulaattori) || esim. <tt>[ \t]</tt>, jossa <tt>\t</tt> tabulaattorimerkki
|-
| <tt>\S</tt> || Äskeisen vastakohta; mikä tahansa ei-tyhjä merkki || esim. <tt>[^ \t]</tt>
|-
| <tt>\d</tt> || Mikä tahansa numero. || <tt>[0-9]</tt>
|-
| <tt>\D</tt> || Äskeisen vastakohta; mikä tahansa ei-numero. || <tt>[^0-9]</tt>
|}

Lauseke
\d+
vastaa siis kaikkia numeroita aivan siinä missä myös
[0-9]+

==Katso myös==
* [[Komentorivin perusteet]]
* [[Grep]] ja [[Awk]]
** [[Putki]]
* [[Ed]] ja [[Sed]]: tuki säännöllisille lausekkeille
* [[Vi]] ja [[vim]]: näiden graaffinen tila
* [[Emacs]]

==Aiheesta muualla==
*[[wikipedia:fi:säännöllinen lauseke|Säännöllinen lauseke]]
*[[wikipedia:fi:äärellinen automaatti|Äärellinen automaatti]]
*[[wikipedia:fi:pinoautomaatti|Pinoautomaatti]]
*[[wikipedia:fi:turingin kone|Turingin kone]]
*[http://www.ohjelmointiputka.net/opas.php?tunnus=phpsl Säännölliset lausekkeet PHP:ssä] -opas Ohjelmointiputkassa
*[http://swtch.com/~rsc/regexp/regexp1.html Regular Expression Matching Can Be Simple And Fast]: Keskustelua säännöllisten lausekkeiden toteutuksesta C-kielellä englanniksi.

[[Luokka:Käsitteet]]
[[Luokka:Komentorivi]]
[[Luokka:Perustietoa]]

EOF

2010-02-17T16:22:57Z

Ordyh: /* ASCII-loppumerkki 0x04 */ kh

'''EOF''' eli '''loppumerkki''' on C-ohjelmoinnissa ja yleisesti Unix-järjestelmissä tiedoston lopusta kertova erikoismerkki. Kun ohjelma lukee tiedostosta loppumerkin EOF, se tarkoittaa yleensä, että tiedoston loppu on saavutettu, eikä lisää tietoa ole enää saatavilla.

== C-ohjelmoinnissa ==
C-ohjelman kannalta tiedostot näkyvät [[tiedostokuvain|tiedostokuvaimina]] (engl. ''file descriptor''). Tiedostokuvaimesta, joka yleensä on liitetty tiedostoon, mutta voi olla liitetty myös johonkin [[standardivirta]]an tai [[putki|putkeen]], voi lukea tavuja standardikirjaston kutsulla ''fgetc()''. Kutsu palauttaa normaalisti tiedoston seuraavan 8-bittisen merkin, mutta mikäli tiedosto on lopussa tai lukemisessa tapahtuu virhe, kutsu palauttaa erikoisarvon EOF. EOF ei ole positiivinen 8-bittinen kokonaisluku (s.o. luku väliltä 0-255), vaan negatiivinen ''int'' -arvo. Näin mikään tiedosto ei voi sisältää merkkiä EOF, eikä sitä voi tallettaa tyyppiin ''unsigned char''. Siksi paluuarvo EOF on aina erikoistapaus.

C-ohjelman tulee aina erikseen varmistaa, merkitseekö EOF -paluuarvo todella tiedoston loppua vaiko virhetilannetta kutsulla ''feof()'' tai ''ferror()''.

== ASCII-loppumerkki 0x04 ==
Loppumerkkiä läheisesti muistuttaa ASCII-merkki 0x04 (End of Transmission). Vanhoissa järjestelmissä kuten [[wikipedia:fi:CP/M|CP/M]] järjestelmä talletti jokaisen tiedoston osalta vain sille varattujen talletuslohkojen määrän. Mikäli tiedostoon tallennettu data loppui talletuslohkojen välissä, tiedoston lopusta kertoi erikoismerkki 0x04. Tälläinen tiedosto ei voi tietenkään sisältää muuaalla kontrollimerkkiä 0x04, joka aiheuttaisi vakavia ongelmia nykyisissä järjestelmissä, joiden levyille saatetaan tallettaa mm. salattua tai pakattua binääritietoa. Siksi termillä EOF viitataan nykyisin Linux- ja Unix järjestelmissä useimmiten negatiiviseen lukufunktion paluuarvoon EOF, joka ei voi vastata arvoltaan mitään aitoa merkkiä, esimerkiksi ASCII-kontrollimerkkiä.

== Terminaalissa ==
Syötteen voi terminaalissa lopettaa antamalla erikoismerkin <tt>^D</tt>, joka PC-järjestelmissä tapahtuu painamalla Ctrl ja D kirjaimia samaan aikaan. Tämä johtaa terminaaliajurin vaikutuksesta siihen, että terminaalia lukeva prosessi saa järjestelmältä paluuarvon EOF, ja ymmärtää syötettävän tiedon loppuneen.

Esimerkiksi komento
cat > teksti.txt
lukee terminaalista käyttäjän syötettä, kunnes annetaan erikoismerkki <tt>^D</tt>. Tämän jälkeen [[cat]] ymmärtää tiedoston loppuneen, ja käyttäjän syöttämä teksti kirjoitetaan tiedostoon teksti.txt.

[[Luokka:Järjestelmä]]

Säännöllinen lauseke

2010-02-17T16:19:56Z

Ordyh: kh.

'''Säännöllinen lauseke''' (engl. '''regular expression''', '''regexp''') on yksinkertainen merkkijonokieli, joka voi joko ''vastata'' tai ''olla vastaamatta'' jotain toista merkkijonoa. Linux- ja Unix-järjestelmissä säännöllisiä lauskkeista on suurta hyötyä [[komentorivi]]ä käytettäessä esimerkiksi merkkijonojen etsimis- ja korvaustoiminnoissa. Niiden voidaankin sanoa olevan [[putki]]ttamiseen yhdistettynä tärkeimpiä työkaluja, joita komentorivin edistynyt käyttö edellyttää.

Tässä artikkelissa on esitetty johdatus säännöllisiin lausekkeisiin siten, miten komentorivityöklu <tt>[[grep]]</tt> ne ymmärtää ''laajennettussa'' (engl. extended) tilassa. Kaikissa säännöllisten lausekkeiden toteutuksissa syntaksi ei kuitenkaan ole aivan sama. Perusoperaattorit (<tt>*</tt>, <tt>+</tt>, <tt>?</tt>, sulut) ovat kuitenkin ''universaaleja'', eli kaikki toteutukset tukevat niitä.

Säännöllisistä lausekkeista on yleisesti käytössä kolme tyyppiä: ''tavallinen'' (engl. basic), ''laajennettu ''(engl. extended) ja ''[[Perl]]-tyyppinen''. Varsinkin useassa järjestelmässä käytettäviä [[skripti|skriptejä]] kirjoitettaessa täytyy olla huolellinen, mikäli käyttää tavallisesta poikkeavia ilmaisuja. Tässä ohjeessa esitetty syntaksi on yhteensopiva Linuxin [[GNU]]-grepin laajennetun syntaksin kanssa jollei toisin mainita.

Säännöllisiä lausekkeita ei pidä sekoittaa tiedostonimi-jokereihin ([[glob]]), joilla on samankaltainen toiminnallisuus (vrt. <tt>*</tt> ja <tt>.*</tt>).

== Teoriaa ==
Tietojenkäsittelytieteessä puhutaan [[wikipedia:fi:säännöllinen kieli|säännöllisestä kielestä]], joka voidaan tunnistaa [[wikipedia:fi:äärellinen automaatti|äärellisellä automaatilla]]. Säännöllisten lauskkeiden historia juontaa juurensa siten 50- ja 60-luvuille [[wikipedia:fi:tietojenkäsittelytiede|tietojenkäsittelytieteen]] syntyaikohiin. [[Unix]]-järjestelmissä säännöllisiä lausekkeita on voinut hyödyntää aina ensimmäisistä versioista lähtien. Ensimmäinen grep-ohjelma kirjoitettiin ilmeisesti vuonna 1973.[http://www.columbia.edu/~rh120/ch001j.c11]

Säännöllisiä lausekkeita voi hyödyntää monissa ohjelmointikielissä (mm. Perl, Java, Python, ECMAScript). Mille tahansa [[wikipedia:en:Turing complete|Turing-täydelliselle]] ohjelmointikielelle voidaan myös aina kirjoittaa säännöllisten lausekkeiden [[wikipedia:fi:Ohjelmointikielen tulkki|tulkki]].

== Johdatus säännöllisiin lausekkeisiin ==

===Perusteet===
Säännöllinen lauseke joko ''vastaa'' tai ''ei vastaa'' merkkijonoa. Kutsutaan säännöllistä lauseketta ''lausekkeeksi'' ja merkkijonoa, jonka vastaavuus lausekkeeseen halutaan selvittää, ''kohteeksi''.

Lausekkeen yksinkertaiset kirjoitusmerkit vastaavat yksi-yhteen kohteen kirjoitusmerkkejä. Tämän vuoksi lauseke
abba
vastaa yllätyksettömästi kohdetta
'''abba'''
mutta ei kohdetta
bono

Yleensä (mm. grep ja awk) katsotaan, että kohteen alussa ja lopussa voi olla mielivaltainen määrä ei-vastaavia merkkejä. Tällöin kohde (s.o. näiden komentojen tapauksessa ''rivi'') vastaa lauseketta, jos edes jokin sen ''osa'' vastaa lauseketta. Siis grep ja awk -yhteydessä lauseke
abba
vastaa kohdetta
bo'''abba'''bo
ja
dada'''abba'''gada
mutta ei silti kohdetta
b'''abb'''bab

===Operaattorit===
Yksi-yhteen vastaavien kirjoitusmerkkien lisäksi säännöllisissä lausekkeissa on mahdollisuus käyttää erilaisia ''operaattorimerkkejä'', joilla on lausekkeessa erikoismerkitys.

====Vaihtoehtoisuusoperaattori: <tt>|</tt>====
Näistä ensimmäinen on operaattori <tt>|</tt>, joka tarkoittaa ''vaihtelua'' tai ''alternointia'' (engl. alternation). Sen merkitys on sama kuin luonnollisen kielen sanalla "tai". Lauseke
omena|luumu
vastaa sekä kohteita
'''omena'''
että
'''luumu'''
Kun lisäksi muistamme yltä, että komentorivityökalujen tapauksessa kohde voi sisältää ei-vastaavia merkkejä sekä alussa että lopussa, vastaa ylläoleva lauseke <tt>omena|luumu</tt> myös merkkijonoja
uuni'''omena'''
tai
'''luumu'''soppa
Huomaa kuitenkin, että seuraavassa kohteessa vain ensimmäinen esiintymä vastaa lauseketta
kotimainen '''omena'''-luumuhillo

====Toisto-operaattorit====
Merkeillä <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja ilmaisulla <tt>{n,m}</tt> on säännöllisissä lausekkeissa erikoismerkitys, joka vaikuttaa niitä ''välittömästi edeltävään'' merkkiin.

=====Mielivaltaisen monta: <tt>*</tt>=====
Operaattori <tt>*</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, tai ei kertaakaan"''. Siten lauseke
ab*a
vastaa kaikkia seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
'''aa'''
mutta ei seuraavia:
'''a'''cccca
bba

Todettakooon, että selvästi b-merkkien määrä kohteessa voi olla mielivaltainen, joten eri vastaavia kohdemerkkijonoja on olemassa myös ääretön määrä.

=====Vähintään yksi: <tt>+</tt>=====
Operaattori <tt>+</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, mutta vähintään kerran"''. Siten lauseke
ab+a
vastaa seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
mutta ei seuraavia:
'''a'''a
'''a'''cccca
bba

=====Ehdollinen: <tt>?</tt>=====
Operaattori <tt>?</tt> tarkoittaa ''"edellinen kerran, tai ei kertaakaan''". Siten lauseke
ab?a
vastaa seuraavia kohteita:
'''aba'''
'''aa'''
mutta ei mitään seuraavista:
'''ab'''bbbbbbbbbbbbbbbba
'''ab'''bba
'''ab'''ba
'''a'''cccca
bba

=====n:stä m:n kertaan: <tt>{n, m}</tt>=====
Aina yllä olevat operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> eivät riitä, vaan jotain merkkiä tarvitsee vastata juuri tietyn määrän toistoja. Voitaisiin toki kirjoittaa
aaaa?a?
jos halutaan vastata
aaa
aaaa
aaaaa
mutta voidaan kirjoittaa lyhyemmin
a{3,5}
Tämä tarkoittaa, että edeltävää merkkiä <tt>a</tt> voi esiintyä kolmesta viiteen kertaan. Käytetään yleisesti tästä ilmaisusta mallia <tt>{n,m}</tt>, jossa <tt>n</tt> ja <tt>m</tt> ovat mielivaltaisia kokonaislukuja, tarkoittaen ''"n:stä m:n kertaan"''.

Kumpi tahansa numeroista <tt>n</tt> ja <tt>m</tt> voidaan jättää pois. Täten ilmaisu
{n}
tarkoittaa ''"tasan n kertaa"'. Ilmaisu
{n,}
tarkoittaa ''"vähintään n kertaa"''. Ilmaisu
{,m}
tarkoittaa ''"korkeintaan m kertaa"''.

Sivuhuomatuksena todettakoon, että yllä olevan perusteella lyhyemmät operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> voitaisiin aina korvata ilmaisuilla <tt>{0,}</tt>, <tt>{1,}</tt> ja <tt>{0,1}</tt> vastaavasti. {m,n}-muoto on kuitenkin uudempi laajennos, joka ei toimi kaikissa ohjelmassa.

'''Huom!''' Operaattori <tt>{n,m}</tt> ei ole tuettu kaikissa säännöllisten lausekkeiden toteutuksissa. GNU grep tukee niitä laajennetussa tilassa (<tt>egrep</tt>).

===== Huomautuksia =====
Operaattoreita voi yhdistää mielivaltaisesti toisiinsa. Siten lauseke
hur+a*!*
vastaavaa kaikkia seuraavia kohteita:
'''hur'''
'''hurr'''
'''hurra'''
'''hurraa'''
'''hurraa!'''
'''hurrraaa!!!!'''
jne.

Toisaalta lauseke ''ei vastaa'' mitään seuraavista kohteista:
burraa!
'''hu'''aa!!
'''hu'''uuurraa!!
'''hurr'''urrur!!
jne.

Tässä vaiheessa on hyvä varmistaa, että ymmärtää edellä esitetyn esimerkin kokonaisuudessaan.

===Sulut: <tt>(</tt> ja <tt>)</tt>===
'''Kysymys:''' Jos halutaan vastata kohdetta <tt>hUrrUrrUrr</tt> siten, että merkkijono <tt>Urr</tt> voi esiintyä kohteessa äärettömän monta kertaa, miten tulee toimia?

'''Vastaus:''' Tämä on mahdotonta tähän mennessä esitetyillä operaattoreilla. Voisimme toki kirjoittaa <tt>hU+r+r+</tt> tai vastaavaa, mutta tämä vastaisi vain kohteita kuten <tt>hUUrrrr</tt>. Tarvitsemme selvästi uuden operaattorin; ''sulut''.

Merkeillä <tt>(</tt> ja <tt>)</tt> voidaan määrittää lausekkeen osia, jotka samaan tapaan kuin koulumatematiikassa lasketaan ''ennen'' laskun muita osia. Koska säännöllisissä lausekkeissa ei kuitenkaan lasketa mitään, havainnollistetaan sulkujen merkitystä esittämällä ratkaisu yllä olevaan kysymykseen.

Lauseke
h(Urr)+
vastaa kohteita
'''hUrr'''
'''hUrrUrr'''
'''hUrrUrrUrr'''
'''hUrrUrrUrrUrr'''
jne. jne. Lauseke ei vastaa seuraavia kohteita:
'''h'''Arr
'''h'''Err
burr

Samoin kohde
'''hUr'''
näyttää oikealta, mutta jää kuitenkin liian lyhyeksi, sillä sulkujen sisältö on löydyttävä kohteesta aina ''kokonaan''. Siksi kohde <tt>hUr</tt> ei vastaa lauseketta <tt>h(Urr)+</tt>.

====Esimerkkejä====

Sulkuja voi yhdistellä mielivaltaisesti kaikkiin operaattoreihin <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja <tt>|</tt>. Seuraavassa on annettu sarja lausekkeita, sekä esimerkkejä kutakin vastaavista ja vastaamattomista kohteista:

Lauseke
d(ii)?pada+(pa|ba)?
vastaa esimerkiksi seuraavia kohteita
'''diipadaaba'''
'''diipadaapa'''
'''dpadaapa'''
'''dpadaaba'''
'''diipadaaaaapa'''
'''diipadaaaaaba'''
'''diipada'''
'''diipada'''
'''diipadaaa'''
'''diipadaaaa'''
mutta ei mitään seuraavista
'''di'''padaapa
'''diipad'''uu
'''diipad'''

Viimeinen esimerkki jää lyhyeksi, sillä merkki <tt>a</tt> on lausekkeessa pakollinen vähintään kerran.

Lauseke
(hi|ha|ho)+
vastaa mitä tahansa kohdetta, jossa esiintyy mikä tahansa määrä merkkijonoja <tt>hi</tt>, <tt>ha</tt> ja <tt>ho</tt> peräkkäin mielivaltaisen monta kertaa, kuitenkin vähintään kerran. Lauseke vastaa siis kaikkia seuraavia:
'''hi'''
'''ha'''
'''ho'''
'''hihi'''
'''haha'''
'''hiha'''
'''hoho'''
'''hihaho'''
'''hahohihohahi'''
mutta ei
'''h'''e
'''h'''u
'''h'''uhu
'''h'''ehe

===Yhtä merkkiä vastaavat erikoismerkit===
Säännöllisissä lausekkeissa voi esiintyä myös joitain erikoismerkkejä, jotka eivät ole operaattoreita, eli ne eivät vaikuta niitä edeltäviin sulkuihin tai merkkeihin. Ne voitaisiin aina kirjoittaa lausekkeilla muotoa
(merkki1|merkki2|merkki3|merkki4|...|merkkiN)
mutta tämä on varsin työlästä ja epäselkeää. Siksi säännöllisissä lausekkeissa on joitain erikoismerkkejä, jotka ovat oikopolkuja monimutkaisten vaihtoehtoisuuslausekkeiden kirjoittamiseen.

====Jokerimerkki: <tt>.</tt>====
Merkillä <tt>.</tt> (piste) on erikoismerkitys. Se vastaa aina ''mitä tahansa'' merkkiä. Lauseke
.*
vastaa siis kaikkia mahdollisia kohteita - jopa tyhjää merkkijonoa, sillä operaattori <tt>*</tt> tarkoittaa, että erikoisoperaattori "mikä tahansa merkki" voi esiintyä myös nolla kertaa.

Lauseke
(h.)+
vastaa siten kaikkia seuraavista:
'''ha'''
'''he'''
'''hi'''
'''hy'''
'''hr'''
'''hihrhy'''
mutta ei
rh
ah
oh
ih
'''h'''
Viimeinen esimerkki jää jälleen lyhyeksi, sillä <tt>.</tt> ei vastaa kuitenkaan "tyhjää" merkkiä.

Lauseke
.upu
vastaa
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''
mutta myös
'''supu'''
mutta ei
sepe

====Merkkiluokat: <tt>[]</tt>====
Jos halutaan korjata ylläoleva Ankanpoika-esimerkki, voitaisiin kirjoittaa:
(t|h|l|T|H|L)upu
joka vastaisi vain ja ainoastaan:
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''

Merkkien <tt>[]</tt> avulla voidaan määritellä kirjainluokkia siten, että seuraava merkki kohteessa vastaa vain ja ainoastaan jotain hakasulkujen välissä olevaa kirjainta. Siten äskeistä täysin vastaa lauseke on
[thlTHL]upu

Hakasulkujen välissä voidaan myös määritellä [[lokaali]]n aakkoston mukaisia välejä väliviivalla <tt>-</tt>. Tällöin
19[4-9][0-9]|20[0-9][0-9]
vastaa kaikkia vuosilukuja välillä 1940-2099. Samoin
Osasto [A-I]
vastaa
'''Osasto A'''
'''Osasto B'''
'''Osasto C'''
...
'''Osasto H'''
'''Osasto I'''
mutta ei
'''Osasto '''J

On huomioitavaa, että myös kohteet ”Osasto b” tai ”Osasto È” saattavat vastata yllä esitettyä lausketta joissain [[lokaali|lokaaleissa]].

Jos merkki <tt>-</tt> halutaan sisällyttää hakasulkuilmaisuun, se jätetään viimeiseksi. Esim.
Ala[ -]aste
vastaa
'''Ala aste'''
'''Ala-aste'''

Jos oikea hakasulku (<tt>]</tt>) halutaan sisällyttää hakasulkuilmaukseen, se laitetaan hakasulkujen ensimmäiseksi merkiksi. Esim.
[]abcdef]+
vastaa
'''a'''
'''b'''
''']'''
'''ab]'''
'''d]f'''
jne., mutta ei
[gi
zo

Hakasulkuilmaisusn merkitys voidaan kääntää asettamalla hattu <tt>^</tt> sen ensimmäiseksi merkiksi. Tällöin hakasulkuilmaisu vastaa mitä tahansa hakasuluissa '''ei''' esiintyvää merkkiä kohteessa. Täten lauseke
[^aeiouyåäö]+
vastaa mitä tahansa pelkistä konsonanteista, välimerkeistä ja numeroista koostuvaa kohdetta, kuten
'''prrr'''
'''123'''
'''hkr'''
'''brr-hrr'''
jne. Mutta ei
au
aiai
jne.

Grepin hyväksymissä säännöllisissä lausekkeissa merkin <tt>^</tt> voi sisällyttää hakasulkuilmaukseen laittamalla sen miksi tahansa muuksi merkiksi, kuin hakasulkujen ensimmäinen merkki. Tämä ei pidä välttämättä paikkaansa kuitenkaan kaikilla säännöllisten lausekkeiden toteutuksilla, vaan hattumerkin eteen on mahdollisesti laitettava pako-operaattori <tt>\</tt>.

=====POSIX-merkkiluokat=====
Joitain erikoismerkkiluokkia on määrätty ennakkoon grepissä. Esimerkiksi
*<tt><nowiki>[:digit:]</nowiki></tt> vastaa mitä tahansa numeroa
*<tt><nowiki>[:alpha:]</nowiki></tt> vastaa mitä tahansa kirjainta
*<tt><nowiki>[:alnum:]</nowiki></tt> vastaa mitä tahansa kirjainta tai numeroa
*<tt><nowiki>[:space:]</nowiki></tt> vastaa mitä tahansa tyhjää (esim. välilyönti, tabulaattori) merkkiä

Muita tällaisia ovat <tt><nowiki>[:lower:]</nowiki></tt>, <tt><nowiki>[:upper:]</nowiki></tt>, <tt><nowiki>[:xdigit:]</nowiki></tt>, <tt><nowiki>[:blank:]</nowiki></tt>, <tt><nowiki>[:punct:]</nowiki></tt>, <tt><nowiki>[:print:]</nowiki></tt>, <tt><nowiki>[:cntrl:]</nowiki></tt> ja <tt><nowiki>[:graph:]</nowiki></tt>.

Merkkiluokat tulee laittaa lisäksi ulompien hakasulkujen <tt>[]</tt> sisään. Esimerkiksi
<nowiki>[[:upper:]]</nowiki>+
joka vastaa yleensä ilmaisua
[A-Z]+
eli mielivaltainen (vähintään yksi) määrä isoja kirjaimia A-Z.

'''Huom!''' Merkkiluokkia käytettäessä on huomioitava, että käytetty lokaali vaikuttaa ratkaisevasti siihen, mitä merkkejä luokkaan sisältyy. Siksi niitä ei voi käyttää tietoturvatarkistuksiin muuta kuin ennalta tiedetyillä lokaaleilla.

====Pako-operaattori: <tt>\</tt>====
Jos halutaan vastata jotain merkkiä, joka on määritelty operaattoriksi säännöllisissä lausekkeissa, sitä ei voida kirjoittaa sellaisenaan lausekkeeseen. Jos halutaan vastata tarkalleen jotain seuraavista
Mitä?
Missä?
Milloin?
ei voida kirjoittaa lauseketta
(Mi(tä|ssä|lloin))?
koska kysymysmerkki <tt>?</tt> lopussa vain ehdollista koko ulomman sulkuilmaisun, ja koko lauseke vastaisi siis vain joko tyhjää merkkijonoa tai kysymysmerkitöntä kysymyssanaa.

Tarvitaan pako-operaattoria <tt>\</tt>. Merkin <tt>?</tt> tai ylipäänsä minkä tahansa opraattorimerkin erikoismerkityksen voi poistaa asettamalla sen eteen kenoviivan. Tällöin kenoviivaa välittömästi seuraava merkki täytyy esiintyä kohteessa sellaisenaan. Oikea tapa kirjoittaa yllä oleva lauseke olisi siten
(Mi(tä|ssä|lloin))\?
Tämä vastaa vain ja ainoastaan haluttuja merkkijonoja.

Seuraavat operaattorit on merkittävä pako-operaattorilla, jos niitä ei haluta tulkittavan erikoismerkeiksi:
( ) | * + ? { } [ ] ^ $ \

Siis, jos halutaan vastata kohteessa kenoviivaa, on kirjoitettava <tt>\\</tt>. Esimerkiksi Windows-polku:
''<asema>'':\Dokumentit\''<nimi>''.(doc, docx tai odt)
voidaan löytää esim. seuraavalla säännöllisellä lausekkeella:
[A-Z]:\\Dokumentit\\[a-öA-Ö0-9 _-]+\.(doc|docx|odt)

=== Rivin alku ja loppu: <tt>^</tt> ja <tt>$</tt>===
On voinut herätä kysymys, kuinka voidaan vastata kohdetta (s.o. riviä) ''tarkalleen''. Heti alussa selvisi, että esim grepin mielestä kohde (rivi) vastaa lauseketta, jos lauseke esiintyy missä tahansa kohdassa riviä. Jos halutaan, että lauseke vastaa alusta loppuun tarkalleen koko riviä, on otettava käyttöön erikoismerkit <tt>^</tt> ja <tt>$</tt>. Nämä vastaavat kohteessa rivin tai merkkijonon alkua ja loppua kuvaavia "näkymättömiä" merkkejä vastaavasti. Siten
^abba$
vastaa vain riviä
'''abba'''
mutta ei esimerkiksi
babba
abbab
babbab
'''ab'''a
'''abb'''bba
^abba
'''abba'''$
^abba$

==== Esimerkki ====

Merkit <tt>^</tt> ja <tt>$</tt> antavat viimeisen silauksen grepin tehokkaaseen hyödyntämiseen. Nyt esimerkiksi, jos tulostetaan kaikki [[prosessi]]t komennolla <tt>[[ps]] -ef</tt>, saadaan yleensä jokseenkin tälläinen listaus (esimerkissä palvelinkone):

$ ps -ef
UID PID PPID C STIME TTY TIME CMD
root 1 0 0 Jan21 ? 00:00:34 init [2]
root 1425 1 0 Jan31 ? 00:00:00 /usr/sbin/xinetd
qmails 3986 1 0 Jan21 ? 00:00:00 qmail-send
qmaill 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
root 3993 3986 0 Jan21 ? 00:00:00 qmail-lspawn | /usr/bin/deliverquota ./Maildir
qmailr 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
qmailq 3995 3986 0 Jan21 ? 00:00:00 qmail-clean
root 5566 1 0 Jan21 ? 00:00:05 /usr/sbin/apache2 -k start
root 6091 1 0 Jan21 ? 00:00:03 /usr/sbin/cron
www-data 15379 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
www-data 15386 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
root 21684 32395 0 20:37 ? 00:00:00 sshd: user [priv]
user 21688 21684 0 20:37 ? 00:00:00 sshd: user@pts/1
user 21689 21688 0 20:37 pts/1 00:00:00 -bash
user 21705 21689 0 20:37 pts/1 00:00:00 ps -ef
syslog 32279 1 0 Jan21 ? 00:00:07 /sbin/syslogd -u syslog
bind 32351 1 0 Jan31 ? 00:00:00 /usr/sbin/named
root 32395 1 0 Jan21 ? 00:00:22 /usr/sbin/sshd
(... jne ...)

Jos haluamme ylläolevasta listasta vain "qmail" -alkuisten [[käyttäjä|käyttäjien]] prosessit, voisimme kirjoittaa
ps -ef | grep qmail
Tämä kuitenkin tulostaa myös kaikki sellaiset prosessit, joiden nimikentässä esiintyy "qmail" – joukossa myös käyttäjän [[root]] prosesseja vastoin alkuperäistä tarkoitusta:
$ ps -ef | grep qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 '''qmail'''-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger '''qmail''' 2
root 3993 3986 0 Jan21 ? 00:00:00 '''qmail'''-lspawn | /usr/bin/deliverquota ./Maildir
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 '''qmail'''-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 '''qmail'''-clean

Ratkaisu qmail -alkuisten käyttäjien prosessien listaamiseen on:
$ ps -ef | grep ^qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 qmail-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 qmail-clean

Hattumerkki <tt>^</tt> alussa vastaa jokaisen listausrivin alkua, jota pitää välittömästi seurata merkkijono <tt>qmail</tt>, ja tämän jälkeen voi tulla mikä tahansa merkkejä, koska loppumerkkiä ei ole tarkoituksella annettu. Grep tulostaa vain lausketta vastaavat rivit, ja tulos on haluttu.

===== Pako komentotulkista =====
Jos halutaan antaa jokin monimutkaisempi ilmaisu, on hyvä asettaa säännöllinen lauseke yksinkertaisten heittomerkkien <tt>'</tt> sisään, jotta ne regexp-operaattorit, joillla on jokin erikoismerkitys [[komentotulkki|komeotulkissa]] eivät aiheuta ongelmia.
$ echo moi | egrep m(o|a)i
-bash: syntax error near unexpected token `('
Sululla <tt>(</tt> on erikoismerkitys komentotulkissa, samoin merkillä <tt>[[putki||]]</tt>. Ratkaisu:
$ echo moi | egrep 'm(o|a)i'
moi

===== Laajennetut säännölliset lausekkeet: egrep =====
Esimerkissä käytettiin komentoa <tt>egrep</tt>. Se on oikopolku grepin [[valitsin|valitsimelle]] <tt>-E</tt>, joka ottaa säännöllisten lausekkeiden laajennetun (engl. extended) tuen käyttöön. Normaalissa käytössä (pelkkä komento <tt>grep</tt>) operaattorit <tt>? + {} | (</tt> ja <tt>)</tt> eivät ole käytettävissä, paitsi asettamalla niiden eteen pako-operaattorin <tt>\</tt>.

===== Prosessoitu tuloste: awk =====
Jos ylläolevassa prosessilistausesimerkissä halutaan tulostaa pelkät prosessien [[PID]]-numerot, voidaan käyttää [[awk]]-työkalua seuraavasti:
$ ps -ef | awk '/^qmail/ { print $2 }'
3986
3990
3994
3995

== Esimerkkejä lausekkeista ==
Web-kuva:
[^ ]+\.(png|PNG|jpg|JPG|jpeg|JPEG|gif|GIF)
Päivämäärä muotoa pp.kk.vvvv:
[0-9]{1,2}\.[0-9]{1,2}\.[0-9]{4}
2-merkkinen [[wikipedia:fi:heksadesimaalijärjestelmä|heksadesimaali]]:
[0-9A-Fa-f]{2}
Sähköpostiosoite:
[a-zA-Z0-9_]+@[a-zA-Z0-9_\.]+\.[a-zA-Z]{2,3}

== Laajennukset ==
Lukuunottamatta operaattoria <tt>{n,m}</tt> ja POSIX-luokkia (<tt>[[:luokka:]]</tt> jne.) yllä esitetty on pitkälti universaalisti tuettua säännöllisten lausekkeiden eri toteutuksissa. Monissa toteutuksissa on kuitenkin tehty laajennuksia tähän, mutta esim. [[grep]] ei tue seuraavia.

=== Pakoluokat ===
Jos halutaan kirjoittaa lauseke, joka jossain kohtaa vastaa mitä tahansa numeromerkkiä, voidaan kirjoittaa hakasulkuilmaus <tt>[0-9]</tt>. Tälläisille yleisesti käytetyille luokille on kuitenkin olemassa laajennuksissa helpompia nimiä. Kutsutaan näitä ''pakoluokiksi''. Ne muistuttavat läheisesti [[#POSIX-merkkiluokat|POSIX-merkkiluokkia]], mutta ovat lyhyempiä.

{| style="border-style: solid; border-collapse: collapse" border="1"
|+'''Pakoluokat'''
|-
! Ilmaisu !! Merkitys !! Vastaava hakasulkuilmaus
|-
| <tt>\w</tt> || Mikä tahansa aakkonen a-z, numero tai alaviiva <tt>_</tt>. || <tt>[a-zA-Z0-9_]</tt>
|-
| <tt>\W</tt> || Äskeisen vastakohta; mikä tahansa muu kuin aakkonen a-z, numero tai alaviiva. || <tt>[^a-zA-Z0-9_]</tt>
|-
| <tt>\s</tt> || Mikä tahansa tyhjä merkki (esim. välilyönti tai tabulaattori) || esim. <tt>[ \t]</tt>, jossa <tt>\t</tt> tabulaattorimerkki
|-
| <tt>\S</tt> || Äskeisen vastakohta; mikä tahansa ei-tyhjä merkki || esim. <tt>[^ \t]</tt>
|-
| <tt>\d</tt> || Mikä tahansa numero. || <tt>[0-9]</tt>
|-
| <tt>\D</tt> || Äskeisen vastakohta; mikä tahansa ei-numero. || <tt>[^0-9]</tt>
|}

Lauseke
\d+
vastaa siis kaikkia numeroita aivan siinä missä myös
[0-9]+

==Katso myös==
* [[Komentorivin perusteet]]
* [[Grep]] ja [[Awk]]
** [[Putki]]
* [[Ed]] ja [[Sed]]: tuki säännöllisille lausekkeille
* [[Vi]] ja [[vim]]: näiden graaffinen tila
* [[Emacs]]

==Aiheesta muualla==
*[[wikipedia:fi:säännöllinen lauseke|Säännöllinen lauseke]]
*[[wikipedia:fi:äärellinen automaatti|Äärellinen automaatti]]
*[[wikipedia:fi:pinoautomaatti|Pinoautomaatti]]
*[[wikipedia:fi:turingin kone|Turingin kone]]
*[http://www.ohjelmointiputka.net/opas.php?tunnus=phpsl Säännölliset lausekkeet PHP:ssä] -opas Ohjelmointiputkassa
*[http://swtch.com/~rsc/regexp/regexp1.html Regular Expression Matching Can Be Simple And Fast]: Keskustelua säännöllisten lausekkeiden toteutuksesta C-kielellä englanniksi.

[[Luokka:Käsitteet]]
[[Luokka:Komentorivi]]
[[Luokka:Perustietoa]]

Säännöllinen lauseke

2010-02-17T16:18:20Z

Ordyh: ehostus

'''Säännöllinen lauseke''' (engl. '''regular expression''', '''regexp''') on yksinkertainen merkkijonokieli, joka voi joko ''vastata'' tai ''olla vastaamatta'' jotain toista merkkijonoa. Linux- ja Unix-järjestelmissä säännöllisiä lauskkeista on suurta hyötyä [[komentorivi]]ä käytettäessä esimerkiksi merkkijonojen etsimis- ja korvaustoiminnoissa. Niiden voidaankin sanoa olevan [[putki]]ttamiseen yhdistettynä tärkeimpiä työkaluja, joita komentorivin edistynyt käyttö edellyttää.

Tässä artikkelissa on esitetty johdatus säännöllisiin lausekkeisiin siten, miten komentorivityöklu <tt>[[grep]]</tt> ne ymmärtää ''laajennettussa'' (engl. extended) tilassa. Kaikissa säännöllisten lausekkeiden toteutuksissa syntaksi ei kuitenkaan ole aivan sama. Perusoperaattorit (<tt>*</tt>, <tt>+</tt>, <tt>?</tt>, sulut) ovat kuitenkin ''universaaleja'', eli kaikki toteutukset tukevat niitä.

Säännöllisistä lausekkeista on yleisesti käytössä kolme tyyppiä: ''tavallinen'' (engl. basic), laajennettu (engl. extended) ja ''[[Perl]]-tyyppinen''. Varsinkin useassa järjestelmässä käytettäviä [[skripti|skriptejä]] kirjoitettaessa pitää olla huolellinen, mikäli käyttää tavallisesta poikkeavia ilmaisuja. Tässä ohjeessa esitetty syntaksi on yhteensopiva Linuxin [[GNU]]-grepin laajennetun syntaksin kanssa jollei toisin mainita.

Säännöllisiä lausekkeita ei pidä sekoittaa tiedostonimi-jokereihin ([[glob]]), joilla on samankaltainen toiminnallisuus (vrt. <tt>*</tt> ja <tt>.*</tt>).

== Teoriaa ==
Tietojenkäsittelytieteessä puhutaan [[wikipedia:fi:säännöllinen kieli|säännöllisestä kielestä]], joka voidaan tunnistaa [[wikipedia:fi:äärellinen automaatti|äärellisellä automaatilla]]. Säännöllisten lauskkeiden historia juontaa juurensa siten 50- ja 60-luvuille [[wikipedia:fi:tietojenkäsittelytiede|tietojenkäsittelytieteen]] syntyaikohiin. [[Unix]]-järjestelmissä säännöllisiä lausekkeita on voinut hyödyntää aina ensimmäisistä versioista lähtien. Ensimmäinen grep-ohjelma kirjoitettiin ilmeisesti vuonna 1973.[http://www.columbia.edu/~rh120/ch001j.c11]

Säännöllisiä lausekkeita voi hyödyntää monissa ohjelmointikielissä (mm. Perl, Java, Python, ECMAScript). Mille tahansa [[wikipedia:en:Turing complete|Turing-täydelliselle]] ohjelmointikielelle voidaan myös aina kirjoittaa säännöllisten lausekkeiden [[wikipedia:fi:Ohjelmointikielen tulkki|tulkki]].

== Johdatus säännöllisiin lausekkeisiin ==

===Perusteet===
Säännöllinen lauseke joko ''vastaa'' tai ''ei vastaa'' merkkijonoa. Kutsutaan säännöllistä lauseketta ''lausekkeeksi'' ja merkkijonoa, jonka vastaavuus lausekkeeseen halutaan selvittää, ''kohteeksi''.

Lausekkeen yksinkertaiset kirjoitusmerkit vastaavat yksi-yhteen kohteen kirjoitusmerkkejä. Tämän vuoksi lauseke
abba
vastaa yllätyksettömästi kohdetta
'''abba'''
mutta ei kohdetta
bono

Yleensä (mm. grep ja awk) katsotaan, että kohteen alussa ja lopussa voi olla mielivaltainen määrä ei-vastaavia merkkejä. Tällöin kohde (s.o. näiden komentojen tapauksessa ''rivi'') vastaa lauseketta, jos edes jokin sen ''osa'' vastaa lauseketta. Siis grep ja awk -yhteydessä lauseke
abba
vastaa kohdetta
bo'''abba'''bo
ja
dada'''abba'''gada
mutta ei silti kohdetta
b'''abb'''bab

===Operaattorit===
Yksi-yhteen vastaavien kirjoitusmerkkien lisäksi säännöllisissä lausekkeissa on mahdollisuus käyttää erilaisia ''operaattorimerkkejä'', joilla on lausekkeessa erikoismerkitys.

====Vaihtoehtoisuusoperaattori: <tt>|</tt>====
Näistä ensimmäinen on operaattori <tt>|</tt>, joka tarkoittaa ''vaihtelua'' tai ''alternointia'' (engl. alternation). Sen merkitys on sama kuin luonnollisen kielen sanalla "tai". Lauseke
omena|luumu
vastaa sekä kohteita
'''omena'''
että
'''luumu'''
Kun lisäksi muistamme yltä, että komentorivityökalujen tapauksessa kohde voi sisältää ei-vastaavia merkkejä sekä alussa että lopussa, vastaa ylläoleva lauseke <tt>omena|luumu</tt> myös merkkijonoja
uuni'''omena'''
tai
'''luumu'''soppa
Huomaa kuitenkin, että seuraavassa kohteessa vain ensimmäinen esiintymä vastaa lauseketta
kotimainen '''omena'''-luumuhillo

====Toisto-operaattorit====
Merkeillä <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja ilmaisulla <tt>{n,m}</tt> on säännöllisissä lausekkeissa erikoismerkitys, joka vaikuttaa niitä ''välittömästi edeltävään'' merkkiin.

=====Mielivaltaisen monta: <tt>*</tt>=====
Operaattori <tt>*</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, tai ei kertaakaan"''. Siten lauseke
ab*a
vastaa kaikkia seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
'''aa'''
mutta ei seuraavia:
'''a'''cccca
bba

Todettakooon, että selvästi b-merkkien määrä kohteessa voi olla mielivaltainen, joten eri vastaavia kohdemerkkijonoja on olemassa myös ääretön määrä.

=====Vähintään yksi: <tt>+</tt>=====
Operaattori <tt>+</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, mutta vähintään kerran"''. Siten lauseke
ab+a
vastaa seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
mutta ei seuraavia:
'''a'''a
'''a'''cccca
bba

=====Ehdollinen: <tt>?</tt>=====
Operaattori <tt>?</tt> tarkoittaa ''"edellinen kerran, tai ei kertaakaan''". Siten lauseke
ab?a
vastaa seuraavia kohteita:
'''aba'''
'''aa'''
mutta ei mitään seuraavista:
'''ab'''bbbbbbbbbbbbbbbba
'''ab'''bba
'''ab'''ba
'''a'''cccca
bba

=====n:stä m:n kertaan: <tt>{n, m}</tt>=====
Aina yllä olevat operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> eivät riitä, vaan jotain merkkiä tarvitsee vastata juuri tietyn määrän toistoja. Voitaisiin toki kirjoittaa
aaaa?a?
jos halutaan vastata
aaa
aaaa
aaaaa
mutta voidaan kirjoittaa lyhyemmin
a{3,5}
Tämä tarkoittaa, että edeltävää merkkiä <tt>a</tt> voi esiintyä kolmesta viiteen kertaan. Käytetään yleisesti tästä ilmaisusta mallia <tt>{n,m}</tt>, jossa <tt>n</tt> ja <tt>m</tt> ovat mielivaltaisia kokonaislukuja, tarkoittaen ''"n:stä m:n kertaan"''.

Kumpi tahansa numeroista <tt>n</tt> ja <tt>m</tt> voidaan jättää pois. Täten ilmaisu
{n}
tarkoittaa ''"tasan n kertaa"'. Ilmaisu
{n,}
tarkoittaa ''"vähintään n kertaa"''. Ilmaisu
{,m}
tarkoittaa ''"korkeintaan m kertaa"''.

Sivuhuomatuksena todettakoon, että yllä olevan perusteella lyhyemmät operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> voitaisiin aina korvata ilmaisuilla <tt>{0,}</tt>, <tt>{1,}</tt> ja <tt>{0,1}</tt> vastaavasti. {m,n}-muoto on kuitenkin uudempi laajennos, joka ei toimi kaikissa ohjelmassa.

'''Huom!''' Operaattori <tt>{n,m}</tt> ei ole tuettu kaikissa säännöllisten lausekkeiden toteutuksissa. GNU grep tukee niitä laajennetussa tilassa (<tt>egrep</tt>).

===== Huomautuksia =====
Operaattoreita voi yhdistää mielivaltaisesti toisiinsa. Siten lauseke
hur+a*!*
vastaavaa kaikkia seuraavia kohteita:
'''hur'''
'''hurr'''
'''hurra'''
'''hurraa'''
'''hurraa!'''
'''hurrraaa!!!!'''
jne.

Toisaalta lauseke ''ei vastaa'' mitään seuraavista kohteista:
burraa!
'''hu'''aa!!
'''hu'''uuurraa!!
'''hurr'''urrur!!
jne.

Tässä vaiheessa on hyvä varmistaa, että ymmärtää edellä esitetyn esimerkin kokonaisuudessaan.

===Sulut: <tt>(</tt> ja <tt>)</tt>===
'''Kysymys:''' Jos halutaan vastata kohdetta <tt>hUrrUrrUrr</tt> siten, että merkkijono <tt>Urr</tt> voi esiintyä kohteessa äärettömän monta kertaa, miten tulee toimia?

'''Vastaus:''' Tämä on mahdotonta tähän mennessä esitetyillä operaattoreilla. Voisimme toki kirjoittaa <tt>hU+r+r+</tt> tai vastaavaa, mutta tämä vastaisi vain kohteita kuten <tt>hUUrrrr</tt>. Tarvitsemme selvästi uuden operaattorin; ''sulut''.

Merkeillä <tt>(</tt> ja <tt>)</tt> voidaan määrittää lausekkeen osia, jotka samaan tapaan kuin koulumatematiikassa lasketaan ''ennen'' laskun muita osia. Koska säännöllisissä lausekkeissa ei kuitenkaan lasketa mitään, havainnollistetaan sulkujen merkitystä esittämällä ratkaisu yllä olevaan kysymykseen.

Lauseke
h(Urr)+
vastaa kohteita
'''hUrr'''
'''hUrrUrr'''
'''hUrrUrrUrr'''
'''hUrrUrrUrrUrr'''
jne. jne. Lauseke ei vastaa seuraavia kohteita:
'''h'''Arr
'''h'''Err
burr

Samoin kohde
'''hUr'''
näyttää oikealta, mutta jää kuitenkin liian lyhyeksi, sillä sulkujen sisältö on löydyttävä kohteesta aina ''kokonaan''. Siksi kohde <tt>hUr</tt> ei vastaa lauseketta <tt>h(Urr)+</tt>.

====Esimerkkejä====

Sulkuja voi yhdistellä mielivaltaisesti kaikkiin operaattoreihin <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja <tt>|</tt>. Seuraavassa on annettu sarja lausekkeita, sekä esimerkkejä kutakin vastaavista ja vastaamattomista kohteista:

Lauseke
d(ii)?pada+(pa|ba)?
vastaa esimerkiksi seuraavia kohteita
'''diipadaaba'''
'''diipadaapa'''
'''dpadaapa'''
'''dpadaaba'''
'''diipadaaaaapa'''
'''diipadaaaaaba'''
'''diipada'''
'''diipada'''
'''diipadaaa'''
'''diipadaaaa'''
mutta ei mitään seuraavista
'''di'''padaapa
'''diipad'''uu
'''diipad'''

Viimeinen esimerkki jää lyhyeksi, sillä merkki <tt>a</tt> on lausekkeessa pakollinen vähintään kerran.

Lauseke
(hi|ha|ho)+
vastaa mitä tahansa kohdetta, jossa esiintyy mikä tahansa määrä merkkijonoja <tt>hi</tt>, <tt>ha</tt> ja <tt>ho</tt> peräkkäin mielivaltaisen monta kertaa, kuitenkin vähintään kerran. Lauseke vastaa siis kaikkia seuraavia:
'''hi'''
'''ha'''
'''ho'''
'''hihi'''
'''haha'''
'''hiha'''
'''hoho'''
'''hihaho'''
'''hahohihohahi'''
mutta ei
'''h'''e
'''h'''u
'''h'''uhu
'''h'''ehe

===Yhtä merkkiä vastaavat erikoismerkit===
Säännöllisissä lausekkeissa voi esiintyä myös joitain erikoismerkkejä, jotka eivät ole operaattoreita, eli ne eivät vaikuta niitä edeltäviin sulkuihin tai merkkeihin. Ne voitaisiin aina kirjoittaa lausekkeilla muotoa
(merkki1|merkki2|merkki3|merkki4|...|merkkiN)
mutta tämä on varsin työlästä ja epäselkeää. Siksi säännöllisissä lausekkeissa on joitain erikoismerkkejä, jotka ovat oikopolkuja monimutkaisten vaihtoehtoisuuslausekkeiden kirjoittamiseen.

====Jokerimerkki: <tt>.</tt>====
Merkillä <tt>.</tt> (piste) on erikoismerkitys. Se vastaa aina ''mitä tahansa'' merkkiä. Lauseke
.*
vastaa siis kaikkia mahdollisia kohteita - jopa tyhjää merkkijonoa, sillä operaattori <tt>*</tt> tarkoittaa, että erikoisoperaattori "mikä tahansa merkki" voi esiintyä myös nolla kertaa.

Lauseke
(h.)+
vastaa siten kaikkia seuraavista:
'''ha'''
'''he'''
'''hi'''
'''hy'''
'''hr'''
'''hihrhy'''
mutta ei
rh
ah
oh
ih
'''h'''
Viimeinen esimerkki jää jälleen lyhyeksi, sillä <tt>.</tt> ei vastaa kuitenkaan "tyhjää" merkkiä.

Lauseke
.upu
vastaa
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''
mutta myös
'''supu'''
mutta ei
sepe

====Merkkiluokat: <tt>[]</tt>====
Jos halutaan korjata ylläoleva Ankanpoika-esimerkki, voitaisiin kirjoittaa:
(t|h|l|T|H|L)upu
joka vastaisi vain ja ainoastaan:
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''

Merkkien <tt>[]</tt> avulla voidaan määritellä kirjainluokkia siten, että seuraava merkki kohteessa vastaa vain ja ainoastaan jotain hakasulkujen välissä olevaa kirjainta. Siten äskeistä täysin vastaa lauseke on
[thlTHL]upu

Hakasulkujen välissä voidaan myös määritellä [[lokaali]]n aakkoston mukaisia välejä väliviivalla <tt>-</tt>. Tällöin
19[4-9][0-9]|20[0-9][0-9]
vastaa kaikkia vuosilukuja välillä 1940-2099. Samoin
Osasto [A-I]
vastaa
'''Osasto A'''
'''Osasto B'''
'''Osasto C'''
...
'''Osasto H'''
'''Osasto I'''
mutta ei
'''Osasto '''J

On huomioitavaa, että myös kohteet ”Osasto b” tai ”Osasto È” saattavat vastata yllä esitettyä lausketta joissain [[lokaali|lokaaleissa]].

Jos merkki <tt>-</tt> halutaan sisällyttää hakasulkuilmaisuun, se jätetään viimeiseksi. Esim.
Ala[ -]aste
vastaa
'''Ala aste'''
'''Ala-aste'''

Jos oikea hakasulku (<tt>]</tt>) halutaan sisällyttää hakasulkuilmaukseen, se laitetaan hakasulkujen ensimmäiseksi merkiksi. Esim.
[]abcdef]+
vastaa
'''a'''
'''b'''
''']'''
'''ab]'''
'''d]f'''
jne., mutta ei
[gi
zo

Hakasulkuilmaisusn merkitys voidaan kääntää asettamalla hattu <tt>^</tt> sen ensimmäiseksi merkiksi. Tällöin hakasulkuilmaisu vastaa mitä tahansa hakasuluissa '''ei''' esiintyvää merkkiä kohteessa. Täten lauseke
[^aeiouyåäö]+
vastaa mitä tahansa pelkistä konsonanteista, välimerkeistä ja numeroista koostuvaa kohdetta, kuten
'''prrr'''
'''123'''
'''hkr'''
'''brr-hrr'''
jne. Mutta ei
au
aiai
jne.

Grepin hyväksymissä säännöllisissä lausekkeissa merkin <tt>^</tt> voi sisällyttää hakasulkuilmaukseen laittamalla sen miksi tahansa muuksi merkiksi, kuin hakasulkujen ensimmäinen merkki. Tämä ei pidä välttämättä paikkaansa kuitenkaan kaikilla säännöllisten lausekkeiden toteutuksilla, vaan hattumerkin eteen on mahdollisesti laitettava pako-operaattori <tt>\</tt>.

=====POSIX-merkkiluokat=====
Joitain erikoismerkkiluokkia on määrätty ennakkoon grepissä. Esimerkiksi
*<tt><nowiki>[:digit:]</nowiki></tt> vastaa mitä tahansa numeroa
*<tt><nowiki>[:alpha:]</nowiki></tt> vastaa mitä tahansa kirjainta
*<tt><nowiki>[:alnum:]</nowiki></tt> vastaa mitä tahansa kirjainta tai numeroa
*<tt><nowiki>[:space:]</nowiki></tt> vastaa mitä tahansa tyhjää (esim. välilyönti, tabulaattori) merkkiä

Muita tällaisia ovat <tt><nowiki>[:lower:]</nowiki></tt>, <tt><nowiki>[:upper:]</nowiki></tt>, <tt><nowiki>[:xdigit:]</nowiki></tt>, <tt><nowiki>[:blank:]</nowiki></tt>, <tt><nowiki>[:punct:]</nowiki></tt>, <tt><nowiki>[:print:]</nowiki></tt>, <tt><nowiki>[:cntrl:]</nowiki></tt> ja <tt><nowiki>[:graph:]</nowiki></tt>.

Merkkiluokat tulee laittaa lisäksi ulompien hakasulkujen <tt>[]</tt> sisään. Esimerkiksi
<nowiki>[[:upper:]]</nowiki>+
joka vastaa yleensä ilmaisua
[A-Z]+
eli mielivaltainen (vähintään yksi) määrä isoja kirjaimia A-Z.

'''Huom!''' Merkkiluokkia käytettäessä on huomioitava, että käytetty lokaali vaikuttaa ratkaisevasti siihen, mitä merkkejä luokkaan sisältyy. Siksi niitä ei voi käyttää tietoturvatarkistuksiin muuta kuin ennalta tiedetyillä lokaaleilla.

====Pako-operaattori: <tt>\</tt>====
Jos halutaan vastata jotain merkkiä, joka on määritelty operaattoriksi säännöllisissä lausekkeissa, sitä ei voida kirjoittaa sellaisenaan lausekkeeseen. Jos halutaan vastata tarkalleen jotain seuraavista
Mitä?
Missä?
Milloin?
ei voida kirjoittaa lauseketta
(Mi(tä|ssä|lloin))?
koska kysymysmerkki <tt>?</tt> lopussa vain ehdollista koko ulomman sulkuilmaisun, ja koko lauseke vastaisi siis vain joko tyhjää merkkijonoa tai kysymysmerkitöntä kysymyssanaa.

Tarvitaan pako-operaattoria <tt>\</tt>. Merkin <tt>?</tt> tai ylipäänsä minkä tahansa opraattorimerkin erikoismerkityksen voi poistaa asettamalla sen eteen kenoviivan. Tällöin kenoviivaa välittömästi seuraava merkki täytyy esiintyä kohteessa sellaisenaan. Oikea tapa kirjoittaa yllä oleva lauseke olisi siten
(Mi(tä|ssä|lloin))\?
Tämä vastaa vain ja ainoastaan haluttuja merkkijonoja.

Seuraavat operaattorit on merkittävä pako-operaattorilla, jos niitä ei haluta tulkittavan erikoismerkeiksi:
( ) | * + ? { } [ ] ^ $ \

Siis, jos halutaan vastata kohteessa kenoviivaa, on kirjoitettava <tt>\\</tt>. Esimerkiksi Windows-polku:
''<asema>'':\Dokumentit\''<nimi>''.(doc, docx tai odt)
voidaan löytää esim. seuraavalla säännöllisellä lausekkeella:
[A-Z]:\\Dokumentit\\[a-öA-Ö0-9 _-]+\.(doc|docx|odt)

=== Rivin alku ja loppu: <tt>^</tt> ja <tt>$</tt>===
On voinut herätä kysymys, kuinka voidaan vastata kohdetta (s.o. riviä) ''tarkalleen''. Heti alussa selvisi, että esim grepin mielestä kohde (rivi) vastaa lauseketta, jos lauseke esiintyy missä tahansa kohdassa riviä. Jos halutaan, että lauseke vastaa alusta loppuun tarkalleen koko riviä, on otettava käyttöön erikoismerkit <tt>^</tt> ja <tt>$</tt>. Nämä vastaavat kohteessa rivin tai merkkijonon alkua ja loppua kuvaavia "näkymättömiä" merkkejä vastaavasti. Siten
^abba$
vastaa vain riviä
'''abba'''
mutta ei esimerkiksi
babba
abbab
babbab
'''ab'''a
'''abb'''bba
^abba
'''abba'''$
^abba$

==== Esimerkki ====

Merkit <tt>^</tt> ja <tt>$</tt> antavat viimeisen silauksen grepin tehokkaaseen hyödyntämiseen. Nyt esimerkiksi, jos tulostetaan kaikki [[prosessi]]t komennolla <tt>[[ps]] -ef</tt>, saadaan yleensä jokseenkin tälläinen listaus (esimerkissä palvelinkone):

$ ps -ef
UID PID PPID C STIME TTY TIME CMD
root 1 0 0 Jan21 ? 00:00:34 init [2]
root 1425 1 0 Jan31 ? 00:00:00 /usr/sbin/xinetd
qmails 3986 1 0 Jan21 ? 00:00:00 qmail-send
qmaill 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
root 3993 3986 0 Jan21 ? 00:00:00 qmail-lspawn | /usr/bin/deliverquota ./Maildir
qmailr 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
qmailq 3995 3986 0 Jan21 ? 00:00:00 qmail-clean
root 5566 1 0 Jan21 ? 00:00:05 /usr/sbin/apache2 -k start
root 6091 1 0 Jan21 ? 00:00:03 /usr/sbin/cron
www-data 15379 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
www-data 15386 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
root 21684 32395 0 20:37 ? 00:00:00 sshd: user [priv]
user 21688 21684 0 20:37 ? 00:00:00 sshd: user@pts/1
user 21689 21688 0 20:37 pts/1 00:00:00 -bash
user 21705 21689 0 20:37 pts/1 00:00:00 ps -ef
syslog 32279 1 0 Jan21 ? 00:00:07 /sbin/syslogd -u syslog
bind 32351 1 0 Jan31 ? 00:00:00 /usr/sbin/named
root 32395 1 0 Jan21 ? 00:00:22 /usr/sbin/sshd
(... jne ...)

Jos haluamme ylläolevasta listasta vain "qmail" -alkuisten [[käyttäjä|käyttäjien]] prosessit, voisimme kirjoittaa
ps -ef | grep qmail
Tämä kuitenkin tulostaa myös kaikki sellaiset prosessit, joiden nimikentässä esiintyy "qmail" – joukossa myös käyttäjän [[root]] prosesseja vastoin alkuperäistä tarkoitusta:
$ ps -ef | grep qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 '''qmail'''-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger '''qmail''' 2
root 3993 3986 0 Jan21 ? 00:00:00 '''qmail'''-lspawn | /usr/bin/deliverquota ./Maildir
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 '''qmail'''-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 '''qmail'''-clean

Ratkaisu qmail -alkuisten käyttäjien prosessien listaamiseen on:
$ ps -ef | grep ^qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 qmail-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 qmail-clean

Hattumerkki <tt>^</tt> alussa vastaa jokaisen listausrivin alkua, jota pitää välittömästi seurata merkkijono <tt>qmail</tt>, ja tämän jälkeen voi tulla mikä tahansa merkkejä, koska loppumerkkiä ei ole tarkoituksella annettu. Grep tulostaa vain lausketta vastaavat rivit, ja tulos on haluttu.

===== Pako komentotulkista =====
Jos halutaan antaa jokin monimutkaisempi ilmaisu, on hyvä asettaa säännöllinen lauseke yksinkertaisten heittomerkkien <tt>'</tt> sisään, jotta ne regexp-operaattorit, joillla on jokin erikoismerkitys [[komentotulkki|komeotulkissa]] eivät aiheuta ongelmia.
$ echo moi | egrep m(o|a)i
-bash: syntax error near unexpected token `('
Sululla <tt>(</tt> on erikoismerkitys komentotulkissa, samoin merkillä <tt>[[putki||]]</tt>. Ratkaisu:
$ echo moi | egrep 'm(o|a)i'
moi

===== Laajennetut säännölliset lausekkeet: egrep =====
Esimerkissä käytettiin komentoa <tt>egrep</tt>. Se on oikopolku grepin [[valitsin|valitsimelle]] <tt>-E</tt>, joka ottaa säännöllisten lausekkeiden laajennetun (engl. extended) tuen käyttöön. Normaalissa käytössä (pelkkä komento <tt>grep</tt>) operaattorit <tt>? + {} | (</tt> ja <tt>)</tt> eivät ole käytettävissä, paitsi asettamalla niiden eteen pako-operaattorin <tt>\</tt>.

===== Prosessoitu tuloste: awk =====
Jos ylläolevassa prosessilistausesimerkissä halutaan tulostaa pelkät prosessien [[PID]]-numerot, voidaan käyttää [[awk]]-työkalua seuraavasti:
$ ps -ef | awk '/^qmail/ { print $2 }'
3986
3990
3994
3995

== Esimerkkejä lausekkeista ==
Web-kuva:
[^ ]+\.(png|PNG|jpg|JPG|jpeg|JPEG|gif|GIF)
Päivämäärä muotoa pp.kk.vvvv:
[0-9]{1,2}\.[0-9]{1,2}\.[0-9]{4}
2-merkkinen [[wikipedia:fi:heksadesimaalijärjestelmä|heksadesimaali]]:
[0-9A-Fa-f]{2}
Sähköpostiosoite:
[a-zA-Z0-9_]+@[a-zA-Z0-9_\.]+\.[a-zA-Z]{2,3}

== Laajennukset ==
Lukuunottamatta operaattoria <tt>{n,m}</tt> ja POSIX-luokkia (<tt>[[:luokka:]]</tt> jne.) yllä esitetty on pitkälti universaalisti tuettua säännöllisten lausekkeiden eri toteutuksissa. Monissa toteutuksissa on kuitenkin tehty laajennuksia tähän, mutta esim. [[grep]] ei tue seuraavia.

=== Pakoluokat ===
Jos halutaan kirjoittaa lauseke, joka jossain kohtaa vastaa mitä tahansa numeromerkkiä, voidaan kirjoittaa hakasulkuilmaus <tt>[0-9]</tt>. Tälläisille yleisesti käytetyille luokille on kuitenkin olemassa laajennuksissa helpompia nimiä. Kutsutaan näitä ''pakoluokiksi''. Ne muistuttavat läheisesti [[#POSIX-merkkiluokat|POSIX-merkkiluokkia]], mutta ovat lyhyempiä.

{| style="border-style: solid; border-collapse: collapse" border="1"
|+'''Pakoluokat'''
|-
! Ilmaisu !! Merkitys !! Vastaava hakasulkuilmaus
|-
| <tt>\w</tt> || Mikä tahansa aakkonen a-z, numero tai alaviiva <tt>_</tt>. || <tt>[a-zA-Z0-9_]</tt>
|-
| <tt>\W</tt> || Äskeisen vastakohta; mikä tahansa muu kuin aakkonen a-z, numero tai alaviiva. || <tt>[^a-zA-Z0-9_]</tt>
|-
| <tt>\s</tt> || Mikä tahansa tyhjä merkki (esim. välilyönti tai tabulaattori) || esim. <tt>[ \t]</tt>, jossa <tt>\t</tt> tabulaattorimerkki
|-
| <tt>\S</tt> || Äskeisen vastakohta; mikä tahansa ei-tyhjä merkki || esim. <tt>[^ \t]</tt>
|-
| <tt>\d</tt> || Mikä tahansa numero. || <tt>[0-9]</tt>
|-
| <tt>\D</tt> || Äskeisen vastakohta; mikä tahansa ei-numero. || <tt>[^0-9]</tt>
|}

Lauseke
\d+
vastaa siis kaikkia numeroita aivan siinä missä myös
[0-9]+

==Katso myös==
* [[Komentorivin perusteet]]
* [[Grep]] ja [[Awk]]
** [[Putki]]
* [[Ed]] ja [[Sed]]: tuki säännöllisille lausekkeille
* [[Vi]] ja [[vim]]: näiden graaffinen tila
* [[Emacs]]

==Aiheesta muualla==
*[[wikipedia:fi:säännöllinen lauseke|Säännöllinen lauseke]]
*[[wikipedia:fi:äärellinen automaatti|Äärellinen automaatti]]
*[[wikipedia:fi:pinoautomaatti|Pinoautomaatti]]
*[[wikipedia:fi:turingin kone|Turingin kone]]
*[http://www.ohjelmointiputka.net/opas.php?tunnus=phpsl Säännölliset lausekkeet PHP:ssä] -opas Ohjelmointiputkassa
*[http://swtch.com/~rsc/regexp/regexp1.html Regular Expression Matching Can Be Simple And Fast]: Keskustelua säännöllisten lausekkeiden toteutuksesta C-kielellä englanniksi.

[[Luokka:Käsitteet]]
[[Luokka:Komentorivi]]
[[Luokka:Perustietoa]]

Last.fm

2010-02-17T14:08:55Z

Ordyh: -epävirallinen pakettilähde, tässä puhutaan virallisista paketeista

{{ Ohjelma
| nimi= Last.fm
| kuva=[[kuva: Lastfm.png|250px]]
| kuvateksti=
| lisenssi=avoin lähdekoodi
| käyttöliittymä=[[QT]]
| kotisivu=[http://www.last.fm www.last.fm]
}}

Last.fm soitin on mediasoitinohjelmisto, joka hyödyntää [http://www.last.fm Last.fm] nettiradiopalvelua.
Ohjelma on saatavissa Linux-, Windows- ja Mac OS X -käyttöjärjestelmille.

==Asennus==
===Ubuntu ja Debian===
Last.Fm löytyy [[Ubuntu]]n paketinhallinnasta nimellä lastfm. Lisätietoja ohjelmien asentamisesta löytyy artikkelista [[Ohjelmien asentaminen]].

Last.fm voi myös asentaa [[Ubuntu]]un ja [[Debian]]iin ottamalla käyttöön epävirallisen [[apt]]-pakettilähteen. [http://apt.last.fm/ Kotisivulta] löytyvillä ohjeilla ja asentamalla tämän jälkeen paketin <tt>lastfm</tt>. Lisätietoja ohjelmien asentamisesta löytyy artikkelista [[Ohjelmien asentaminen]].

===Asennus lähdekoodeista===
Kopioi Last.fm lähdekoodipaketti [http://www.last.fm/download kotisivulta].
ja pura se komentorivi komennolla.

tar last.fm-1.4.2.58240.src.tar.bz2

Huomioi [[Qt]]:n <tt>qt-devel</tt> ja <tt>qt-config</tt> paketit ovat asennettu.

Tämän jälkeen ohjelma täytyy [[Kääntäminen|kääntää]] [[komentorivi]]llä komennoilla:
./configure
[[make]]
make install

===Kehitysversion asentaminen===
Kehitysversion [[lähdekoodi]]n voi hakea ohjelmiston [[Svn]]-[[versionhallinta|versionhallinnasta]] komennolla

svn://svn.audioscrobbler.net/clientside/Last.fm

Tämän jälkeen ohjelma täytyy [[Kääntäminen|kääntää]] [[komentorivi]]llä komennoilla:
./configure
[[make]]

[[Luokka:Multimedia]]

Säännöllinen lauseke

2010-02-17T00:33:56Z

Ordyh: /* Esimerkki */ fix

'''Säännöllinen lauseke''' (engl. '''regular expression''', '''regexp''') on yksinkertainen merkkijonokieli, joka voi joko ''vastata'' tai ''olla vastaamatta'' jotain toista merkkijonoa. Linux- ja Unix-järjestelmissä säännöllisiä lauskkeista on suurta hyötyä [[komentorivi]]ä käytettäessä, mm. komennoissa [[awk]] ja [[grep]]. Niiden voidaankin sanoa olevan [[putki]]ttamiseen yhdistettynä tärkeimpiä työkaluja, joita komentorivin edistynyt käyttö edellyttää.

== Teoriaa ==
Tietojenkäsittelytieteessä puhutaan [[wikipedia:fi:säännöllinen kieli|säännöllisestä kielestä]], joka voidaan tunnistaa [[wikipedia:fi:äärellinen automaatti|äärellisellä automaatilla]]. Säännöllisiä lausekkeita käytetään myös monissa ohjelmointikielissä (mm. Perl, Java, Python, ECMAScript). Mille tahansa [[wikipedia:en:Turing complete|Turing-täydelliselle]] ohjelmointikielelle voidaan kuitenkin aina kirjoittaa säännöllisten lausekkeiden [[wikipedia:fi:Ohjelmointikielen tulkki|tulkki]].

== Johdatus säännöllisiin lausekkeisiin ==

===Perusteet===
Säännöllinen lauseke joko ''vastaa'' tai ''ei vastaa'' merkkijonoa. Kutsutaan säännöllistä lauseketta ''lausekkeeksi'' ja merkkijonoa, jonka vastaavuus lausekkeeseen halutaan selvittää, ''kohteeksi''.

Lausekkeen yksinkertaiset kirjoitusmerkit vastaavat yksi-yhteen kohteen kirjoitusmerkkejä. Tämän vuoksi lauseke
abba
vastaa yllätyksettömästi kohdetta
'''abba'''
mutta ei kohdetta
bono

Yleensä (mm. grep ja awk) katsotaan, että kohteen alussa ja lopussa voi olla mielivaltainen määrä ei-vastaavia merkkejä. Tällöin kohde (s.o. näiden komentojen tapauksessa ''rivi'') vastaa lauseketta, jos edes jokin sen ''osa'' vastaa lauseketta. Siis grep ja awk -yhteydessä lauseke
abba
vastaa kohdetta
bo'''abba'''bo
ja
dada'''abba'''gada
mutta ei silti kohdetta
b'''abb'''bab

===Operaattorit===
Yksi-yhteen vastaavien kirjoitusmerkkien lisäksi säännöllisissä lausekkeissa on mahdollisuus käyttää erilaisia ''operaattorimerkkejä'', joilla on lausekkeessa erikoismerkitys.

====Vaihtoehtoisuusoperaattori: <tt>|</tt>====
Näistä ensimmäinen on operaattori <tt>|</tt>, joka tarkoittaa ''vaihtelua'' tai ''alternointia'' (engl. alternation). Sen merkitys on sama kuin luonnollisen kielen sanalla "tai". Lauseke
omena|luumu
vastaa sekä kohteita
'''omena'''
että
'''luumu'''
Kun lisäksi muistamme yltä, että komentorivityökalujen tapauksessa kohde voi sisältää ei-vastaavia merkkejä sekä alussa että lopussa, vastaa ylläoleva lauseke <tt>omena|luumu</tt> myös merkkijonoja
uuni'''omena'''
tai
'''luumu'''soppa
Huomaa kuitenkin, että seuraavassa kohteessa vain ensimmäinen esiintymä vastaa lauseketta
kotimainen '''omena'''-luumuhillo

====Toisto-operaattorit====
Merkeillä <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja ilmaisulla <tt>{n,m}</tt> on säännöllisissä lausekkeissa erikoismerkitys, joka vaikuttaa niitä ''välittömästi edeltävään'' merkkiin.

=====Mielivaltaisen monta: <tt>*</tt>=====
Operaattori <tt>*</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, tai ei kertaakaan"''. Siten lauseke
ab*a
vastaa kaikkia seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
'''aa'''
mutta ei seuraavia:
'''a'''cccca
bba

Todettakooon, että selvästi b-merkkien määrä kohteessa voi olla mielivaltainen, joten eri vastaavia kohdemerkkijonoja on olemassa myös ääretön määrä.

=====Vähintään yksi: <tt>+</tt>=====
Operaattori <tt>+</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, mutta vähintään kerran"''. Siten lauseke
ab+a
vastaa seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
mutta ei seuraavia:
'''a'''a
'''a'''cccca
bba

=====Ehdollinen: <tt>?</tt>=====
Operaattori <tt>?</tt> tarkoittaa ''"edellinen kerran, tai ei kertaakaan''". Siten lauseke
ab?a
vastaa seuraavia kohteita:
'''aba'''
'''aa'''
mutta ei mitään seuraavista:
'''ab'''bbbbbbbbbbbbbbbba
'''ab'''bba
'''ab'''ba
'''a'''cccca
bba

=====n:stä m:n kertaan: <tt>{n, m}</tt>=====
Aina yllä olevat operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> eivät riitä, vaan jotain merkkiä tarvitsee vastata juuri tietyn määrän toistoja. Voitaisiin toki kirjoittaa
aaaa?a?
jos halutaan vastata
aaa
aaaa
aaaaa
mutta voidaan kirjoittaa lyhyemmin
a{3,5}
Tämä tarkoittaa, että edeltävää merkkiä <tt>a</tt> voi esiintyä kolmesta viiteen kertaan. Käytetään yleisesti tästä ilmaisusta mallia <tt>{n,m}</tt>, jossa <tt>n</tt> ja <tt>m</tt> ovat mielivaltaisia kokonaislukuja, tarkoittaen ''"n:stä m:n kertaan"''.

Kumpi tahansa numeroista <tt>n</tt> ja <tt>m</tt> voidaan jättää pois. Täten ilmaisu
{n}
tarkoittaa ''"tasan n kertaa"'. Ilmaisu
{n,}
tarkoittaa ''"vähintään n kertaa"''. Ilmaisu
{,m}
tarkoittaa ''"korkeintaan m kertaa"''.

Sivuhuomatuksena todettakoon, että yllä olevan perusteella lyhyemmät operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> voitaisiin aina korvata ilmaisuilla <tt>{0,}</tt>, <tt>{1,}</tt> ja <tt>{0,1}</tt> vastaavasti.

===== Huomautuksia =====
Operaattoreita voi yhdistää mielivaltaisesti toisiinsa. Siten lauseke
hur+a*!*
vastaavaa kaikkia seuraavia kohteita:
'''hur'''
'''hurr'''
'''hurra'''
'''hurraa'''
'''hurraa!'''
'''hurrraaa!!!!'''
jne.

Toisaalta lauseke ''ei vastaa'' mitään seuraavista kohteista:
burraa!
'''hu'''aa!!
'''hu'''uuurraa!!
'''hurr'''urrur!!
jne.

Tässä vaiheessa on hyvä varmistaa, että ymmärtää edellä esitetyn esimerkin kokonaisuudessaan.

===Sulut: <tt>(</tt> ja <tt>)</tt>===
'''Kysymys:''' Jos halutaan vastata kohdetta <tt>hUrrUrrUrr</tt> siten, että merkkijono <tt>Urr</tt> voi esiintyä kohteessa äärettömän monta kertaa, miten tulee toimia?

'''Vastaus:''' Tämä on mahdotonta tähän mennessä esitetyillä operaattoreilla. Voisimme toki kirjoittaa <tt>hU+r+r+</tt> tai vastaavaa, mutta tämä vastaisi vain kohteita kuten <tt>hUUrrrr</tt>. Tarvitsemme selvästi uuden operaattorin; ''sulut''.

Merkeillä <tt>(</tt> ja <tt>)</tt> voidaan määrittää lausekkeen osia, jotka samaan tapaan kuin koulumatematiikassa lasketaan ''ennen'' laskun muita osia. Koska säännöllisissä lausekkeissa ei kuitenkaan lasketa mitään, havainnollistetaan sulkujen merkitystä esittämällä ratkaisu yllä olevaan kysymykseen.

Lauseke
h(Urr)+
vastaa kohteita
'''hUrr'''
'''hUrrUrr'''
'''hUrrUrrUrr'''
'''hUrrUrrUrrUrr'''
jne. jne. Lauseke ei vastaa seuraavia kohteita:
'''h'''Arr
'''h'''Err
burr

Samoin kohde
'''hUr'''
näyttää oikealta, mutta jää kuitenkin liian lyhyeksi, sillä sulkujen sisältö on löydyttävä kohteesta aina ''kokonaan''. Siksi kohde <tt>hUr</tt> ei vastaa lauseketta <tt>h(Urr)+</tt>.

====Esimerkkejä====

Sulkuja voi yhdistellä mielivaltaisesti kaikkiin operaattoreihin <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja <tt>|</tt>. Seuraavassa on annettu sarja lausekkeita, sekä esimerkkejä kutakin vastaavista ja vastaamattomista kohteista:

Lauseke
d(ii)?pada+(pa|ba)?
vastaa esimerkiksi seuraavia kohteita
'''diipadaaba'''
'''diipadaapa'''
'''dpadaapa'''
'''dpadaaba'''
'''diipadaaaaapa'''
'''diipadaaaaaba'''
'''diipada'''
'''diipada'''
'''diipadaaa'''
'''diipadaaaa'''
mutta ei mitään seuraavista
'''di'''padaapa
'''diipad'''uu
'''diipad'''

Viimeinen esimerkki jää lyhyeksi, sillä merkki <tt>a</tt> on lausekkeessa pakollinen vähintään kerran.

Lauseke
(hi|ha|ho)+
vastaa mitä tahansa kohdetta, jossa esiintyy mikä tahansa määrä merkkijonoja <tt>hi</tt>, <tt>ha</tt> ja <tt>ho</tt> peräkkäin mielivaltaisen monta kertaa, kuitenkin vähintään kerran. Lauseke vastaa siis kaikkia seuraavia:
'''hi'''
'''ha'''
'''ho'''
'''hihi'''
'''haha'''
'''hiha'''
'''hoho'''
'''hihaho'''
'''hahohihohahi'''
mutta ei
'''h'''e
'''h'''u
'''h'''uhu
'''h'''ehe

===Yhtä merkkiä vastaavat erikoismerkit===
Säännöllisissä lausekkeissa voi esiintyä myös joitain erikoismerkkejä, jotka eivät ole operaattoreita, eli ne eivät vaikuta niitä edeltäviin sulkuihin tai merkkeihin. Ne voitaisiin aina kirjoittaa lausekkeilla muotoa
(merkki1|merkki2|merkki3|merkki4|...|merkkiN)
mutta tämä on varsin työlästä ja epäselkeää. Siksi säännöllisissä lausekkeissa on joitain erikoismerkkejä, jotka ovat oikopolkuja monimutkaisten vaihtoehtoisuuslausekkeiden kirjoittamiseen.

====Jokerimerkki: <tt>.</tt>====
Merkillä <tt>.</tt> (piste) on erikoismerkitys. Se vastaa aina ''mitä tahansa'' merkkiä. Lauseke
.*
vastaa siis kaikkia mahdollisia kohteita - jopa tyhjää merkkijonoa, sillä operaattori <tt>*</tt> tarkoittaa, että erikoisoperaattori "mikä tahansa merkki" voi esiintyä myös nolla kertaa.

Lauseke
(h.)+
vastaa siten kaikkia seuraavista:
'''ha'''
'''he'''
'''hi'''
'''hy'''
'''hr'''
'''hihrhy'''
mutta ei
rh
ah
oh
ih
'''h'''
Viimeinen esimerkki jää jälleen lyhyeksi, sillä <tt>.</tt> ei vastaa kuitenkaan "tyhjää" merkkiä.

Lauseke
.upu
vastaa
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''
mutta myös
'''supu'''
mutta ei
sepe

====Merkkiluokat: <tt>[]</tt>====
Jos halutaan korjata ylläoleva Ankanpoika-esimerkki, voitaisiin kirjoittaa:
(t|h|l|T|H|L)upu
joka vastaisi vain ja ainoastaan:
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''

Merkkien <tt>[]</tt> avulla voidaan määritellä kirjainluokkia siten, että seuraava merkki kohteessa vastaa vain ja ainoastaan jotain hakasulkujen välissä olevaa kirjainta. Siten äskeistä täysin vastaa lauseke on
[thlTHL]upu

Hakasulkujen välissä voidaan myös määritellä aakkoston mukaisia välejä väliviivalla <tt>-</tt>. Tällöin
19[4-9][0-9]|20[0-9][0-9]
vastaa kaikkia vuosilukuja välillä 1940-2099. Samoin
Osasto [A-I]
vastaa
'''Osasto A'''
'''Osasto B'''
'''Osasto C'''
...
'''Osasto H'''
'''Osasto I'''
mutta ei
'''Osasto '''J

Jos merkki <tt>-</tt> halutaan sisällyttää hakasulkuilmaisuun, se jätetään viimeiseksi. Esim.
Ala[ -]aste
vastaa
'''Ala aste'''
'''Ala-aste'''

Jos oikea hakasulku (<tt>]</tt>) halutaan sisällyttää hakasulkuilmaukseen, se laitetaan hakasulkujen ensimmäiseksi merkiksi. Esim.
[]abcdef]+
vastaa
'''a'''
'''b'''
''']'''
'''ab]'''
'''d]f'''
jne., mutta ei
[gi
zo

Hakasulkuilmaisusn merkitys voidaan kääntää asettamalla hattu <tt>^</tt> sen ensimmäiseksi merkiksi. Tällöin hakasulkuilmaisu vastaa mitä tahansa hakasuluissa '''ei''' esiintyvää merkkiä kohteessa. Täten lauseke
[^aeiouyåäö]+
vastaa mitä tahansa pelkistä konsonanteista, välimerkeistä ja numeroista koostuvaa kohdetta, kuten
'''prrr'''
'''123'''
'''hkr'''
'''brr-hrr'''
jne. Mutta ei
au
aiai
jne.

Grepin hyväksymissä säännöllisissä lausekkeissa merkin <tt>^</tt> voi sisällyttää hakasulkuilmaukseen laittamalla sen miksi tahansa muuksi merkiksi, kuin hakasulkujen ensimmäinen merkki. Tämä ei pidä välttämättä paikkaansa kuitenkaan kaikilla säännöllisten lausekkeiden toteutuksilla, vaan hattumerkin eteen on mahdollisesti laitettava pako-operaattori <tt>\</tt>.

====Pako-operaattori: <tt>\</tt>====
Jos halutaan vastata jotain merkkiä, joka on määritelty operaattoriksi säännöllisissä lausekkeissa, sitä ei voida kirjoittaa sellaisenaan lausekkeeseen. Jos halutaan vastata tarkalleen jotain seuraavista
Mitä?
Missä?
Milloin?
ei voida kirjoittaa lauseketta
(Mi(tä|ssä|lloin))?
koska kysymysmerkki <tt>?</tt> lopussa vain ehdollista koko ulomman sulkuilmaisun, ja koko lauseke vastaisi siis vain joko tyhjää merkkijonoa tai kysymysmerkitöntä kysymyssanaa.

Tarvitaan pako-operaattoria <tt>\</tt>. Merkin <tt>?</tt> tai ylipäänsä minkä tahansa opraattorimerkin erikoismerkityksen voi poistaa asettamalla sen eteen kenoviivan. Tällöin kenoviivaa välittömästi seuraava merkki täytyy esiintyä kohteessa sellaisenaan. Oikea tapa kirjoittaa yllä oleva lauseke olisi siten
(Mi(tä|ssä|lloin))\?
Tämä vastaa vain ja ainoastaan haluttuja merkkijonoja.

Seuraavat operaattorit on merkittävä pako-operaattorilla, jos niitä ei haluta tulkittavan erikoismerkeiksi:
( ) | * + ? { } [ ] ^ $ \

Siis, jos halutaan vastata kohteessa kenoviivaa, on kirjoitettava <tt>\\</tt>. Esimerkiksi Windows-polku:
''<asema>'':\Dokumentit\''<nimi>''.(doc, docx tai odt)
voidaan löytää esim. seuraavalla säännöllisellä lausekkeella:
[A-Z]:\\Dokumentit\\[a-öA-Ö0-9 _-]+\.(doc|docx|odt)

=== Rivin alku ja loppu: <tt>^</tt> ja <tt>$</tt>===
On voinut herätä kysymys, kuinka voidaan vastata kohdetta (s.o. riviä) ''tarkalleen''. Heti alussa selvisi, että esim grepin mielestä kohde (rivi) vastaa lauseketta, jos lauseke esiintyy missä tahansa kohdassa riviä. Jos halutaan, että lauseke vastaa alusta loppuun tarkalleen koko riviä, on otettava käyttöön erikoismerkit <tt>^</tt> ja <tt>$</tt>. Nämä vastaavat kohteessa rivin tai merkkijonon alkua ja loppua kuvaavia "näkymättömiä" merkkejä vastaavasti. Siten
^abba$
vastaa vain riviä
'''abba'''
mutta ei esimerkiksi
babba
abbab
babbab
'''ab'''a
'''abb'''bba
^abba
'''abba'''$
^abba$

==== Esimerkki ====

Merkit <tt>^</tt> ja <tt>$</tt> antavat viimeisen silauksen grepin tehokkaaseen hyödyntämiseen. Nyt esimerkiksi, jos tulostetaan kaikki [[prosessi]]t komennolla <tt>[[ps]] -ef</tt>, saadaan yleensä jokseenkin tälläinen listaus (esimerkissä palvelinkone):

$ ps -ef
UID PID PPID C STIME TTY TIME CMD
root 1 0 0 Jan21 ? 00:00:34 init [2]
root 1425 1 0 Jan31 ? 00:00:00 /usr/sbin/xinetd
qmails 3986 1 0 Jan21 ? 00:00:00 qmail-send
qmaill 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
root 3993 3986 0 Jan21 ? 00:00:00 qmail-lspawn | /usr/bin/deliverquota ./Maildir
qmailr 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
qmailq 3995 3986 0 Jan21 ? 00:00:00 qmail-clean
root 5566 1 0 Jan21 ? 00:00:05 /usr/sbin/apache2 -k start
root 6091 1 0 Jan21 ? 00:00:03 /usr/sbin/cron
www-data 15379 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
www-data 15386 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
root 21684 32395 0 20:37 ? 00:00:00 sshd: user [priv]
user 21688 21684 0 20:37 ? 00:00:00 sshd: user@pts/1
user 21689 21688 0 20:37 pts/1 00:00:00 -bash
user 21705 21689 0 20:37 pts/1 00:00:00 ps -ef
syslog 32279 1 0 Jan21 ? 00:00:07 /sbin/syslogd -u syslog
bind 32351 1 0 Jan31 ? 00:00:00 /usr/sbin/named
root 32395 1 0 Jan21 ? 00:00:22 /usr/sbin/sshd
(... jne ...)

Jos haluamme ylläolevasta listasta vain "qmail" -alkuisten [[käyttäjä|käyttäjien]] prosessit, voisimme kirjoittaa
ps -ef | grep qmail
Tämä kuitenkin tulostaa myös kaikki sellaiset prosessit, joiden nimikentässä esiintyy "qmail" – joukossa myös käyttäjän [[root]] prosesseja vastoin alkuperäistä tarkoitusta:
$ ps -ef | grep qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 '''qmail'''-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger '''qmail''' 2
root 3993 3986 0 Jan21 ? 00:00:00 '''qmail'''-lspawn | /usr/bin/deliverquota ./Maildir
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 '''qmail'''-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 '''qmail'''-clean

Ratkaisu qmail -alkuisten käyttäjien prosessien listaamiseen on:
$ ps -ef | grep ^qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 qmail-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 qmail-clean

Hattumerkki <tt>^</tt> alussa vastaa jokaisen listausrivin alkua, jota pitää välittömästi seurata merkkijono <tt>qmail</tt>, ja tämän jälkeen voi tulla mikä tahansa merkkejä, koska loppumerkkiä ei ole tarkoituksella annettu. Grep tulostaa vain lausketta vastaavat rivit, ja tulos on haluttu.

===== Pako komentotulkista =====
Jos halutaan antaa jokin monimutkaisempi ilmaisu, on hyvä asettaa säännöllinen lauseke yksinkertaisten heittomerkkien <tt>'</tt> sisään, jotta ne regexp-operaattorit, joillla on jokin erikoismerkitys [[komentotulkki|komeotulkissa]] eivät aiheuta ongelmia.
$ echo moi | egrep m(o|a)i
-bash: syntax error near unexpected token `('
Sululla <tt>(</tt> on erikoismerkitys komentotulkissa, samoin merkillä <tt>[[putki||]]</tt>. Ratkaisu:
$ echo moi | egrep 'm(o|a)i'
moi
Esimerkissä käytettiin komentoa egrep. Se on oikopolku grepin [[valitsin|valitsimelle]] <tt>-E</tt>, joka ottaa säännöllisten lausekkeiden laajennetun tuen käyttöön. Normaalissa käytössä (pelkkö komento <tt>grep</tt>) operaattorit <tt>? + {} | (</tt> ja <tt>)</tt> eivät ole käytettävissä, paitsi asettamalla niiden eteen pako-operaattori <tt>\</tt>.

Jos ylläolevassa prosessilistausesimerkissä halutaan tulostaa pelkät prosessien [[PID]]-numerot, voidaan käyttää [[awk]]-työkalua seuraavasti:
$ ps -ef | awk '/^qmail/ { print $2 }'
3986
3990
3994
3995

== Esimerkkejä lausekkeista ==
Web-kuva:
[^ ]+\.(png|PNG|jpg|JPG|jpeg|JPEG|gif|GIF)
Päivämäärä muotoa pp.kk.vvvv:
[0-9]{1,2}\.[0-9]{1,2}\.[0-9]{4}
2-merkkinen [[wikipedia:fi:heksadesimaalijärjestelmä|heksadesimaali]]:
[0-9A-Fa-f]{2}
Sähköpostiosoite:
[a-zA-Z0-9_]+@[a-zA-Z0-9_\.]+\.[a-zA-Z]{2,3}

== Laajennukset ==
Yllä esitetty on hyvä lähtökohta säännöllisiin lausekkeisiin, ja kaikki modernit [[POSIX]]-yhteensopivat toteutukset tukevat mainittuja operaattoreita ja erikoismerkkejä. Monissa ohjelmointikielissä on tehty laajennuksia tähän, mutta esim. [[grep]] ei tue seuraavia.

=== Pakoluokat ===
Jos halutaan kirjoittaa lause, joka jossain kohtaa vastaa mitä tahansa numeromerkkiä, voidaan kirjoittaa hakasulkuilmaus <tt>[0-9]</tt>. Tälläisille yleisesti käytetyille luokille on kuitenkin olemassa laajennuksissa helpompia nimiä. Kutsutaan näitä ''pakoluokiksi''.

{| style="border-style: solid; border-collapse: collapse" border="1"
|+'''Pakoluokat'''
|-
! Ilmaisu !! Merkitys !! Vastaava hakasulkuilmaus
|-
| <tt>\w</tt> || Mikä tahansa aakkonen a-z, numero tai alaviiva <tt>_</tt>. || <tt>[a-zA-Z0-9_]</tt>
|-
| <tt>\W</tt> || Äskeisen vastakohta; mikä tahansa muu kuin aakkonen a-z, numero tai alaviiva. || <tt>[^a-zA-Z0-9_]</tt>
|-
| <tt>\s</tt> || Mikä tahansa tyhjä merkki (esim. välilyönti tai tabulaattori) || esim. <tt>[ \t]</tt>, jossa <tt>\t</tt> tabulaattorimerkki
|-
| <tt>\S</tt> || Äskeisen vastakohta; mikä tahansa ei-tyhjä merkki || esim. <tt>[^ \t]</tt>
|-
| <tt>\d</tt> || Mikä tahansa numero. || <tt>[0-9]</tt>
|-
| <tt>\D</tt> || Äskeisen vastakohta; mikä tahansa ei-numero. || <tt>[^0-9]</tt>
|}

Lauseke
\d+
vastaa siis kaikkia numeroita aivan siinä missä myös
[0-9]+

==Katso myös==
* [[Komentorivin perusteet]]
* [[Grep]] ja [[Awk]]
** [[Putki]]
* [[Ed]] ja [[Sed]]: tuki säännöllisille lausekkeille
* [[Vi]] ja [[vim]]: näiden graaffinen tila
* [[Emacs]]

==Aiheesta muualla==
*[[wikipedia:fi:säännöllinen lauseke|Säännöllinen lauseke]]
*[[wikipedia:fi:äärellinen automaatti|Äärellinen automaatti]]
*[[wikipedia:fi:pinoautomaatti|Pinoautomaatti]]
*[[wikipedia:fi:turingin kone|Turingin kone]]
*[http://www.ohjelmointiputka.net/opas.php?tunnus=phpsl Säännölliset lausekkeet PHP:ssä] -opas Ohjelmointiputkassa
*[http://swtch.com/~rsc/regexp/regexp1.html Regular Expression Matching Can Be Simple And Fast]: Keskustelua säännöllisten lausekkeiden toteutuksesta C-kielellä englanniksi.

[[Luokka:Käsitteet]]
[[Luokka:Komentorivi]]
[[Luokka:Perustietoa]]

Säännöllinen lauseke

2010-02-17T00:32:24Z

Ordyh: /* Rivin alku ja loppu: ^ ja $ */ +

'''Säännöllinen lauseke''' (engl. '''regular expression''', '''regexp''') on yksinkertainen merkkijonokieli, joka voi joko ''vastata'' tai ''olla vastaamatta'' jotain toista merkkijonoa. Linux- ja Unix-järjestelmissä säännöllisiä lauskkeista on suurta hyötyä [[komentorivi]]ä käytettäessä, mm. komennoissa [[awk]] ja [[grep]]. Niiden voidaankin sanoa olevan [[putki]]ttamiseen yhdistettynä tärkeimpiä työkaluja, joita komentorivin edistynyt käyttö edellyttää.

== Teoriaa ==
Tietojenkäsittelytieteessä puhutaan [[wikipedia:fi:säännöllinen kieli|säännöllisestä kielestä]], joka voidaan tunnistaa [[wikipedia:fi:äärellinen automaatti|äärellisellä automaatilla]]. Säännöllisiä lausekkeita käytetään myös monissa ohjelmointikielissä (mm. Perl, Java, Python, ECMAScript). Mille tahansa [[wikipedia:en:Turing complete|Turing-täydelliselle]] ohjelmointikielelle voidaan kuitenkin aina kirjoittaa säännöllisten lausekkeiden [[wikipedia:fi:Ohjelmointikielen tulkki|tulkki]].

== Johdatus säännöllisiin lausekkeisiin ==

===Perusteet===
Säännöllinen lauseke joko ''vastaa'' tai ''ei vastaa'' merkkijonoa. Kutsutaan säännöllistä lauseketta ''lausekkeeksi'' ja merkkijonoa, jonka vastaavuus lausekkeeseen halutaan selvittää, ''kohteeksi''.

Lausekkeen yksinkertaiset kirjoitusmerkit vastaavat yksi-yhteen kohteen kirjoitusmerkkejä. Tämän vuoksi lauseke
abba
vastaa yllätyksettömästi kohdetta
'''abba'''
mutta ei kohdetta
bono

Yleensä (mm. grep ja awk) katsotaan, että kohteen alussa ja lopussa voi olla mielivaltainen määrä ei-vastaavia merkkejä. Tällöin kohde (s.o. näiden komentojen tapauksessa ''rivi'') vastaa lauseketta, jos edes jokin sen ''osa'' vastaa lauseketta. Siis grep ja awk -yhteydessä lauseke
abba
vastaa kohdetta
bo'''abba'''bo
ja
dada'''abba'''gada
mutta ei silti kohdetta
b'''abb'''bab

===Operaattorit===
Yksi-yhteen vastaavien kirjoitusmerkkien lisäksi säännöllisissä lausekkeissa on mahdollisuus käyttää erilaisia ''operaattorimerkkejä'', joilla on lausekkeessa erikoismerkitys.

====Vaihtoehtoisuusoperaattori: <tt>|</tt>====
Näistä ensimmäinen on operaattori <tt>|</tt>, joka tarkoittaa ''vaihtelua'' tai ''alternointia'' (engl. alternation). Sen merkitys on sama kuin luonnollisen kielen sanalla "tai". Lauseke
omena|luumu
vastaa sekä kohteita
'''omena'''
että
'''luumu'''
Kun lisäksi muistamme yltä, että komentorivityökalujen tapauksessa kohde voi sisältää ei-vastaavia merkkejä sekä alussa että lopussa, vastaa ylläoleva lauseke <tt>omena|luumu</tt> myös merkkijonoja
uuni'''omena'''
tai
'''luumu'''soppa
Huomaa kuitenkin, että seuraavassa kohteessa vain ensimmäinen esiintymä vastaa lauseketta
kotimainen '''omena'''-luumuhillo

====Toisto-operaattorit====
Merkeillä <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja ilmaisulla <tt>{n,m}</tt> on säännöllisissä lausekkeissa erikoismerkitys, joka vaikuttaa niitä ''välittömästi edeltävään'' merkkiin.

=====Mielivaltaisen monta: <tt>*</tt>=====
Operaattori <tt>*</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, tai ei kertaakaan"''. Siten lauseke
ab*a
vastaa kaikkia seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
'''aa'''
mutta ei seuraavia:
'''a'''cccca
bba

Todettakooon, että selvästi b-merkkien määrä kohteessa voi olla mielivaltainen, joten eri vastaavia kohdemerkkijonoja on olemassa myös ääretön määrä.

=====Vähintään yksi: <tt>+</tt>=====
Operaattori <tt>+</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, mutta vähintään kerran"''. Siten lauseke
ab+a
vastaa seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
mutta ei seuraavia:
'''a'''a
'''a'''cccca
bba

=====Ehdollinen: <tt>?</tt>=====
Operaattori <tt>?</tt> tarkoittaa ''"edellinen kerran, tai ei kertaakaan''". Siten lauseke
ab?a
vastaa seuraavia kohteita:
'''aba'''
'''aa'''
mutta ei mitään seuraavista:
'''ab'''bbbbbbbbbbbbbbbba
'''ab'''bba
'''ab'''ba
'''a'''cccca
bba

=====n:stä m:n kertaan: <tt>{n, m}</tt>=====
Aina yllä olevat operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> eivät riitä, vaan jotain merkkiä tarvitsee vastata juuri tietyn määrän toistoja. Voitaisiin toki kirjoittaa
aaaa?a?
jos halutaan vastata
aaa
aaaa
aaaaa
mutta voidaan kirjoittaa lyhyemmin
a{3,5}
Tämä tarkoittaa, että edeltävää merkkiä <tt>a</tt> voi esiintyä kolmesta viiteen kertaan. Käytetään yleisesti tästä ilmaisusta mallia <tt>{n,m}</tt>, jossa <tt>n</tt> ja <tt>m</tt> ovat mielivaltaisia kokonaislukuja, tarkoittaen ''"n:stä m:n kertaan"''.

Kumpi tahansa numeroista <tt>n</tt> ja <tt>m</tt> voidaan jättää pois. Täten ilmaisu
{n}
tarkoittaa ''"tasan n kertaa"'. Ilmaisu
{n,}
tarkoittaa ''"vähintään n kertaa"''. Ilmaisu
{,m}
tarkoittaa ''"korkeintaan m kertaa"''.

Sivuhuomatuksena todettakoon, että yllä olevan perusteella lyhyemmät operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> voitaisiin aina korvata ilmaisuilla <tt>{0,}</tt>, <tt>{1,}</tt> ja <tt>{0,1}</tt> vastaavasti.

===== Huomautuksia =====
Operaattoreita voi yhdistää mielivaltaisesti toisiinsa. Siten lauseke
hur+a*!*
vastaavaa kaikkia seuraavia kohteita:
'''hur'''
'''hurr'''
'''hurra'''
'''hurraa'''
'''hurraa!'''
'''hurrraaa!!!!'''
jne.

Toisaalta lauseke ''ei vastaa'' mitään seuraavista kohteista:
burraa!
'''hu'''aa!!
'''hu'''uuurraa!!
'''hurr'''urrur!!
jne.

Tässä vaiheessa on hyvä varmistaa, että ymmärtää edellä esitetyn esimerkin kokonaisuudessaan.

===Sulut: <tt>(</tt> ja <tt>)</tt>===
'''Kysymys:''' Jos halutaan vastata kohdetta <tt>hUrrUrrUrr</tt> siten, että merkkijono <tt>Urr</tt> voi esiintyä kohteessa äärettömän monta kertaa, miten tulee toimia?

'''Vastaus:''' Tämä on mahdotonta tähän mennessä esitetyillä operaattoreilla. Voisimme toki kirjoittaa <tt>hU+r+r+</tt> tai vastaavaa, mutta tämä vastaisi vain kohteita kuten <tt>hUUrrrr</tt>. Tarvitsemme selvästi uuden operaattorin; ''sulut''.

Merkeillä <tt>(</tt> ja <tt>)</tt> voidaan määrittää lausekkeen osia, jotka samaan tapaan kuin koulumatematiikassa lasketaan ''ennen'' laskun muita osia. Koska säännöllisissä lausekkeissa ei kuitenkaan lasketa mitään, havainnollistetaan sulkujen merkitystä esittämällä ratkaisu yllä olevaan kysymykseen.

Lauseke
h(Urr)+
vastaa kohteita
'''hUrr'''
'''hUrrUrr'''
'''hUrrUrrUrr'''
'''hUrrUrrUrrUrr'''
jne. jne. Lauseke ei vastaa seuraavia kohteita:
'''h'''Arr
'''h'''Err
burr

Samoin kohde
'''hUr'''
näyttää oikealta, mutta jää kuitenkin liian lyhyeksi, sillä sulkujen sisältö on löydyttävä kohteesta aina ''kokonaan''. Siksi kohde <tt>hUr</tt> ei vastaa lauseketta <tt>h(Urr)+</tt>.

====Esimerkkejä====

Sulkuja voi yhdistellä mielivaltaisesti kaikkiin operaattoreihin <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja <tt>|</tt>. Seuraavassa on annettu sarja lausekkeita, sekä esimerkkejä kutakin vastaavista ja vastaamattomista kohteista:

Lauseke
d(ii)?pada+(pa|ba)?
vastaa esimerkiksi seuraavia kohteita
'''diipadaaba'''
'''diipadaapa'''
'''dpadaapa'''
'''dpadaaba'''
'''diipadaaaaapa'''
'''diipadaaaaaba'''
'''diipada'''
'''diipada'''
'''diipadaaa'''
'''diipadaaaa'''
mutta ei mitään seuraavista
'''di'''padaapa
'''diipad'''uu
'''diipad'''

Viimeinen esimerkki jää lyhyeksi, sillä merkki <tt>a</tt> on lausekkeessa pakollinen vähintään kerran.

Lauseke
(hi|ha|ho)+
vastaa mitä tahansa kohdetta, jossa esiintyy mikä tahansa määrä merkkijonoja <tt>hi</tt>, <tt>ha</tt> ja <tt>ho</tt> peräkkäin mielivaltaisen monta kertaa, kuitenkin vähintään kerran. Lauseke vastaa siis kaikkia seuraavia:
'''hi'''
'''ha'''
'''ho'''
'''hihi'''
'''haha'''
'''hiha'''
'''hoho'''
'''hihaho'''
'''hahohihohahi'''
mutta ei
'''h'''e
'''h'''u
'''h'''uhu
'''h'''ehe

===Yhtä merkkiä vastaavat erikoismerkit===
Säännöllisissä lausekkeissa voi esiintyä myös joitain erikoismerkkejä, jotka eivät ole operaattoreita, eli ne eivät vaikuta niitä edeltäviin sulkuihin tai merkkeihin. Ne voitaisiin aina kirjoittaa lausekkeilla muotoa
(merkki1|merkki2|merkki3|merkki4|...|merkkiN)
mutta tämä on varsin työlästä ja epäselkeää. Siksi säännöllisissä lausekkeissa on joitain erikoismerkkejä, jotka ovat oikopolkuja monimutkaisten vaihtoehtoisuuslausekkeiden kirjoittamiseen.

====Jokerimerkki: <tt>.</tt>====
Merkillä <tt>.</tt> (piste) on erikoismerkitys. Se vastaa aina ''mitä tahansa'' merkkiä. Lauseke
.*
vastaa siis kaikkia mahdollisia kohteita - jopa tyhjää merkkijonoa, sillä operaattori <tt>*</tt> tarkoittaa, että erikoisoperaattori "mikä tahansa merkki" voi esiintyä myös nolla kertaa.

Lauseke
(h.)+
vastaa siten kaikkia seuraavista:
'''ha'''
'''he'''
'''hi'''
'''hy'''
'''hr'''
'''hihrhy'''
mutta ei
rh
ah
oh
ih
'''h'''
Viimeinen esimerkki jää jälleen lyhyeksi, sillä <tt>.</tt> ei vastaa kuitenkaan "tyhjää" merkkiä.

Lauseke
.upu
vastaa
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''
mutta myös
'''supu'''
mutta ei
sepe

====Merkkiluokat: <tt>[]</tt>====
Jos halutaan korjata ylläoleva Ankanpoika-esimerkki, voitaisiin kirjoittaa:
(t|h|l|T|H|L)upu
joka vastaisi vain ja ainoastaan:
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''

Merkkien <tt>[]</tt> avulla voidaan määritellä kirjainluokkia siten, että seuraava merkki kohteessa vastaa vain ja ainoastaan jotain hakasulkujen välissä olevaa kirjainta. Siten äskeistä täysin vastaa lauseke on
[thlTHL]upu

Hakasulkujen välissä voidaan myös määritellä aakkoston mukaisia välejä väliviivalla <tt>-</tt>. Tällöin
19[4-9][0-9]|20[0-9][0-9]
vastaa kaikkia vuosilukuja välillä 1940-2099. Samoin
Osasto [A-I]
vastaa
'''Osasto A'''
'''Osasto B'''
'''Osasto C'''
...
'''Osasto H'''
'''Osasto I'''
mutta ei
'''Osasto '''J

Jos merkki <tt>-</tt> halutaan sisällyttää hakasulkuilmaisuun, se jätetään viimeiseksi. Esim.
Ala[ -]aste
vastaa
'''Ala aste'''
'''Ala-aste'''

Jos oikea hakasulku (<tt>]</tt>) halutaan sisällyttää hakasulkuilmaukseen, se laitetaan hakasulkujen ensimmäiseksi merkiksi. Esim.
[]abcdef]+
vastaa
'''a'''
'''b'''
''']'''
'''ab]'''
'''d]f'''
jne., mutta ei
[gi
zo

Hakasulkuilmaisusn merkitys voidaan kääntää asettamalla hattu <tt>^</tt> sen ensimmäiseksi merkiksi. Tällöin hakasulkuilmaisu vastaa mitä tahansa hakasuluissa '''ei''' esiintyvää merkkiä kohteessa. Täten lauseke
[^aeiouyåäö]+
vastaa mitä tahansa pelkistä konsonanteista, välimerkeistä ja numeroista koostuvaa kohdetta, kuten
'''prrr'''
'''123'''
'''hkr'''
'''brr-hrr'''
jne. Mutta ei
au
aiai
jne.

Grepin hyväksymissä säännöllisissä lausekkeissa merkin <tt>^</tt> voi sisällyttää hakasulkuilmaukseen laittamalla sen miksi tahansa muuksi merkiksi, kuin hakasulkujen ensimmäinen merkki. Tämä ei pidä välttämättä paikkaansa kuitenkaan kaikilla säännöllisten lausekkeiden toteutuksilla, vaan hattumerkin eteen on mahdollisesti laitettava pako-operaattori <tt>\</tt>.

====Pako-operaattori: <tt>\</tt>====
Jos halutaan vastata jotain merkkiä, joka on määritelty operaattoriksi säännöllisissä lausekkeissa, sitä ei voida kirjoittaa sellaisenaan lausekkeeseen. Jos halutaan vastata tarkalleen jotain seuraavista
Mitä?
Missä?
Milloin?
ei voida kirjoittaa lauseketta
(Mi(tä|ssä|lloin))?
koska kysymysmerkki <tt>?</tt> lopussa vain ehdollista koko ulomman sulkuilmaisun, ja koko lauseke vastaisi siis vain joko tyhjää merkkijonoa tai kysymysmerkitöntä kysymyssanaa.

Tarvitaan pako-operaattoria <tt>\</tt>. Merkin <tt>?</tt> tai ylipäänsä minkä tahansa opraattorimerkin erikoismerkityksen voi poistaa asettamalla sen eteen kenoviivan. Tällöin kenoviivaa välittömästi seuraava merkki täytyy esiintyä kohteessa sellaisenaan. Oikea tapa kirjoittaa yllä oleva lauseke olisi siten
(Mi(tä|ssä|lloin))\?
Tämä vastaa vain ja ainoastaan haluttuja merkkijonoja.

Seuraavat operaattorit on merkittävä pako-operaattorilla, jos niitä ei haluta tulkittavan erikoismerkeiksi:
( ) | * + ? { } [ ] ^ $ \

Siis, jos halutaan vastata kohteessa kenoviivaa, on kirjoitettava <tt>\\</tt>. Esimerkiksi Windows-polku:
''<asema>'':\Dokumentit\''<nimi>''.(doc, docx tai odt)
voidaan löytää esim. seuraavalla säännöllisellä lausekkeella:
[A-Z]:\\Dokumentit\\[a-öA-Ö0-9 _-]+\.(doc|docx|odt)

=== Rivin alku ja loppu: <tt>^</tt> ja <tt>$</tt>===
On voinut herätä kysymys, kuinka voidaan vastata kohdetta (s.o. riviä) ''tarkalleen''. Heti alussa selvisi, että esim grepin mielestä kohde (rivi) vastaa lauseketta, jos lauseke esiintyy missä tahansa kohdassa riviä. Jos halutaan, että lauseke vastaa alusta loppuun tarkalleen koko riviä, on otettava käyttöön erikoismerkit <tt>^</tt> ja <tt>$</tt>. Nämä vastaavat kohteessa rivin tai merkkijonon alkua ja loppua kuvaavia "näkymättömiä" merkkejä vastaavasti. Siten
^abba$
vastaa vain riviä
'''abba'''
mutta ei esimerkiksi
babba
abbab
babbab
'''ab'''a
'''abb'''bba
^abba
'''abba'''$
^abba$

==== Esimerkki ====

Merkit <tt>^</tt> ja <tt>$</tt> antavat viimeisen silauksen grepin tehokkaaseen hyödyntämiseen. Nyt esimerkiksi, jos tulostetaan kaikki [[prosessi]]t komennolla <tt>[[ps]] -ef</tt>, saadaan yleensä jokseenkin tälläinen listaus (esimerkissä palvelinkone):

$ ps -ef
UID PID PPID C STIME TTY TIME CMD
root 1 0 0 Jan21 ? 00:00:34 init [2]
root 1425 1 0 Jan31 ? 00:00:00 /usr/sbin/xinetd
qmails 3986 1 0 Jan21 ? 00:00:00 qmail-send
qmaill 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
root 3993 3986 0 Jan21 ? 00:00:00 qmail-lspawn | /usr/bin/deliverquota ./Maildir
qmailr 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
qmailq 3995 3986 0 Jan21 ? 00:00:00 qmail-clean
root 5566 1 0 Jan21 ? 00:00:05 /usr/sbin/apache2 -k start
root 6091 1 0 Jan21 ? 00:00:03 /usr/sbin/cron
www-data 15379 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
www-data 15386 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
root 21684 32395 0 20:37 ? 00:00:00 sshd: user [priv]
user 21688 21684 0 20:37 ? 00:00:00 sshd: user@pts/1
user 21689 21688 0 20:37 pts/1 00:00:00 -bash
user 21705 21689 0 20:37 pts/1 00:00:00 ps -ef
syslog 32279 1 0 Jan21 ? 00:00:07 /sbin/syslogd -u syslog
bind 32351 1 0 Jan31 ? 00:00:00 /usr/sbin/named
root 32395 1 0 Jan21 ? 00:00:22 /usr/sbin/sshd
(... jne ...)

Jos haluamme ylläolevasta listasta vain "qmail" -alkuisten [[käyttäjä|käyttäjien]] prosessit, voisimme kirjoittaa
ps -ef | grep qmail
Tämä kuitenkin tulostaa myös kaikki sellaiset prosessit, joiden nimikentässä esiintyy "qmail" – joukossa myös käyttäjän [[root]] prosesseja vastoin alkuperäistä tarkoitusta:
$ ps -ef | grep qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 '''qmail'''-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger '''qmail''' 2
root 3993 3986 0 Jan21 ? 00:00:00 '''qmail'''-lspawn | /usr/bin/deliverquota ./Maildir
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 '''qmail'''-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 '''qmail'''-clean

Ratkaisu qmail -alkuisten käyttäjien prosessien listaamiseen on:
$ ps -ef | grep ^qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 qmail-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 qmail-clean

Hattumerkki <tt>^</tt> alussa vastaa jokaisen listausrivin alkua, jota pitää välittömästi seurata merkkijono <tt>qmail</tt>, ja tämän jälkeen voi tulla mikä tahansa merkki (ilmaisu <tt>.</tt>). Grep tulostaa vain lausketta vastaavat rivit, ja tulos on haluttu.

===== Pako komentotulkista =====
Jos halutaan antaa jokin monimutkaisempi ilmaisu, on hyvä asettaa säännöllinen lauseke yksinkertaisten heittomerkkien <tt>'</tt> sisään, jotta ne regexp-operaattorit, joillla on jokin erikoismerkitys [[komentotulkki|komeotulkissa]] eivät aiheuta ongelmia.
$ echo moi | egrep m(o|a)i
-bash: syntax error near unexpected token `('
Sululla <tt>(</tt> on erikoismerkitys komentotulkissa, samoin merkillä <tt>[[putki||]]</tt>. Ratkaisu:
$ echo moi | egrep 'm(o|a)i'
moi
Esimerkissä käytettiin komentoa egrep. Se on oikopolku grepin [[valitsin|valitsimelle]] <tt>-E</tt>, joka ottaa säännöllisten lausekkeiden laajennetun tuen käyttöön. Normaalissa käytössä (pelkkö komento <tt>grep</tt>) operaattorit <tt>? + {} | (</tt> ja <tt>)</tt> eivät ole käytettävissä, paitsi asettamalla niiden eteen pako-operaattori <tt>\</tt>.

Jos ylläolevassa prosessilistausesimerkissä halutaan tulostaa pelkät prosessien [[PID]]-numerot, voidaan käyttää [[awk]]-työkalua seuraavasti:
$ ps -ef | awk '/^qmail/ { print $2 }'
3986
3990
3994
3995

== Esimerkkejä lausekkeista ==
Web-kuva:
[^ ]+\.(png|PNG|jpg|JPG|jpeg|JPEG|gif|GIF)
Päivämäärä muotoa pp.kk.vvvv:
[0-9]{1,2}\.[0-9]{1,2}\.[0-9]{4}
2-merkkinen [[wikipedia:fi:heksadesimaalijärjestelmä|heksadesimaali]]:
[0-9A-Fa-f]{2}
Sähköpostiosoite:
[a-zA-Z0-9_]+@[a-zA-Z0-9_\.]+\.[a-zA-Z]{2,3}

== Laajennukset ==
Yllä esitetty on hyvä lähtökohta säännöllisiin lausekkeisiin, ja kaikki modernit [[POSIX]]-yhteensopivat toteutukset tukevat mainittuja operaattoreita ja erikoismerkkejä. Monissa ohjelmointikielissä on tehty laajennuksia tähän, mutta esim. [[grep]] ei tue seuraavia.

=== Pakoluokat ===
Jos halutaan kirjoittaa lause, joka jossain kohtaa vastaa mitä tahansa numeromerkkiä, voidaan kirjoittaa hakasulkuilmaus <tt>[0-9]</tt>. Tälläisille yleisesti käytetyille luokille on kuitenkin olemassa laajennuksissa helpompia nimiä. Kutsutaan näitä ''pakoluokiksi''.

{| style="border-style: solid; border-collapse: collapse" border="1"
|+'''Pakoluokat'''
|-
! Ilmaisu !! Merkitys !! Vastaava hakasulkuilmaus
|-
| <tt>\w</tt> || Mikä tahansa aakkonen a-z, numero tai alaviiva <tt>_</tt>. || <tt>[a-zA-Z0-9_]</tt>
|-
| <tt>\W</tt> || Äskeisen vastakohta; mikä tahansa muu kuin aakkonen a-z, numero tai alaviiva. || <tt>[^a-zA-Z0-9_]</tt>
|-
| <tt>\s</tt> || Mikä tahansa tyhjä merkki (esim. välilyönti tai tabulaattori) || esim. <tt>[ \t]</tt>, jossa <tt>\t</tt> tabulaattorimerkki
|-
| <tt>\S</tt> || Äskeisen vastakohta; mikä tahansa ei-tyhjä merkki || esim. <tt>[^ \t]</tt>
|-
| <tt>\d</tt> || Mikä tahansa numero. || <tt>[0-9]</tt>
|-
| <tt>\D</tt> || Äskeisen vastakohta; mikä tahansa ei-numero. || <tt>[^0-9]</tt>
|}

Lauseke
\d+
vastaa siis kaikkia numeroita aivan siinä missä myös
[0-9]+

==Katso myös==
* [[Komentorivin perusteet]]
* [[Grep]] ja [[Awk]]
** [[Putki]]
* [[Ed]] ja [[Sed]]: tuki säännöllisille lausekkeille
* [[Vi]] ja [[vim]]: näiden graaffinen tila
* [[Emacs]]

==Aiheesta muualla==
*[[wikipedia:fi:säännöllinen lauseke|Säännöllinen lauseke]]
*[[wikipedia:fi:äärellinen automaatti|Äärellinen automaatti]]
*[[wikipedia:fi:pinoautomaatti|Pinoautomaatti]]
*[[wikipedia:fi:turingin kone|Turingin kone]]
*[http://www.ohjelmointiputka.net/opas.php?tunnus=phpsl Säännölliset lausekkeet PHP:ssä] -opas Ohjelmointiputkassa
*[http://swtch.com/~rsc/regexp/regexp1.html Regular Expression Matching Can Be Simple And Fast]: Keskustelua säännöllisten lausekkeiden toteutuksesta C-kielellä englanniksi.

[[Luokka:Käsitteet]]
[[Luokka:Komentorivi]]
[[Luokka:Perustietoa]]

Säännöllinen lauseke

2010-02-17T00:27:07Z

Ordyh: /* Pakoluokat */ fix

'''Säännöllinen lauseke''' (engl. '''regular expression''', '''regexp''') on yksinkertainen merkkijonokieli, joka voi joko ''vastata'' tai ''olla vastaamatta'' jotain toista merkkijonoa. Linux- ja Unix-järjestelmissä säännöllisiä lauskkeista on suurta hyötyä [[komentorivi]]ä käytettäessä, mm. komennoissa [[awk]] ja [[grep]]. Niiden voidaankin sanoa olevan [[putki]]ttamiseen yhdistettynä tärkeimpiä työkaluja, joita komentorivin edistynyt käyttö edellyttää.

== Teoriaa ==
Tietojenkäsittelytieteessä puhutaan [[wikipedia:fi:säännöllinen kieli|säännöllisestä kielestä]], joka voidaan tunnistaa [[wikipedia:fi:äärellinen automaatti|äärellisellä automaatilla]]. Säännöllisiä lausekkeita käytetään myös monissa ohjelmointikielissä (mm. Perl, Java, Python, ECMAScript). Mille tahansa [[wikipedia:en:Turing complete|Turing-täydelliselle]] ohjelmointikielelle voidaan kuitenkin aina kirjoittaa säännöllisten lausekkeiden [[wikipedia:fi:Ohjelmointikielen tulkki|tulkki]].

== Johdatus säännöllisiin lausekkeisiin ==

===Perusteet===
Säännöllinen lauseke joko ''vastaa'' tai ''ei vastaa'' merkkijonoa. Kutsutaan säännöllistä lauseketta ''lausekkeeksi'' ja merkkijonoa, jonka vastaavuus lausekkeeseen halutaan selvittää, ''kohteeksi''.

Lausekkeen yksinkertaiset kirjoitusmerkit vastaavat yksi-yhteen kohteen kirjoitusmerkkejä. Tämän vuoksi lauseke
abba
vastaa yllätyksettömästi kohdetta
'''abba'''
mutta ei kohdetta
bono

Yleensä (mm. grep ja awk) katsotaan, että kohteen alussa ja lopussa voi olla mielivaltainen määrä ei-vastaavia merkkejä. Tällöin kohde (s.o. näiden komentojen tapauksessa ''rivi'') vastaa lauseketta, jos edes jokin sen ''osa'' vastaa lauseketta. Siis grep ja awk -yhteydessä lauseke
abba
vastaa kohdetta
bo'''abba'''bo
ja
dada'''abba'''gada
mutta ei silti kohdetta
b'''abb'''bab

===Operaattorit===
Yksi-yhteen vastaavien kirjoitusmerkkien lisäksi säännöllisissä lausekkeissa on mahdollisuus käyttää erilaisia ''operaattorimerkkejä'', joilla on lausekkeessa erikoismerkitys.

====Vaihtoehtoisuusoperaattori: <tt>|</tt>====
Näistä ensimmäinen on operaattori <tt>|</tt>, joka tarkoittaa ''vaihtelua'' tai ''alternointia'' (engl. alternation). Sen merkitys on sama kuin luonnollisen kielen sanalla "tai". Lauseke
omena|luumu
vastaa sekä kohteita
'''omena'''
että
'''luumu'''
Kun lisäksi muistamme yltä, että komentorivityökalujen tapauksessa kohde voi sisältää ei-vastaavia merkkejä sekä alussa että lopussa, vastaa ylläoleva lauseke <tt>omena|luumu</tt> myös merkkijonoja
uuni'''omena'''
tai
'''luumu'''soppa
Huomaa kuitenkin, että seuraavassa kohteessa vain ensimmäinen esiintymä vastaa lauseketta
kotimainen '''omena'''-luumuhillo

====Toisto-operaattorit====
Merkeillä <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja ilmaisulla <tt>{n,m}</tt> on säännöllisissä lausekkeissa erikoismerkitys, joka vaikuttaa niitä ''välittömästi edeltävään'' merkkiin.

=====Mielivaltaisen monta: <tt>*</tt>=====
Operaattori <tt>*</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, tai ei kertaakaan"''. Siten lauseke
ab*a
vastaa kaikkia seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
'''aa'''
mutta ei seuraavia:
'''a'''cccca
bba

Todettakooon, että selvästi b-merkkien määrä kohteessa voi olla mielivaltainen, joten eri vastaavia kohdemerkkijonoja on olemassa myös ääretön määrä.

=====Vähintään yksi: <tt>+</tt>=====
Operaattori <tt>+</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, mutta vähintään kerran"''. Siten lauseke
ab+a
vastaa seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
mutta ei seuraavia:
'''a'''a
'''a'''cccca
bba

=====Ehdollinen: <tt>?</tt>=====
Operaattori <tt>?</tt> tarkoittaa ''"edellinen kerran, tai ei kertaakaan''". Siten lauseke
ab?a
vastaa seuraavia kohteita:
'''aba'''
'''aa'''
mutta ei mitään seuraavista:
'''ab'''bbbbbbbbbbbbbbbba
'''ab'''bba
'''ab'''ba
'''a'''cccca
bba

=====n:stä m:n kertaan: <tt>{n, m}</tt>=====
Aina yllä olevat operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> eivät riitä, vaan jotain merkkiä tarvitsee vastata juuri tietyn määrän toistoja. Voitaisiin toki kirjoittaa
aaaa?a?
jos halutaan vastata
aaa
aaaa
aaaaa
mutta voidaan kirjoittaa lyhyemmin
a{3,5}
Tämä tarkoittaa, että edeltävää merkkiä <tt>a</tt> voi esiintyä kolmesta viiteen kertaan. Käytetään yleisesti tästä ilmaisusta mallia <tt>{n,m}</tt>, jossa <tt>n</tt> ja <tt>m</tt> ovat mielivaltaisia kokonaislukuja, tarkoittaen ''"n:stä m:n kertaan"''.

Kumpi tahansa numeroista <tt>n</tt> ja <tt>m</tt> voidaan jättää pois. Täten ilmaisu
{n}
tarkoittaa ''"tasan n kertaa"'. Ilmaisu
{n,}
tarkoittaa ''"vähintään n kertaa"''. Ilmaisu
{,m}
tarkoittaa ''"korkeintaan m kertaa"''.

Sivuhuomatuksena todettakoon, että yllä olevan perusteella lyhyemmät operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> voitaisiin aina korvata ilmaisuilla <tt>{0,}</tt>, <tt>{1,}</tt> ja <tt>{0,1}</tt> vastaavasti.

===== Huomautuksia =====
Operaattoreita voi yhdistää mielivaltaisesti toisiinsa. Siten lauseke
hur+a*!*
vastaavaa kaikkia seuraavia kohteita:
'''hur'''
'''hurr'''
'''hurra'''
'''hurraa'''
'''hurraa!'''
'''hurrraaa!!!!'''
jne.

Toisaalta lauseke ''ei vastaa'' mitään seuraavista kohteista:
burraa!
'''hu'''aa!!
'''hu'''uuurraa!!
'''hurr'''urrur!!
jne.

Tässä vaiheessa on hyvä varmistaa, että ymmärtää edellä esitetyn esimerkin kokonaisuudessaan.

===Sulut: <tt>(</tt> ja <tt>)</tt>===
'''Kysymys:''' Jos halutaan vastata kohdetta <tt>hUrrUrrUrr</tt> siten, että merkkijono <tt>Urr</tt> voi esiintyä kohteessa äärettömän monta kertaa, miten tulee toimia?

'''Vastaus:''' Tämä on mahdotonta tähän mennessä esitetyillä operaattoreilla. Voisimme toki kirjoittaa <tt>hU+r+r+</tt> tai vastaavaa, mutta tämä vastaisi vain kohteita kuten <tt>hUUrrrr</tt>. Tarvitsemme selvästi uuden operaattorin; ''sulut''.

Merkeillä <tt>(</tt> ja <tt>)</tt> voidaan määrittää lausekkeen osia, jotka samaan tapaan kuin koulumatematiikassa lasketaan ''ennen'' laskun muita osia. Koska säännöllisissä lausekkeissa ei kuitenkaan lasketa mitään, havainnollistetaan sulkujen merkitystä esittämällä ratkaisu yllä olevaan kysymykseen.

Lauseke
h(Urr)+
vastaa kohteita
'''hUrr'''
'''hUrrUrr'''
'''hUrrUrrUrr'''
'''hUrrUrrUrrUrr'''
jne. jne. Lauseke ei vastaa seuraavia kohteita:
'''h'''Arr
'''h'''Err
burr

Samoin kohde
'''hUr'''
näyttää oikealta, mutta jää kuitenkin liian lyhyeksi, sillä sulkujen sisältö on löydyttävä kohteesta aina ''kokonaan''. Siksi kohde <tt>hUr</tt> ei vastaa lauseketta <tt>h(Urr)+</tt>.

====Esimerkkejä====

Sulkuja voi yhdistellä mielivaltaisesti kaikkiin operaattoreihin <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja <tt>|</tt>. Seuraavassa on annettu sarja lausekkeita, sekä esimerkkejä kutakin vastaavista ja vastaamattomista kohteista:

Lauseke
d(ii)?pada+(pa|ba)?
vastaa esimerkiksi seuraavia kohteita
'''diipadaaba'''
'''diipadaapa'''
'''dpadaapa'''
'''dpadaaba'''
'''diipadaaaaapa'''
'''diipadaaaaaba'''
'''diipada'''
'''diipada'''
'''diipadaaa'''
'''diipadaaaa'''
mutta ei mitään seuraavista
'''di'''padaapa
'''diipad'''uu
'''diipad'''

Viimeinen esimerkki jää lyhyeksi, sillä merkki <tt>a</tt> on lausekkeessa pakollinen vähintään kerran.

Lauseke
(hi|ha|ho)+
vastaa mitä tahansa kohdetta, jossa esiintyy mikä tahansa määrä merkkijonoja <tt>hi</tt>, <tt>ha</tt> ja <tt>ho</tt> peräkkäin mielivaltaisen monta kertaa, kuitenkin vähintään kerran. Lauseke vastaa siis kaikkia seuraavia:
'''hi'''
'''ha'''
'''ho'''
'''hihi'''
'''haha'''
'''hiha'''
'''hoho'''
'''hihaho'''
'''hahohihohahi'''
mutta ei
'''h'''e
'''h'''u
'''h'''uhu
'''h'''ehe

===Yhtä merkkiä vastaavat erikoismerkit===
Säännöllisissä lausekkeissa voi esiintyä myös joitain erikoismerkkejä, jotka eivät ole operaattoreita, eli ne eivät vaikuta niitä edeltäviin sulkuihin tai merkkeihin. Ne voitaisiin aina kirjoittaa lausekkeilla muotoa
(merkki1|merkki2|merkki3|merkki4|...|merkkiN)
mutta tämä on varsin työlästä ja epäselkeää. Siksi säännöllisissä lausekkeissa on joitain erikoismerkkejä, jotka ovat oikopolkuja monimutkaisten vaihtoehtoisuuslausekkeiden kirjoittamiseen.

====Jokerimerkki: <tt>.</tt>====
Merkillä <tt>.</tt> (piste) on erikoismerkitys. Se vastaa aina ''mitä tahansa'' merkkiä. Lauseke
.*
vastaa siis kaikkia mahdollisia kohteita - jopa tyhjää merkkijonoa, sillä operaattori <tt>*</tt> tarkoittaa, että erikoisoperaattori "mikä tahansa merkki" voi esiintyä myös nolla kertaa.

Lauseke
(h.)+
vastaa siten kaikkia seuraavista:
'''ha'''
'''he'''
'''hi'''
'''hy'''
'''hr'''
'''hihrhy'''
mutta ei
rh
ah
oh
ih
'''h'''
Viimeinen esimerkki jää jälleen lyhyeksi, sillä <tt>.</tt> ei vastaa kuitenkaan "tyhjää" merkkiä.

Lauseke
.upu
vastaa
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''
mutta myös
'''supu'''
mutta ei
sepe

====Merkkiluokat: <tt>[]</tt>====
Jos halutaan korjata ylläoleva Ankanpoika-esimerkki, voitaisiin kirjoittaa:
(t|h|l|T|H|L)upu
joka vastaisi vain ja ainoastaan:
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''

Merkkien <tt>[]</tt> avulla voidaan määritellä kirjainluokkia siten, että seuraava merkki kohteessa vastaa vain ja ainoastaan jotain hakasulkujen välissä olevaa kirjainta. Siten äskeistä täysin vastaa lauseke on
[thlTHL]upu

Hakasulkujen välissä voidaan myös määritellä aakkoston mukaisia välejä väliviivalla <tt>-</tt>. Tällöin
19[4-9][0-9]|20[0-9][0-9]
vastaa kaikkia vuosilukuja välillä 1940-2099. Samoin
Osasto [A-I]
vastaa
'''Osasto A'''
'''Osasto B'''
'''Osasto C'''
...
'''Osasto H'''
'''Osasto I'''
mutta ei
'''Osasto '''J

Jos merkki <tt>-</tt> halutaan sisällyttää hakasulkuilmaisuun, se jätetään viimeiseksi. Esim.
Ala[ -]aste
vastaa
'''Ala aste'''
'''Ala-aste'''

Jos oikea hakasulku (<tt>]</tt>) halutaan sisällyttää hakasulkuilmaukseen, se laitetaan hakasulkujen ensimmäiseksi merkiksi. Esim.
[]abcdef]+
vastaa
'''a'''
'''b'''
''']'''
'''ab]'''
'''d]f'''
jne., mutta ei
[gi
zo

Hakasulkuilmaisusn merkitys voidaan kääntää asettamalla hattu <tt>^</tt> sen ensimmäiseksi merkiksi. Tällöin hakasulkuilmaisu vastaa mitä tahansa hakasuluissa '''ei''' esiintyvää merkkiä kohteessa. Täten lauseke
[^aeiouyåäö]+
vastaa mitä tahansa pelkistä konsonanteista, välimerkeistä ja numeroista koostuvaa kohdetta, kuten
'''prrr'''
'''123'''
'''hkr'''
'''brr-hrr'''
jne. Mutta ei
au
aiai
jne.

Grepin hyväksymissä säännöllisissä lausekkeissa merkin <tt>^</tt> voi sisällyttää hakasulkuilmaukseen laittamalla sen miksi tahansa muuksi merkiksi, kuin hakasulkujen ensimmäinen merkki. Tämä ei pidä välttämättä paikkaansa kuitenkaan kaikilla säännöllisten lausekkeiden toteutuksilla, vaan hattumerkin eteen on mahdollisesti laitettava pako-operaattori <tt>\</tt>.

====Pako-operaattori: <tt>\</tt>====
Jos halutaan vastata jotain merkkiä, joka on määritelty operaattoriksi säännöllisissä lausekkeissa, sitä ei voida kirjoittaa sellaisenaan lausekkeeseen. Jos halutaan vastata tarkalleen jotain seuraavista
Mitä?
Missä?
Milloin?
ei voida kirjoittaa lauseketta
(Mi(tä|ssä|lloin))?
koska kysymysmerkki <tt>?</tt> lopussa vain ehdollista koko ulomman sulkuilmaisun, ja koko lauseke vastaisi siis vain joko tyhjää merkkijonoa tai kysymysmerkitöntä kysymyssanaa.

Tarvitaan pako-operaattoria <tt>\</tt>. Merkin <tt>?</tt> tai ylipäänsä minkä tahansa opraattorimerkin erikoismerkityksen voi poistaa asettamalla sen eteen kenoviivan. Tällöin kenoviivaa välittömästi seuraava merkki täytyy esiintyä kohteessa sellaisenaan. Oikea tapa kirjoittaa yllä oleva lauseke olisi siten
(Mi(tä|ssä|lloin))\?
Tämä vastaa vain ja ainoastaan haluttuja merkkijonoja.

Seuraavat operaattorit on merkittävä pako-operaattorilla, jos niitä ei haluta tulkittavan erikoismerkeiksi:
( ) | * + ? { } [ ] ^ $ \

Siis, jos halutaan vastata kohteessa kenoviivaa, on kirjoitettava <tt>\\</tt>. Esimerkiksi Windows-polku:
''<asema>'':\Dokumentit\''<nimi>''.(doc, docx tai odt)
voidaan löytää esim. seuraavalla säännöllisellä lausekkeella:
[A-Z]:\\Dokumentit\\[a-öA-Ö0-9 _-]+\.(doc|docx|odt)

=== Rivin alku ja loppu: <tt>^</tt> ja <tt>$</tt>===
On voinut herätä kysymys, kuinka voidaan vastata kohdetta (s.o. riviä) ''tarkalleen''. Heti alussa selvisi, että esim grepin mielestä kohde (rivi) vastaa lauseketta, jos lauseke esiintyy missä tahansa kohdassa riviä. Jos halutaan, että lauseke vastaa alusta loppuun tarkalleen koko riviä, on otettava käyttöön erikoismerkit <tt>^</tt> ja <tt>$</tt>. Nämä vastaavat kohteessa rivin tai merkkijonon alkua ja loppua kuvaavia "näkymättömiä" merkkejä vastaavasti. Siten
^abba$
vastaa vain riviä
'''abba'''
mutta ei esimerkiksi
babba
abbab
babbab
'''ab'''a
'''abb'''bba

==== Esimerkki ====

Merkit <tt>^</tt> ja <tt>$</tt> antavat viimeisen silauksen grepin tehokkaaseen hyödyntämiseen. Nyt esimerkiksi, jos tulostetaan kaikki [[prosessi]]t komennolla <tt>[[ps]] -ef</tt>, saadaan yleensä jokseenkin tälläinen listaus (esimerkissä palvelinkone):

$ ps -ef
UID PID PPID C STIME TTY TIME CMD
root 1 0 0 Jan21 ? 00:00:34 init [2]
root 1425 1 0 Jan31 ? 00:00:00 /usr/sbin/xinetd
qmails 3986 1 0 Jan21 ? 00:00:00 qmail-send
qmaill 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
root 3993 3986 0 Jan21 ? 00:00:00 qmail-lspawn | /usr/bin/deliverquota ./Maildir
qmailr 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
qmailq 3995 3986 0 Jan21 ? 00:00:00 qmail-clean
root 5566 1 0 Jan21 ? 00:00:05 /usr/sbin/apache2 -k start
root 6091 1 0 Jan21 ? 00:00:03 /usr/sbin/cron
www-data 15379 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
www-data 15386 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
root 21684 32395 0 20:37 ? 00:00:00 sshd: user [priv]
user 21688 21684 0 20:37 ? 00:00:00 sshd: user@pts/1
user 21689 21688 0 20:37 pts/1 00:00:00 -bash
user 21705 21689 0 20:37 pts/1 00:00:00 ps -ef
syslog 32279 1 0 Jan21 ? 00:00:07 /sbin/syslogd -u syslog
bind 32351 1 0 Jan31 ? 00:00:00 /usr/sbin/named
root 32395 1 0 Jan21 ? 00:00:22 /usr/sbin/sshd
(... jne ...)

Jos haluamme ylläolevasta listasta vain "qmail" -alkuisten [[käyttäjä|käyttäjien]] prosessit, voisimme kirjoittaa
ps -ef | grep qmail
Tämä kuitenkin tulostaa myös kaikki sellaiset prosessit, joiden nimikentässä esiintyy "qmail" – joukossa myös käyttäjän [[root]] prosesseja vastoin alkuperäistä tarkoitusta:
$ ps -ef | grep qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 '''qmail'''-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger '''qmail''' 2
root 3993 3986 0 Jan21 ? 00:00:00 '''qmail'''-lspawn | /usr/bin/deliverquota ./Maildir
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 '''qmail'''-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 '''qmail'''-clean

Ratkaisu qmail -alkuisten käyttäjien prosessien listaamiseen on:
$ ps -ef | grep ^qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 qmail-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 qmail-clean

Hattumerkki <tt>^</tt> alussa vastaa jokaisen listausrivin alkua, jota pitää välittömästi seurata merkkijono <tt>qmail</tt>, ja tämän jälkeen voi tulla mikä tahansa merkki (ilmaisu <tt>.</tt>). Grep tulostaa vain lausketta vastaavat rivit, ja tulos on haluttu.

===== Pako komentotulkista =====
Jos halutaan antaa jokin monimutkaisempi ilmaisu, on hyvä asettaa säännöllinen lauseke yksinkertaisten heittomerkkien <tt>'</tt> sisään, jotta ne regexp-operaattorit, joillla on jokin erikoismerkitys [[komentotulkki|komeotulkissa]] eivät aiheuta ongelmia.
$ echo moi | egrep m(o|a)i
-bash: syntax error near unexpected token `('
Sululla <tt>(</tt> on erikoismerkitys komentotulkissa, samoin merkillä <tt>[[putki||]]</tt>. Ratkaisu:
$ echo moi | egrep 'm(o|a)i'
moi
Esimerkissä käytettiin komentoa egrep. Se on oikopolku grepin [[valitsin|valitsimelle]] <tt>-E</tt>, joka ottaa säännöllisten lausekkeiden laajennetun tuen käyttöön. Normaalissa käytössä (pelkkö komento <tt>grep</tt>) operaattorit <tt>? + {} | (</tt> ja <tt>)</tt> eivät ole käytettävissä, paitsi asettamalla niiden eteen pako-operaattori <tt>\</tt>.

Jos ylläolevassa prosessilistausesimerkissä halutaan tulostaa pelkät prosessien [[PID]]-numerot, voidaan käyttää [[awk]]-työkalua seuraavasti:
$ ps -ef | awk '/^qmail/ { print $2 }'
3986
3990
3994
3995

== Esimerkkejä lausekkeista ==
Web-kuva:
[^ ]+\.(png|PNG|jpg|JPG|jpeg|JPEG|gif|GIF)
Päivämäärä muotoa pp.kk.vvvv:
[0-9]{1,2}\.[0-9]{1,2}\.[0-9]{4}
2-merkkinen [[wikipedia:fi:heksadesimaalijärjestelmä|heksadesimaali]]:
[0-9A-Fa-f]{2}
Sähköpostiosoite:
[a-zA-Z0-9_]+@[a-zA-Z0-9_\.]+\.[a-zA-Z]{2,3}

== Laajennukset ==
Yllä esitetty on hyvä lähtökohta säännöllisiin lausekkeisiin, ja kaikki modernit [[POSIX]]-yhteensopivat toteutukset tukevat mainittuja operaattoreita ja erikoismerkkejä. Monissa ohjelmointikielissä on tehty laajennuksia tähän, mutta esim. [[grep]] ei tue seuraavia.

=== Pakoluokat ===
Jos halutaan kirjoittaa lause, joka jossain kohtaa vastaa mitä tahansa numeromerkkiä, voidaan kirjoittaa hakasulkuilmaus <tt>[0-9]</tt>. Tälläisille yleisesti käytetyille luokille on kuitenkin olemassa laajennuksissa helpompia nimiä. Kutsutaan näitä ''pakoluokiksi''.

{| style="border-style: solid; border-collapse: collapse" border="1"
|+'''Pakoluokat'''
|-
! Ilmaisu !! Merkitys !! Vastaava hakasulkuilmaus
|-
| <tt>\w</tt> || Mikä tahansa aakkonen a-z, numero tai alaviiva <tt>_</tt>. || <tt>[a-zA-Z0-9_]</tt>
|-
| <tt>\W</tt> || Äskeisen vastakohta; mikä tahansa muu kuin aakkonen a-z, numero tai alaviiva. || <tt>[^a-zA-Z0-9_]</tt>
|-
| <tt>\s</tt> || Mikä tahansa tyhjä merkki (esim. välilyönti tai tabulaattori) || esim. <tt>[ \t]</tt>, jossa <tt>\t</tt> tabulaattorimerkki
|-
| <tt>\S</tt> || Äskeisen vastakohta; mikä tahansa ei-tyhjä merkki || esim. <tt>[^ \t]</tt>
|-
| <tt>\d</tt> || Mikä tahansa numero. || <tt>[0-9]</tt>
|-
| <tt>\D</tt> || Äskeisen vastakohta; mikä tahansa ei-numero. || <tt>[^0-9]</tt>
|}

Lauseke
\d+
vastaa siis kaikkia numeroita aivan siinä missä myös
[0-9]+

==Katso myös==
* [[Komentorivin perusteet]]
* [[Grep]] ja [[Awk]]
** [[Putki]]
* [[Ed]] ja [[Sed]]: tuki säännöllisille lausekkeille
* [[Vi]] ja [[vim]]: näiden graaffinen tila
* [[Emacs]]

==Aiheesta muualla==
*[[wikipedia:fi:säännöllinen lauseke|Säännöllinen lauseke]]
*[[wikipedia:fi:äärellinen automaatti|Äärellinen automaatti]]
*[[wikipedia:fi:pinoautomaatti|Pinoautomaatti]]
*[[wikipedia:fi:turingin kone|Turingin kone]]
*[http://www.ohjelmointiputka.net/opas.php?tunnus=phpsl Säännölliset lausekkeet PHP:ssä] -opas Ohjelmointiputkassa
*[http://swtch.com/~rsc/regexp/regexp1.html Regular Expression Matching Can Be Simple And Fast]: Keskustelua säännöllisten lausekkeiden toteutuksesta C-kielellä englanniksi.

[[Luokka:Käsitteet]]
[[Luokka:Komentorivi]]
[[Luokka:Perustietoa]]

Säännöllinen lauseke

2010-02-17T00:25:44Z

Ordyh: /* Pakoluokat */ kor.

'''Säännöllinen lauseke''' (engl. '''regular expression''', '''regexp''') on yksinkertainen merkkijonokieli, joka voi joko ''vastata'' tai ''olla vastaamatta'' jotain toista merkkijonoa. Linux- ja Unix-järjestelmissä säännöllisiä lauskkeista on suurta hyötyä [[komentorivi]]ä käytettäessä, mm. komennoissa [[awk]] ja [[grep]]. Niiden voidaankin sanoa olevan [[putki]]ttamiseen yhdistettynä tärkeimpiä työkaluja, joita komentorivin edistynyt käyttö edellyttää.

== Teoriaa ==
Tietojenkäsittelytieteessä puhutaan [[wikipedia:fi:säännöllinen kieli|säännöllisestä kielestä]], joka voidaan tunnistaa [[wikipedia:fi:äärellinen automaatti|äärellisellä automaatilla]]. Säännöllisiä lausekkeita käytetään myös monissa ohjelmointikielissä (mm. Perl, Java, Python, ECMAScript). Mille tahansa [[wikipedia:en:Turing complete|Turing-täydelliselle]] ohjelmointikielelle voidaan kuitenkin aina kirjoittaa säännöllisten lausekkeiden [[wikipedia:fi:Ohjelmointikielen tulkki|tulkki]].

== Johdatus säännöllisiin lausekkeisiin ==

===Perusteet===
Säännöllinen lauseke joko ''vastaa'' tai ''ei vastaa'' merkkijonoa. Kutsutaan säännöllistä lauseketta ''lausekkeeksi'' ja merkkijonoa, jonka vastaavuus lausekkeeseen halutaan selvittää, ''kohteeksi''.

Lausekkeen yksinkertaiset kirjoitusmerkit vastaavat yksi-yhteen kohteen kirjoitusmerkkejä. Tämän vuoksi lauseke
abba
vastaa yllätyksettömästi kohdetta
'''abba'''
mutta ei kohdetta
bono

Yleensä (mm. grep ja awk) katsotaan, että kohteen alussa ja lopussa voi olla mielivaltainen määrä ei-vastaavia merkkejä. Tällöin kohde (s.o. näiden komentojen tapauksessa ''rivi'') vastaa lauseketta, jos edes jokin sen ''osa'' vastaa lauseketta. Siis grep ja awk -yhteydessä lauseke
abba
vastaa kohdetta
bo'''abba'''bo
ja
dada'''abba'''gada
mutta ei silti kohdetta
b'''abb'''bab

===Operaattorit===
Yksi-yhteen vastaavien kirjoitusmerkkien lisäksi säännöllisissä lausekkeissa on mahdollisuus käyttää erilaisia ''operaattorimerkkejä'', joilla on lausekkeessa erikoismerkitys.

====Vaihtoehtoisuusoperaattori: <tt>|</tt>====
Näistä ensimmäinen on operaattori <tt>|</tt>, joka tarkoittaa ''vaihtelua'' tai ''alternointia'' (engl. alternation). Sen merkitys on sama kuin luonnollisen kielen sanalla "tai". Lauseke
omena|luumu
vastaa sekä kohteita
'''omena'''
että
'''luumu'''
Kun lisäksi muistamme yltä, että komentorivityökalujen tapauksessa kohde voi sisältää ei-vastaavia merkkejä sekä alussa että lopussa, vastaa ylläoleva lauseke <tt>omena|luumu</tt> myös merkkijonoja
uuni'''omena'''
tai
'''luumu'''soppa
Huomaa kuitenkin, että seuraavassa kohteessa vain ensimmäinen esiintymä vastaa lauseketta
kotimainen '''omena'''-luumuhillo

====Toisto-operaattorit====
Merkeillä <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja ilmaisulla <tt>{n,m}</tt> on säännöllisissä lausekkeissa erikoismerkitys, joka vaikuttaa niitä ''välittömästi edeltävään'' merkkiin.

=====Mielivaltaisen monta: <tt>*</tt>=====
Operaattori <tt>*</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, tai ei kertaakaan"''. Siten lauseke
ab*a
vastaa kaikkia seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
'''aa'''
mutta ei seuraavia:
'''a'''cccca
bba

Todettakooon, että selvästi b-merkkien määrä kohteessa voi olla mielivaltainen, joten eri vastaavia kohdemerkkijonoja on olemassa myös ääretön määrä.

=====Vähintään yksi: <tt>+</tt>=====
Operaattori <tt>+</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, mutta vähintään kerran"''. Siten lauseke
ab+a
vastaa seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
mutta ei seuraavia:
'''a'''a
'''a'''cccca
bba

=====Ehdollinen: <tt>?</tt>=====
Operaattori <tt>?</tt> tarkoittaa ''"edellinen kerran, tai ei kertaakaan''". Siten lauseke
ab?a
vastaa seuraavia kohteita:
'''aba'''
'''aa'''
mutta ei mitään seuraavista:
'''ab'''bbbbbbbbbbbbbbbba
'''ab'''bba
'''ab'''ba
'''a'''cccca
bba

=====n:stä m:n kertaan: <tt>{n, m}</tt>=====
Aina yllä olevat operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> eivät riitä, vaan jotain merkkiä tarvitsee vastata juuri tietyn määrän toistoja. Voitaisiin toki kirjoittaa
aaaa?a?
jos halutaan vastata
aaa
aaaa
aaaaa
mutta voidaan kirjoittaa lyhyemmin
a{3,5}
Tämä tarkoittaa, että edeltävää merkkiä <tt>a</tt> voi esiintyä kolmesta viiteen kertaan. Käytetään yleisesti tästä ilmaisusta mallia <tt>{n,m}</tt>, jossa <tt>n</tt> ja <tt>m</tt> ovat mielivaltaisia kokonaislukuja, tarkoittaen ''"n:stä m:n kertaan"''.

Kumpi tahansa numeroista <tt>n</tt> ja <tt>m</tt> voidaan jättää pois. Täten ilmaisu
{n}
tarkoittaa ''"tasan n kertaa"'. Ilmaisu
{n,}
tarkoittaa ''"vähintään n kertaa"''. Ilmaisu
{,m}
tarkoittaa ''"korkeintaan m kertaa"''.

Sivuhuomatuksena todettakoon, että yllä olevan perusteella lyhyemmät operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> voitaisiin aina korvata ilmaisuilla <tt>{0,}</tt>, <tt>{1,}</tt> ja <tt>{0,1}</tt> vastaavasti.

===== Huomautuksia =====
Operaattoreita voi yhdistää mielivaltaisesti toisiinsa. Siten lauseke
hur+a*!*
vastaavaa kaikkia seuraavia kohteita:
'''hur'''
'''hurr'''
'''hurra'''
'''hurraa'''
'''hurraa!'''
'''hurrraaa!!!!'''
jne.

Toisaalta lauseke ''ei vastaa'' mitään seuraavista kohteista:
burraa!
'''hu'''aa!!
'''hu'''uuurraa!!
'''hurr'''urrur!!
jne.

Tässä vaiheessa on hyvä varmistaa, että ymmärtää edellä esitetyn esimerkin kokonaisuudessaan.

===Sulut: <tt>(</tt> ja <tt>)</tt>===
'''Kysymys:''' Jos halutaan vastata kohdetta <tt>hUrrUrrUrr</tt> siten, että merkkijono <tt>Urr</tt> voi esiintyä kohteessa äärettömän monta kertaa, miten tulee toimia?

'''Vastaus:''' Tämä on mahdotonta tähän mennessä esitetyillä operaattoreilla. Voisimme toki kirjoittaa <tt>hU+r+r+</tt> tai vastaavaa, mutta tämä vastaisi vain kohteita kuten <tt>hUUrrrr</tt>. Tarvitsemme selvästi uuden operaattorin; ''sulut''.

Merkeillä <tt>(</tt> ja <tt>)</tt> voidaan määrittää lausekkeen osia, jotka samaan tapaan kuin koulumatematiikassa lasketaan ''ennen'' laskun muita osia. Koska säännöllisissä lausekkeissa ei kuitenkaan lasketa mitään, havainnollistetaan sulkujen merkitystä esittämällä ratkaisu yllä olevaan kysymykseen.

Lauseke
h(Urr)+
vastaa kohteita
'''hUrr'''
'''hUrrUrr'''
'''hUrrUrrUrr'''
'''hUrrUrrUrrUrr'''
jne. jne. Lauseke ei vastaa seuraavia kohteita:
'''h'''Arr
'''h'''Err
burr

Samoin kohde
'''hUr'''
näyttää oikealta, mutta jää kuitenkin liian lyhyeksi, sillä sulkujen sisältö on löydyttävä kohteesta aina ''kokonaan''. Siksi kohde <tt>hUr</tt> ei vastaa lauseketta <tt>h(Urr)+</tt>.

====Esimerkkejä====

Sulkuja voi yhdistellä mielivaltaisesti kaikkiin operaattoreihin <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja <tt>|</tt>. Seuraavassa on annettu sarja lausekkeita, sekä esimerkkejä kutakin vastaavista ja vastaamattomista kohteista:

Lauseke
d(ii)?pada+(pa|ba)?
vastaa esimerkiksi seuraavia kohteita
'''diipadaaba'''
'''diipadaapa'''
'''dpadaapa'''
'''dpadaaba'''
'''diipadaaaaapa'''
'''diipadaaaaaba'''
'''diipada'''
'''diipada'''
'''diipadaaa'''
'''diipadaaaa'''
mutta ei mitään seuraavista
'''di'''padaapa
'''diipad'''uu
'''diipad'''

Viimeinen esimerkki jää lyhyeksi, sillä merkki <tt>a</tt> on lausekkeessa pakollinen vähintään kerran.

Lauseke
(hi|ha|ho)+
vastaa mitä tahansa kohdetta, jossa esiintyy mikä tahansa määrä merkkijonoja <tt>hi</tt>, <tt>ha</tt> ja <tt>ho</tt> peräkkäin mielivaltaisen monta kertaa, kuitenkin vähintään kerran. Lauseke vastaa siis kaikkia seuraavia:
'''hi'''
'''ha'''
'''ho'''
'''hihi'''
'''haha'''
'''hiha'''
'''hoho'''
'''hihaho'''
'''hahohihohahi'''
mutta ei
'''h'''e
'''h'''u
'''h'''uhu
'''h'''ehe

===Yhtä merkkiä vastaavat erikoismerkit===
Säännöllisissä lausekkeissa voi esiintyä myös joitain erikoismerkkejä, jotka eivät ole operaattoreita, eli ne eivät vaikuta niitä edeltäviin sulkuihin tai merkkeihin. Ne voitaisiin aina kirjoittaa lausekkeilla muotoa
(merkki1|merkki2|merkki3|merkki4|...|merkkiN)
mutta tämä on varsin työlästä ja epäselkeää. Siksi säännöllisissä lausekkeissa on joitain erikoismerkkejä, jotka ovat oikopolkuja monimutkaisten vaihtoehtoisuuslausekkeiden kirjoittamiseen.

====Jokerimerkki: <tt>.</tt>====
Merkillä <tt>.</tt> (piste) on erikoismerkitys. Se vastaa aina ''mitä tahansa'' merkkiä. Lauseke
.*
vastaa siis kaikkia mahdollisia kohteita - jopa tyhjää merkkijonoa, sillä operaattori <tt>*</tt> tarkoittaa, että erikoisoperaattori "mikä tahansa merkki" voi esiintyä myös nolla kertaa.

Lauseke
(h.)+
vastaa siten kaikkia seuraavista:
'''ha'''
'''he'''
'''hi'''
'''hy'''
'''hr'''
'''hihrhy'''
mutta ei
rh
ah
oh
ih
'''h'''
Viimeinen esimerkki jää jälleen lyhyeksi, sillä <tt>.</tt> ei vastaa kuitenkaan "tyhjää" merkkiä.

Lauseke
.upu
vastaa
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''
mutta myös
'''supu'''
mutta ei
sepe

====Merkkiluokat: <tt>[]</tt>====
Jos halutaan korjata ylläoleva Ankanpoika-esimerkki, voitaisiin kirjoittaa:
(t|h|l|T|H|L)upu
joka vastaisi vain ja ainoastaan:
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''

Merkkien <tt>[]</tt> avulla voidaan määritellä kirjainluokkia siten, että seuraava merkki kohteessa vastaa vain ja ainoastaan jotain hakasulkujen välissä olevaa kirjainta. Siten äskeistä täysin vastaa lauseke on
[thlTHL]upu

Hakasulkujen välissä voidaan myös määritellä aakkoston mukaisia välejä väliviivalla <tt>-</tt>. Tällöin
19[4-9][0-9]|20[0-9][0-9]
vastaa kaikkia vuosilukuja välillä 1940-2099. Samoin
Osasto [A-I]
vastaa
'''Osasto A'''
'''Osasto B'''
'''Osasto C'''
...
'''Osasto H'''
'''Osasto I'''
mutta ei
'''Osasto '''J

Jos merkki <tt>-</tt> halutaan sisällyttää hakasulkuilmaisuun, se jätetään viimeiseksi. Esim.
Ala[ -]aste
vastaa
'''Ala aste'''
'''Ala-aste'''

Jos oikea hakasulku (<tt>]</tt>) halutaan sisällyttää hakasulkuilmaukseen, se laitetaan hakasulkujen ensimmäiseksi merkiksi. Esim.
[]abcdef]+
vastaa
'''a'''
'''b'''
''']'''
'''ab]'''
'''d]f'''
jne., mutta ei
[gi
zo

Hakasulkuilmaisusn merkitys voidaan kääntää asettamalla hattu <tt>^</tt> sen ensimmäiseksi merkiksi. Tällöin hakasulkuilmaisu vastaa mitä tahansa hakasuluissa '''ei''' esiintyvää merkkiä kohteessa. Täten lauseke
[^aeiouyåäö]+
vastaa mitä tahansa pelkistä konsonanteista, välimerkeistä ja numeroista koostuvaa kohdetta, kuten
'''prrr'''
'''123'''
'''hkr'''
'''brr-hrr'''
jne. Mutta ei
au
aiai
jne.

Grepin hyväksymissä säännöllisissä lausekkeissa merkin <tt>^</tt> voi sisällyttää hakasulkuilmaukseen laittamalla sen miksi tahansa muuksi merkiksi, kuin hakasulkujen ensimmäinen merkki. Tämä ei pidä välttämättä paikkaansa kuitenkaan kaikilla säännöllisten lausekkeiden toteutuksilla, vaan hattumerkin eteen on mahdollisesti laitettava pako-operaattori <tt>\</tt>.

====Pako-operaattori: <tt>\</tt>====
Jos halutaan vastata jotain merkkiä, joka on määritelty operaattoriksi säännöllisissä lausekkeissa, sitä ei voida kirjoittaa sellaisenaan lausekkeeseen. Jos halutaan vastata tarkalleen jotain seuraavista
Mitä?
Missä?
Milloin?
ei voida kirjoittaa lauseketta
(Mi(tä|ssä|lloin))?
koska kysymysmerkki <tt>?</tt> lopussa vain ehdollista koko ulomman sulkuilmaisun, ja koko lauseke vastaisi siis vain joko tyhjää merkkijonoa tai kysymysmerkitöntä kysymyssanaa.

Tarvitaan pako-operaattoria <tt>\</tt>. Merkin <tt>?</tt> tai ylipäänsä minkä tahansa opraattorimerkin erikoismerkityksen voi poistaa asettamalla sen eteen kenoviivan. Tällöin kenoviivaa välittömästi seuraava merkki täytyy esiintyä kohteessa sellaisenaan. Oikea tapa kirjoittaa yllä oleva lauseke olisi siten
(Mi(tä|ssä|lloin))\?
Tämä vastaa vain ja ainoastaan haluttuja merkkijonoja.

Seuraavat operaattorit on merkittävä pako-operaattorilla, jos niitä ei haluta tulkittavan erikoismerkeiksi:
( ) | * + ? { } [ ] ^ $ \

Siis, jos halutaan vastata kohteessa kenoviivaa, on kirjoitettava <tt>\\</tt>. Esimerkiksi Windows-polku:
''<asema>'':\Dokumentit\''<nimi>''.(doc, docx tai odt)
voidaan löytää esim. seuraavalla säännöllisellä lausekkeella:
[A-Z]:\\Dokumentit\\[a-öA-Ö0-9 _-]+\.(doc|docx|odt)

=== Rivin alku ja loppu: <tt>^</tt> ja <tt>$</tt>===
On voinut herätä kysymys, kuinka voidaan vastata kohdetta (s.o. riviä) ''tarkalleen''. Heti alussa selvisi, että esim grepin mielestä kohde (rivi) vastaa lauseketta, jos lauseke esiintyy missä tahansa kohdassa riviä. Jos halutaan, että lauseke vastaa alusta loppuun tarkalleen koko riviä, on otettava käyttöön erikoismerkit <tt>^</tt> ja <tt>$</tt>. Nämä vastaavat kohteessa rivin tai merkkijonon alkua ja loppua kuvaavia "näkymättömiä" merkkejä vastaavasti. Siten
^abba$
vastaa vain riviä
'''abba'''
mutta ei esimerkiksi
babba
abbab
babbab
'''ab'''a
'''abb'''bba

==== Esimerkki ====

Merkit <tt>^</tt> ja <tt>$</tt> antavat viimeisen silauksen grepin tehokkaaseen hyödyntämiseen. Nyt esimerkiksi, jos tulostetaan kaikki [[prosessi]]t komennolla <tt>[[ps]] -ef</tt>, saadaan yleensä jokseenkin tälläinen listaus (esimerkissä palvelinkone):

$ ps -ef
UID PID PPID C STIME TTY TIME CMD
root 1 0 0 Jan21 ? 00:00:34 init [2]
root 1425 1 0 Jan31 ? 00:00:00 /usr/sbin/xinetd
qmails 3986 1 0 Jan21 ? 00:00:00 qmail-send
qmaill 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
root 3993 3986 0 Jan21 ? 00:00:00 qmail-lspawn | /usr/bin/deliverquota ./Maildir
qmailr 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
qmailq 3995 3986 0 Jan21 ? 00:00:00 qmail-clean
root 5566 1 0 Jan21 ? 00:00:05 /usr/sbin/apache2 -k start
root 6091 1 0 Jan21 ? 00:00:03 /usr/sbin/cron
www-data 15379 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
www-data 15386 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
root 21684 32395 0 20:37 ? 00:00:00 sshd: user [priv]
user 21688 21684 0 20:37 ? 00:00:00 sshd: user@pts/1
user 21689 21688 0 20:37 pts/1 00:00:00 -bash
user 21705 21689 0 20:37 pts/1 00:00:00 ps -ef
syslog 32279 1 0 Jan21 ? 00:00:07 /sbin/syslogd -u syslog
bind 32351 1 0 Jan31 ? 00:00:00 /usr/sbin/named
root 32395 1 0 Jan21 ? 00:00:22 /usr/sbin/sshd
(... jne ...)

Jos haluamme ylläolevasta listasta vain "qmail" -alkuisten [[käyttäjä|käyttäjien]] prosessit, voisimme kirjoittaa
ps -ef | grep qmail
Tämä kuitenkin tulostaa myös kaikki sellaiset prosessit, joiden nimikentässä esiintyy "qmail" – joukossa myös käyttäjän [[root]] prosesseja vastoin alkuperäistä tarkoitusta:
$ ps -ef | grep qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 '''qmail'''-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger '''qmail''' 2
root 3993 3986 0 Jan21 ? 00:00:00 '''qmail'''-lspawn | /usr/bin/deliverquota ./Maildir
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 '''qmail'''-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 '''qmail'''-clean

Ratkaisu qmail -alkuisten käyttäjien prosessien listaamiseen on:
$ ps -ef | grep ^qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 qmail-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 qmail-clean

Hattumerkki <tt>^</tt> alussa vastaa jokaisen listausrivin alkua, jota pitää välittömästi seurata merkkijono <tt>qmail</tt>, ja tämän jälkeen voi tulla mikä tahansa merkki (ilmaisu <tt>.</tt>). Grep tulostaa vain lausketta vastaavat rivit, ja tulos on haluttu.

===== Pako komentotulkista =====
Jos halutaan antaa jokin monimutkaisempi ilmaisu, on hyvä asettaa säännöllinen lauseke yksinkertaisten heittomerkkien <tt>'</tt> sisään, jotta ne regexp-operaattorit, joillla on jokin erikoismerkitys [[komentotulkki|komeotulkissa]] eivät aiheuta ongelmia.
$ echo moi | egrep m(o|a)i
-bash: syntax error near unexpected token `('
Sululla <tt>(</tt> on erikoismerkitys komentotulkissa, samoin merkillä <tt>[[putki||]]</tt>. Ratkaisu:
$ echo moi | egrep 'm(o|a)i'
moi
Esimerkissä käytettiin komentoa egrep. Se on oikopolku grepin [[valitsin|valitsimelle]] <tt>-E</tt>, joka ottaa säännöllisten lausekkeiden laajennetun tuen käyttöön. Normaalissa käytössä (pelkkö komento <tt>grep</tt>) operaattorit <tt>? + {} | (</tt> ja <tt>)</tt> eivät ole käytettävissä, paitsi asettamalla niiden eteen pako-operaattori <tt>\</tt>.

Jos ylläolevassa prosessilistausesimerkissä halutaan tulostaa pelkät prosessien [[PID]]-numerot, voidaan käyttää [[awk]]-työkalua seuraavasti:
$ ps -ef | awk '/^qmail/ { print $2 }'
3986
3990
3994
3995

== Esimerkkejä lausekkeista ==
Web-kuva:
[^ ]+\.(png|PNG|jpg|JPG|jpeg|JPEG|gif|GIF)
Päivämäärä muotoa pp.kk.vvvv:
[0-9]{1,2}\.[0-9]{1,2}\.[0-9]{4}
2-merkkinen [[wikipedia:fi:heksadesimaalijärjestelmä|heksadesimaali]]:
[0-9A-Fa-f]{2}
Sähköpostiosoite:
[a-zA-Z0-9_]+@[a-zA-Z0-9_\.]+\.[a-zA-Z]{2,3}

== Laajennukset ==
Yllä esitetty on hyvä lähtökohta säännöllisiin lausekkeisiin, ja kaikki modernit [[POSIX]]-yhteensopivat toteutukset tukevat mainittuja operaattoreita ja erikoismerkkejä. Monissa ohjelmointikielissä on tehty laajennuksia tähän, mutta esim. [[grep]] ei tue seuraavia.

=== Pakoluokat ===
Jos halutaan kirjoittaa lause, joka jossain kohtaa vastaa mitä tahansa numeromerkkiä, voidaan kirjoittaa hakasulkuilmaus <tt>[0-9]</tt>. Tälläisille yleisesti käytetyille luokille on kuitenkin olemassa laajennuksissa helpompia nimiä. Kutsutaan näitä ''pakoluokiksi''.

{| style="border-style: solid; border-collapse: collapse" border="1"
|+'''Pakoluokat'''
|-
! Ilmaisu !! Merkitys !! Vastaava hakasulkuilmaus
|-
| <tt>\w</tt> || Mikä tahansa kirjain, numero tai alaviiva. || <tt>[a-zA-Z0-9_]</tt>
|-
| <tt>\W</tt> || Äskeisen vastakohta; mikä tahansa muu kuin kirjain, numero tai alaviiva. || <tt>[^a-zA-Z0-9_]</tt>
|-
| <tt>\s</tt> || Mikä tahansa tyhjä merkki (esim. välilyönti tai tabulaattori) || esim. <tt>[ \t]</tt>, jossa <tt>\t</tt> tabulaattorimerkki
|-
| <tt>\S</tt> || Äskeisen vastakohta; mikä tahansa ei-tyhjä merkki || esim. <tt>[^ \t]</tt>
|-
| <tt>\d</tt> || Mikä tahansa numero. || <tt>[0-9]</tt>
|-
| <tt>\D</tt> || Äskeisen vastakohta; mikä tahansa ei-numero. || <tt>[^0-9]</tt>
|}

Lauseke
\d+
vastaa siis kaikkia numeroita aivan siinä missä myös
[0-9]+

==Katso myös==
* [[Komentorivin perusteet]]
* [[Grep]] ja [[Awk]]
** [[Putki]]
* [[Ed]] ja [[Sed]]: tuki säännöllisille lausekkeille
* [[Vi]] ja [[vim]]: näiden graaffinen tila
* [[Emacs]]

==Aiheesta muualla==
*[[wikipedia:fi:säännöllinen lauseke|Säännöllinen lauseke]]
*[[wikipedia:fi:äärellinen automaatti|Äärellinen automaatti]]
*[[wikipedia:fi:pinoautomaatti|Pinoautomaatti]]
*[[wikipedia:fi:turingin kone|Turingin kone]]
*[http://www.ohjelmointiputka.net/opas.php?tunnus=phpsl Säännölliset lausekkeet PHP:ssä] -opas Ohjelmointiputkassa
*[http://swtch.com/~rsc/regexp/regexp1.html Regular Expression Matching Can Be Simple And Fast]: Keskustelua säännöllisten lausekkeiden toteutuksesta C-kielellä englanniksi.

[[Luokka:Käsitteet]]
[[Luokka:Komentorivi]]
[[Luokka:Perustietoa]]

Säännöllinen lauseke

2010-02-17T00:24:37Z

Ordyh: /* Esimerkki */ korostus. esimerkit ovat osa vähän köykäisiä, joten parempia saa mielellään ehdottaa

'''Säännöllinen lauseke''' (engl. '''regular expression''', '''regexp''') on yksinkertainen merkkijonokieli, joka voi joko ''vastata'' tai ''olla vastaamatta'' jotain toista merkkijonoa. Linux- ja Unix-järjestelmissä säännöllisiä lauskkeista on suurta hyötyä [[komentorivi]]ä käytettäessä, mm. komennoissa [[awk]] ja [[grep]]. Niiden voidaankin sanoa olevan [[putki]]ttamiseen yhdistettynä tärkeimpiä työkaluja, joita komentorivin edistynyt käyttö edellyttää.

== Teoriaa ==
Tietojenkäsittelytieteessä puhutaan [[wikipedia:fi:säännöllinen kieli|säännöllisestä kielestä]], joka voidaan tunnistaa [[wikipedia:fi:äärellinen automaatti|äärellisellä automaatilla]]. Säännöllisiä lausekkeita käytetään myös monissa ohjelmointikielissä (mm. Perl, Java, Python, ECMAScript). Mille tahansa [[wikipedia:en:Turing complete|Turing-täydelliselle]] ohjelmointikielelle voidaan kuitenkin aina kirjoittaa säännöllisten lausekkeiden [[wikipedia:fi:Ohjelmointikielen tulkki|tulkki]].

== Johdatus säännöllisiin lausekkeisiin ==

===Perusteet===
Säännöllinen lauseke joko ''vastaa'' tai ''ei vastaa'' merkkijonoa. Kutsutaan säännöllistä lauseketta ''lausekkeeksi'' ja merkkijonoa, jonka vastaavuus lausekkeeseen halutaan selvittää, ''kohteeksi''.

Lausekkeen yksinkertaiset kirjoitusmerkit vastaavat yksi-yhteen kohteen kirjoitusmerkkejä. Tämän vuoksi lauseke
abba
vastaa yllätyksettömästi kohdetta
'''abba'''
mutta ei kohdetta
bono

Yleensä (mm. grep ja awk) katsotaan, että kohteen alussa ja lopussa voi olla mielivaltainen määrä ei-vastaavia merkkejä. Tällöin kohde (s.o. näiden komentojen tapauksessa ''rivi'') vastaa lauseketta, jos edes jokin sen ''osa'' vastaa lauseketta. Siis grep ja awk -yhteydessä lauseke
abba
vastaa kohdetta
bo'''abba'''bo
ja
dada'''abba'''gada
mutta ei silti kohdetta
b'''abb'''bab

===Operaattorit===
Yksi-yhteen vastaavien kirjoitusmerkkien lisäksi säännöllisissä lausekkeissa on mahdollisuus käyttää erilaisia ''operaattorimerkkejä'', joilla on lausekkeessa erikoismerkitys.

====Vaihtoehtoisuusoperaattori: <tt>|</tt>====
Näistä ensimmäinen on operaattori <tt>|</tt>, joka tarkoittaa ''vaihtelua'' tai ''alternointia'' (engl. alternation). Sen merkitys on sama kuin luonnollisen kielen sanalla "tai". Lauseke
omena|luumu
vastaa sekä kohteita
'''omena'''
että
'''luumu'''
Kun lisäksi muistamme yltä, että komentorivityökalujen tapauksessa kohde voi sisältää ei-vastaavia merkkejä sekä alussa että lopussa, vastaa ylläoleva lauseke <tt>omena|luumu</tt> myös merkkijonoja
uuni'''omena'''
tai
'''luumu'''soppa
Huomaa kuitenkin, että seuraavassa kohteessa vain ensimmäinen esiintymä vastaa lauseketta
kotimainen '''omena'''-luumuhillo

====Toisto-operaattorit====
Merkeillä <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja ilmaisulla <tt>{n,m}</tt> on säännöllisissä lausekkeissa erikoismerkitys, joka vaikuttaa niitä ''välittömästi edeltävään'' merkkiin.

=====Mielivaltaisen monta: <tt>*</tt>=====
Operaattori <tt>*</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, tai ei kertaakaan"''. Siten lauseke
ab*a
vastaa kaikkia seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
'''aa'''
mutta ei seuraavia:
'''a'''cccca
bba

Todettakooon, että selvästi b-merkkien määrä kohteessa voi olla mielivaltainen, joten eri vastaavia kohdemerkkijonoja on olemassa myös ääretön määrä.

=====Vähintään yksi: <tt>+</tt>=====
Operaattori <tt>+</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, mutta vähintään kerran"''. Siten lauseke
ab+a
vastaa seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
mutta ei seuraavia:
'''a'''a
'''a'''cccca
bba

=====Ehdollinen: <tt>?</tt>=====
Operaattori <tt>?</tt> tarkoittaa ''"edellinen kerran, tai ei kertaakaan''". Siten lauseke
ab?a
vastaa seuraavia kohteita:
'''aba'''
'''aa'''
mutta ei mitään seuraavista:
'''ab'''bbbbbbbbbbbbbbbba
'''ab'''bba
'''ab'''ba
'''a'''cccca
bba

=====n:stä m:n kertaan: <tt>{n, m}</tt>=====
Aina yllä olevat operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> eivät riitä, vaan jotain merkkiä tarvitsee vastata juuri tietyn määrän toistoja. Voitaisiin toki kirjoittaa
aaaa?a?
jos halutaan vastata
aaa
aaaa
aaaaa
mutta voidaan kirjoittaa lyhyemmin
a{3,5}
Tämä tarkoittaa, että edeltävää merkkiä <tt>a</tt> voi esiintyä kolmesta viiteen kertaan. Käytetään yleisesti tästä ilmaisusta mallia <tt>{n,m}</tt>, jossa <tt>n</tt> ja <tt>m</tt> ovat mielivaltaisia kokonaislukuja, tarkoittaen ''"n:stä m:n kertaan"''.

Kumpi tahansa numeroista <tt>n</tt> ja <tt>m</tt> voidaan jättää pois. Täten ilmaisu
{n}
tarkoittaa ''"tasan n kertaa"'. Ilmaisu
{n,}
tarkoittaa ''"vähintään n kertaa"''. Ilmaisu
{,m}
tarkoittaa ''"korkeintaan m kertaa"''.

Sivuhuomatuksena todettakoon, että yllä olevan perusteella lyhyemmät operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> voitaisiin aina korvata ilmaisuilla <tt>{0,}</tt>, <tt>{1,}</tt> ja <tt>{0,1}</tt> vastaavasti.

===== Huomautuksia =====
Operaattoreita voi yhdistää mielivaltaisesti toisiinsa. Siten lauseke
hur+a*!*
vastaavaa kaikkia seuraavia kohteita:
'''hur'''
'''hurr'''
'''hurra'''
'''hurraa'''
'''hurraa!'''
'''hurrraaa!!!!'''
jne.

Toisaalta lauseke ''ei vastaa'' mitään seuraavista kohteista:
burraa!
'''hu'''aa!!
'''hu'''uuurraa!!
'''hurr'''urrur!!
jne.

Tässä vaiheessa on hyvä varmistaa, että ymmärtää edellä esitetyn esimerkin kokonaisuudessaan.

===Sulut: <tt>(</tt> ja <tt>)</tt>===
'''Kysymys:''' Jos halutaan vastata kohdetta <tt>hUrrUrrUrr</tt> siten, että merkkijono <tt>Urr</tt> voi esiintyä kohteessa äärettömän monta kertaa, miten tulee toimia?

'''Vastaus:''' Tämä on mahdotonta tähän mennessä esitetyillä operaattoreilla. Voisimme toki kirjoittaa <tt>hU+r+r+</tt> tai vastaavaa, mutta tämä vastaisi vain kohteita kuten <tt>hUUrrrr</tt>. Tarvitsemme selvästi uuden operaattorin; ''sulut''.

Merkeillä <tt>(</tt> ja <tt>)</tt> voidaan määrittää lausekkeen osia, jotka samaan tapaan kuin koulumatematiikassa lasketaan ''ennen'' laskun muita osia. Koska säännöllisissä lausekkeissa ei kuitenkaan lasketa mitään, havainnollistetaan sulkujen merkitystä esittämällä ratkaisu yllä olevaan kysymykseen.

Lauseke
h(Urr)+
vastaa kohteita
'''hUrr'''
'''hUrrUrr'''
'''hUrrUrrUrr'''
'''hUrrUrrUrrUrr'''
jne. jne. Lauseke ei vastaa seuraavia kohteita:
'''h'''Arr
'''h'''Err
burr

Samoin kohde
'''hUr'''
näyttää oikealta, mutta jää kuitenkin liian lyhyeksi, sillä sulkujen sisältö on löydyttävä kohteesta aina ''kokonaan''. Siksi kohde <tt>hUr</tt> ei vastaa lauseketta <tt>h(Urr)+</tt>.

====Esimerkkejä====

Sulkuja voi yhdistellä mielivaltaisesti kaikkiin operaattoreihin <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja <tt>|</tt>. Seuraavassa on annettu sarja lausekkeita, sekä esimerkkejä kutakin vastaavista ja vastaamattomista kohteista:

Lauseke
d(ii)?pada+(pa|ba)?
vastaa esimerkiksi seuraavia kohteita
'''diipadaaba'''
'''diipadaapa'''
'''dpadaapa'''
'''dpadaaba'''
'''diipadaaaaapa'''
'''diipadaaaaaba'''
'''diipada'''
'''diipada'''
'''diipadaaa'''
'''diipadaaaa'''
mutta ei mitään seuraavista
'''di'''padaapa
'''diipad'''uu
'''diipad'''

Viimeinen esimerkki jää lyhyeksi, sillä merkki <tt>a</tt> on lausekkeessa pakollinen vähintään kerran.

Lauseke
(hi|ha|ho)+
vastaa mitä tahansa kohdetta, jossa esiintyy mikä tahansa määrä merkkijonoja <tt>hi</tt>, <tt>ha</tt> ja <tt>ho</tt> peräkkäin mielivaltaisen monta kertaa, kuitenkin vähintään kerran. Lauseke vastaa siis kaikkia seuraavia:
'''hi'''
'''ha'''
'''ho'''
'''hihi'''
'''haha'''
'''hiha'''
'''hoho'''
'''hihaho'''
'''hahohihohahi'''
mutta ei
'''h'''e
'''h'''u
'''h'''uhu
'''h'''ehe

===Yhtä merkkiä vastaavat erikoismerkit===
Säännöllisissä lausekkeissa voi esiintyä myös joitain erikoismerkkejä, jotka eivät ole operaattoreita, eli ne eivät vaikuta niitä edeltäviin sulkuihin tai merkkeihin. Ne voitaisiin aina kirjoittaa lausekkeilla muotoa
(merkki1|merkki2|merkki3|merkki4|...|merkkiN)
mutta tämä on varsin työlästä ja epäselkeää. Siksi säännöllisissä lausekkeissa on joitain erikoismerkkejä, jotka ovat oikopolkuja monimutkaisten vaihtoehtoisuuslausekkeiden kirjoittamiseen.

====Jokerimerkki: <tt>.</tt>====
Merkillä <tt>.</tt> (piste) on erikoismerkitys. Se vastaa aina ''mitä tahansa'' merkkiä. Lauseke
.*
vastaa siis kaikkia mahdollisia kohteita - jopa tyhjää merkkijonoa, sillä operaattori <tt>*</tt> tarkoittaa, että erikoisoperaattori "mikä tahansa merkki" voi esiintyä myös nolla kertaa.

Lauseke
(h.)+
vastaa siten kaikkia seuraavista:
'''ha'''
'''he'''
'''hi'''
'''hy'''
'''hr'''
'''hihrhy'''
mutta ei
rh
ah
oh
ih
'''h'''
Viimeinen esimerkki jää jälleen lyhyeksi, sillä <tt>.</tt> ei vastaa kuitenkaan "tyhjää" merkkiä.

Lauseke
.upu
vastaa
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''
mutta myös
'''supu'''
mutta ei
sepe

====Merkkiluokat: <tt>[]</tt>====
Jos halutaan korjata ylläoleva Ankanpoika-esimerkki, voitaisiin kirjoittaa:
(t|h|l|T|H|L)upu
joka vastaisi vain ja ainoastaan:
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''

Merkkien <tt>[]</tt> avulla voidaan määritellä kirjainluokkia siten, että seuraava merkki kohteessa vastaa vain ja ainoastaan jotain hakasulkujen välissä olevaa kirjainta. Siten äskeistä täysin vastaa lauseke on
[thlTHL]upu

Hakasulkujen välissä voidaan myös määritellä aakkoston mukaisia välejä väliviivalla <tt>-</tt>. Tällöin
19[4-9][0-9]|20[0-9][0-9]
vastaa kaikkia vuosilukuja välillä 1940-2099. Samoin
Osasto [A-I]
vastaa
'''Osasto A'''
'''Osasto B'''
'''Osasto C'''
...
'''Osasto H'''
'''Osasto I'''
mutta ei
'''Osasto '''J

Jos merkki <tt>-</tt> halutaan sisällyttää hakasulkuilmaisuun, se jätetään viimeiseksi. Esim.
Ala[ -]aste
vastaa
'''Ala aste'''
'''Ala-aste'''

Jos oikea hakasulku (<tt>]</tt>) halutaan sisällyttää hakasulkuilmaukseen, se laitetaan hakasulkujen ensimmäiseksi merkiksi. Esim.
[]abcdef]+
vastaa
'''a'''
'''b'''
''']'''
'''ab]'''
'''d]f'''
jne., mutta ei
[gi
zo

Hakasulkuilmaisusn merkitys voidaan kääntää asettamalla hattu <tt>^</tt> sen ensimmäiseksi merkiksi. Tällöin hakasulkuilmaisu vastaa mitä tahansa hakasuluissa '''ei''' esiintyvää merkkiä kohteessa. Täten lauseke
[^aeiouyåäö]+
vastaa mitä tahansa pelkistä konsonanteista, välimerkeistä ja numeroista koostuvaa kohdetta, kuten
'''prrr'''
'''123'''
'''hkr'''
'''brr-hrr'''
jne. Mutta ei
au
aiai
jne.

Grepin hyväksymissä säännöllisissä lausekkeissa merkin <tt>^</tt> voi sisällyttää hakasulkuilmaukseen laittamalla sen miksi tahansa muuksi merkiksi, kuin hakasulkujen ensimmäinen merkki. Tämä ei pidä välttämättä paikkaansa kuitenkaan kaikilla säännöllisten lausekkeiden toteutuksilla, vaan hattumerkin eteen on mahdollisesti laitettava pako-operaattori <tt>\</tt>.

====Pako-operaattori: <tt>\</tt>====
Jos halutaan vastata jotain merkkiä, joka on määritelty operaattoriksi säännöllisissä lausekkeissa, sitä ei voida kirjoittaa sellaisenaan lausekkeeseen. Jos halutaan vastata tarkalleen jotain seuraavista
Mitä?
Missä?
Milloin?
ei voida kirjoittaa lauseketta
(Mi(tä|ssä|lloin))?
koska kysymysmerkki <tt>?</tt> lopussa vain ehdollista koko ulomman sulkuilmaisun, ja koko lauseke vastaisi siis vain joko tyhjää merkkijonoa tai kysymysmerkitöntä kysymyssanaa.

Tarvitaan pako-operaattoria <tt>\</tt>. Merkin <tt>?</tt> tai ylipäänsä minkä tahansa opraattorimerkin erikoismerkityksen voi poistaa asettamalla sen eteen kenoviivan. Tällöin kenoviivaa välittömästi seuraava merkki täytyy esiintyä kohteessa sellaisenaan. Oikea tapa kirjoittaa yllä oleva lauseke olisi siten
(Mi(tä|ssä|lloin))\?
Tämä vastaa vain ja ainoastaan haluttuja merkkijonoja.

Seuraavat operaattorit on merkittävä pako-operaattorilla, jos niitä ei haluta tulkittavan erikoismerkeiksi:
( ) | * + ? { } [ ] ^ $ \

Siis, jos halutaan vastata kohteessa kenoviivaa, on kirjoitettava <tt>\\</tt>. Esimerkiksi Windows-polku:
''<asema>'':\Dokumentit\''<nimi>''.(doc, docx tai odt)
voidaan löytää esim. seuraavalla säännöllisellä lausekkeella:
[A-Z]:\\Dokumentit\\[a-öA-Ö0-9 _-]+\.(doc|docx|odt)

=== Rivin alku ja loppu: <tt>^</tt> ja <tt>$</tt>===
On voinut herätä kysymys, kuinka voidaan vastata kohdetta (s.o. riviä) ''tarkalleen''. Heti alussa selvisi, että esim grepin mielestä kohde (rivi) vastaa lauseketta, jos lauseke esiintyy missä tahansa kohdassa riviä. Jos halutaan, että lauseke vastaa alusta loppuun tarkalleen koko riviä, on otettava käyttöön erikoismerkit <tt>^</tt> ja <tt>$</tt>. Nämä vastaavat kohteessa rivin tai merkkijonon alkua ja loppua kuvaavia "näkymättömiä" merkkejä vastaavasti. Siten
^abba$
vastaa vain riviä
'''abba'''
mutta ei esimerkiksi
babba
abbab
babbab
'''ab'''a
'''abb'''bba

==== Esimerkki ====

Merkit <tt>^</tt> ja <tt>$</tt> antavat viimeisen silauksen grepin tehokkaaseen hyödyntämiseen. Nyt esimerkiksi, jos tulostetaan kaikki [[prosessi]]t komennolla <tt>[[ps]] -ef</tt>, saadaan yleensä jokseenkin tälläinen listaus (esimerkissä palvelinkone):

$ ps -ef
UID PID PPID C STIME TTY TIME CMD
root 1 0 0 Jan21 ? 00:00:34 init [2]
root 1425 1 0 Jan31 ? 00:00:00 /usr/sbin/xinetd
qmails 3986 1 0 Jan21 ? 00:00:00 qmail-send
qmaill 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
root 3993 3986 0 Jan21 ? 00:00:00 qmail-lspawn | /usr/bin/deliverquota ./Maildir
qmailr 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
qmailq 3995 3986 0 Jan21 ? 00:00:00 qmail-clean
root 5566 1 0 Jan21 ? 00:00:05 /usr/sbin/apache2 -k start
root 6091 1 0 Jan21 ? 00:00:03 /usr/sbin/cron
www-data 15379 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
www-data 15386 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
root 21684 32395 0 20:37 ? 00:00:00 sshd: user [priv]
user 21688 21684 0 20:37 ? 00:00:00 sshd: user@pts/1
user 21689 21688 0 20:37 pts/1 00:00:00 -bash
user 21705 21689 0 20:37 pts/1 00:00:00 ps -ef
syslog 32279 1 0 Jan21 ? 00:00:07 /sbin/syslogd -u syslog
bind 32351 1 0 Jan31 ? 00:00:00 /usr/sbin/named
root 32395 1 0 Jan21 ? 00:00:22 /usr/sbin/sshd
(... jne ...)

Jos haluamme ylläolevasta listasta vain "qmail" -alkuisten [[käyttäjä|käyttäjien]] prosessit, voisimme kirjoittaa
ps -ef | grep qmail
Tämä kuitenkin tulostaa myös kaikki sellaiset prosessit, joiden nimikentässä esiintyy "qmail" – joukossa myös käyttäjän [[root]] prosesseja vastoin alkuperäistä tarkoitusta:
$ ps -ef | grep qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 '''qmail'''-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger '''qmail''' 2
root 3993 3986 0 Jan21 ? 00:00:00 '''qmail'''-lspawn | /usr/bin/deliverquota ./Maildir
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 '''qmail'''-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 '''qmail'''-clean

Ratkaisu qmail -alkuisten käyttäjien prosessien listaamiseen on:
$ ps -ef | grep ^qmail
'''qmail'''s 3986 1 0 Jan21 ? 00:00:00 qmail-send
'''qmail'''l 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
'''qmail'''r 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
'''qmail'''q 3995 3986 0 Jan21 ? 00:00:00 qmail-clean

Hattumerkki <tt>^</tt> alussa vastaa jokaisen listausrivin alkua, jota pitää välittömästi seurata merkkijono <tt>qmail</tt>, ja tämän jälkeen voi tulla mikä tahansa merkki (ilmaisu <tt>.</tt>). Grep tulostaa vain lausketta vastaavat rivit, ja tulos on haluttu.

===== Pako komentotulkista =====
Jos halutaan antaa jokin monimutkaisempi ilmaisu, on hyvä asettaa säännöllinen lauseke yksinkertaisten heittomerkkien <tt>'</tt> sisään, jotta ne regexp-operaattorit, joillla on jokin erikoismerkitys [[komentotulkki|komeotulkissa]] eivät aiheuta ongelmia.
$ echo moi | egrep m(o|a)i
-bash: syntax error near unexpected token `('
Sululla <tt>(</tt> on erikoismerkitys komentotulkissa, samoin merkillä <tt>[[putki||]]</tt>. Ratkaisu:
$ echo moi | egrep 'm(o|a)i'
moi
Esimerkissä käytettiin komentoa egrep. Se on oikopolku grepin [[valitsin|valitsimelle]] <tt>-E</tt>, joka ottaa säännöllisten lausekkeiden laajennetun tuen käyttöön. Normaalissa käytössä (pelkkö komento <tt>grep</tt>) operaattorit <tt>? + {} | (</tt> ja <tt>)</tt> eivät ole käytettävissä, paitsi asettamalla niiden eteen pako-operaattori <tt>\</tt>.

Jos ylläolevassa prosessilistausesimerkissä halutaan tulostaa pelkät prosessien [[PID]]-numerot, voidaan käyttää [[awk]]-työkalua seuraavasti:
$ ps -ef | awk '/^qmail/ { print $2 }'
3986
3990
3994
3995

== Esimerkkejä lausekkeista ==
Web-kuva:
[^ ]+\.(png|PNG|jpg|JPG|jpeg|JPEG|gif|GIF)
Päivämäärä muotoa pp.kk.vvvv:
[0-9]{1,2}\.[0-9]{1,2}\.[0-9]{4}
2-merkkinen [[wikipedia:fi:heksadesimaalijärjestelmä|heksadesimaali]]:
[0-9A-Fa-f]{2}
Sähköpostiosoite:
[a-zA-Z0-9_]+@[a-zA-Z0-9_\.]+\.[a-zA-Z]{2,3}

== Laajennukset ==
Yllä esitetty on hyvä lähtökohta säännöllisiin lausekkeisiin, ja kaikki modernit [[POSIX]]-yhteensopivat toteutukset tukevat mainittuja operaattoreita ja erikoismerkkejä. Monissa ohjelmointikielissä on tehty laajennuksia tähän, mutta esim. [[grep]] ei tue seuraavia.

=== Pakoluokat ===
Jos halutaan kirjoittaa lause, joka jossain kohtaa vastaa mitä tahansa numeromerkkiä, voidaan kirjoittaa hakasulkuilmaus <tt>[0-9]</tt>. Tälläisille yleisesti käytetyille luokille on kuitenkin olemassa laajennuksissa helpompia nimiä. Kutsutaan näitä pakoluokiksi.

{| style="border-style: solid; border-collapse: collapse" border="1"
|+'''Pakoluokat'''
|-
! Ilmaisu !! Merkitys !! Vastaava hakasulkuilmaus
|-
| <tt>\w</tt> || Mikä tahansa kirjain, numero tai alaviiva. || <tt>[a-zA-Z0-9_]</tt>
|-
| <tt>\W</tt> || Äskeisen vastakohta; mikä tahansa muu kuin kirjain, numero tai alaviiva. || <tt>[^a-zA-Z0-9_]</tt>
|-
| <tt>\s</tt> || Mikä tahansa tyhjä merkki (esim. välilyönti tai tabulaattori) || esim. <tt>[ \t]</tt>, jossa <tt>\t</tt> tabulaattorimerkki
|-
| <tt>\S</tt> || Äskeisen vastakohta; mikä tahansa ei-tyhjä merkki || esim. <tt>[^ \t]</tt>
|-
| <tt>\d</tt> || Mikä tahansa numero. || <tt>[0-9]</tt>
|-
| <tt>\D</tt> || Äskeisen vastakohta; mikä tahansa ei-numero. || <tt>[^0-9]</tt>
|}

Lauseke
\d+
vastaa siis kaikkia numeroita aivan siinä missä myös
[0-9]+

==Katso myös==
* [[Komentorivin perusteet]]
* [[Grep]] ja [[Awk]]
** [[Putki]]
* [[Ed]] ja [[Sed]]: tuki säännöllisille lausekkeille
* [[Vi]] ja [[vim]]: näiden graaffinen tila
* [[Emacs]]

==Aiheesta muualla==
*[[wikipedia:fi:säännöllinen lauseke|Säännöllinen lauseke]]
*[[wikipedia:fi:äärellinen automaatti|Äärellinen automaatti]]
*[[wikipedia:fi:pinoautomaatti|Pinoautomaatti]]
*[[wikipedia:fi:turingin kone|Turingin kone]]
*[http://www.ohjelmointiputka.net/opas.php?tunnus=phpsl Säännölliset lausekkeet PHP:ssä] -opas Ohjelmointiputkassa
*[http://swtch.com/~rsc/regexp/regexp1.html Regular Expression Matching Can Be Simple And Fast]: Keskustelua säännöllisten lausekkeiden toteutuksesta C-kielellä englanniksi.

[[Luokka:Käsitteet]]
[[Luokka:Komentorivi]]
[[Luokka:Perustietoa]]

EOF

2010-02-16T22:51:41Z

Ordyh: /* Terminaalissa */ +

'''EOF''' eli '''loppumerkki''' on C-ohjelmoinnissa ja yleisesti Unix-järjestelmissä tiedoston lopusta kertova erikoismerkki. Kun ohjelma lukee tiedostosta loppumerkin EOF, se tarkoittaa yleensä, että tiedoston loppu on saavutettu, eikä lisää tietoa ole enää saatavilla.

== C-ohjelmoinnissa ==
C-ohjelman kannalta tiedostot näkyvät [[tiedostokuvain|tiedostokuvaimina]] (engl. ''file descriptor''). Tiedostokuvaimesta, joka yleensä on liitetty tiedostoon, mutta voi olla liitetty myös johonkin [[standardivirta]]an tai [[putki|putkeen]], voi lukea tavuja standardikirjaston kutsulla ''fgetc()''. Kutsu palauttaa normaalisti tiedoston seuraavan 8-bittisen merkin, mutta mikäli tiedosto on lopussa tai lukemisessa tapahtuu virhe, kutsu palauttaa erikoisarvon EOF. EOF ei ole positiivinen 8-bittinen kokonaisluku (s.o. luku väliltä 0-255), vaan negatiivinen ''int'' -arvo. Näin mikään tiedosto ei voi sisältää merkkiä EOF, eikä sitä voi tallettaa tyyppiin ''unsigned char''. Siksi paluuarvo EOF on aina erikoistapaus.

C-ohjelman tulee aina erikseen varmistaa, merkitseekö EOF -paluuarvo todella tiedoston loppua vaiko virhetilannetta kutsulla ''feof()'' tai ''ferror()''.

== ASCII-loppumerkki 0x04 ==
Loppumerkkiä läheisesti muistuttaa ASCII-merkki 0x04 (End of Transmission). Vanhoissa järjestelmissä, kuten [[wikipedia:fi:CP/M|CP/M]] järjestelmä talletti jokaisen tiedoston osalta vain sille varattujen talletuslohkojen määrän. Mikäli tiedostoon tallennettu data loppui talletuslohkojen välissä, tiedoston lopusta kertoi erikoismerkki 0x04. Tälläinen tiedosto ei voi tietenkään sisältää muuaalla kontrollimerkkiä 0x04, joka aiheuttaisi vakavia ongelmia nykyisissä järjestelmissä, joiden levyille saatetaan tallettaa mm. salattua tai pakattua binääritietoa. Siksi termillä EOF viitataan nykyisin Linux- ja Unix järjestelmissä useimmiten negatiiviseen lukufunktion paluuarvoon EOF, joka ei voi vastata arvoltaan mitään aitoa merkkiä, esimerkiksi ASCII-kontrollimerkkiä.

== Terminaalissa ==
Syötteen voi terminaalissa lopettaa antamalla erikoismerkin <tt>^D</tt>, joka PC-järjestelmissä tapahtuu painamalla Ctrl ja D kirjaimia samaan aikaan. Tämä johtaa terminaaliajurin vaikutuksesta siihen, että terminaalia lukeva prosessi saa järjestelmältä paluuarvon EOF, ja ymmärtää syötettävän tiedon loppuneen.

Esimerkiksi komento
cat > teksti.txt
lukee terminaalista käyttäjän syötettä, kunnes annetaan erikoismerkki <tt>^D</tt>. Tämän jälkeen [[cat]] ymmärtää tiedoston loppuneen, ja käyttäjän syöttämä teksti kirjoitetaan tiedostoon teksti.txt.

[[Luokka:Järjestelmä]]

Keskustelu:EOF

2010-02-16T22:47:31Z

Ordyh: +

==Tiedoston loppu ja loppumerkki==
Minusta tuntuu, ettei tässä ole tehty selvää eroa tiedoston lopun ja loppumerkin välillä. DOS:ssa CTRL-Z taisi tarkoittaa tietyntyyppisten tiedostojen loppua. Unixissa ei vastaavaa käytäntöä ole, vaan tiedoston loppu on tiedoston loppu.

Sen sijaan merkkiä CTRL-D (ASCII EOT, ”end of transfer”) käytetään ilmaisemaan ”tiedoston” loppua, silloin kun tiedosto syötetään näppäimistöltä tai esimerkiksi hirellä kopioimalla.

Ohjelmoinnissa EOF-tulos todella voi merkitä monta eri asiaa. Niistä voisi ehkä kertoa enemmän, mutta ohjelmoijan on kuitenkin ajateltava niitä perusteellisemmin kuin tässä voi esittää.

--[[Käyttäjä:LP|LP]] 16. helmikuuta 2010 kello 19.02 (UTC)

:Tosiaan, en huomioinut tätä asiaa artikkelia kirjoittaessa. Tässä kuitenkin on luonnollisesti järkevintä käsitellä asioita Linuxin ja Unixin näkökannalta, jolloin ASCII-merkillä 0x04 (EOT) ei ole varsinaisesti samanlaista erikoismerkitystä silloin kun se luetaan tiedostosta. Lisäsin kuitenkin lähinnä englanninkielisen Wikipedian tietoihin pohjautuen artikkeliin huomautuksen tästä aiheesta. Unixissa Ctrl+Z saa prosessin menemään taustalle, joten sen merkitys on aivan erilainen kuin DOS:issa. --[[Käyttäjä:Ordyh|Ordyh]] 16. helmikuuta 2010 kello 22.46 (UTC)

Keskustelu:EOF

2010-02-16T22:46:35Z

Ordyh: vast.

==Tiedoston loppu ja loppumerkki==
Minusta tuntuu, ettei tässä ole tehty selvää eroa tiedoston lopun ja loppumerkin välillä. DOS:ssa CTRL-Z taisi tarkoittaa tietyntyyppisten tiedostojen loppua. Unixissa ei vastaavaa käytäntöä ole, vaan tiedoston loppu on tiedoston loppu.

Sen sijaan merkkiä CTRL-D (ASCII EOT, ”end of transfer”) käytetään ilmaisemaan ”tiedoston” loppua, silloin kun tiedosto syötetään näppäimistöltä tai esimerkiksi hirellä kopioimalla.

Ohjelmoinnissa EOF-tulos todella voi merkitä monta eri asiaa. Niistä voisi ehkä kertoa enemmän, mutta ohjelmoijan on kuitenkin ajateltava niitä perusteellisemmin kuin tässä voi esittää.

--[[Käyttäjä:LP|LP]] 16. helmikuuta 2010 kello 19.02 (UTC)

:Tosiaan, en huomioinut tätä asiaa artikkelia kirjoittaessa. Tässä kuitenkin on luonnollisesti järkevintä käsitellä asioita Linuxin ja Unixin näkökannalta, jolloin ASCII-merkillä 0x04 (EOT) ei ole varsinaisesti samanlaista erikoismerkitystä silloin kun se luetaan tiedostosta. Lisäsin kuitenkin lähinnä englanninkielisen Wikipedian tietoihin pohjautuen artikkeliin huomautuksen tästä aiheesta. --[[Käyttäjä:Ordyh|Ordyh]] 16. helmikuuta 2010 kello 22.46 (UTC)

EOF

2010-02-16T22:42:43Z

Ordyh: laajennettu

'''EOF''' eli '''loppumerkki''' on C-ohjelmoinnissa ja yleisesti Unix-järjestelmissä tiedoston lopusta kertova erikoismerkki. Kun ohjelma lukee tiedostosta loppumerkin EOF, se tarkoittaa yleensä, että tiedoston loppu on saavutettu, eikä lisää tietoa ole enää saatavilla.

== C-ohjelmoinnissa ==
C-ohjelman kannalta tiedostot näkyvät [[tiedostokuvain|tiedostokuvaimina]] (engl. ''file descriptor''). Tiedostokuvaimesta, joka yleensä on liitetty tiedostoon, mutta voi olla liitetty myös johonkin [[standardivirta]]an tai [[putki|putkeen]], voi lukea tavuja standardikirjaston kutsulla ''fgetc()''. Kutsu palauttaa normaalisti tiedoston seuraavan 8-bittisen merkin, mutta mikäli tiedosto on lopussa tai lukemisessa tapahtuu virhe, kutsu palauttaa erikoisarvon EOF. EOF ei ole positiivinen 8-bittinen kokonaisluku (s.o. luku väliltä 0-255), vaan negatiivinen ''int'' -arvo. Näin mikään tiedosto ei voi sisältää merkkiä EOF, eikä sitä voi tallettaa tyyppiin ''unsigned char''. Siksi paluuarvo EOF on aina erikoistapaus.

C-ohjelman tulee aina erikseen varmistaa, merkitseekö EOF -paluuarvo todella tiedoston loppua vaiko virhetilannetta kutsulla ''feof()'' tai ''ferror()''.

== ASCII-loppumerkki 0x04 ==
Loppumerkkiä läheisesti muistuttaa ASCII-merkki 0x04 (End of Transmission). Vanhoissa järjestelmissä, kuten [[wikipedia:fi:CP/M|CP/M]] järjestelmä talletti jokaisen tiedoston osalta vain sille varattujen talletuslohkojen määrän. Mikäli tiedostoon tallennettu data loppui talletuslohkojen välissä, tiedoston lopusta kertoi erikoismerkki 0x04. Tälläinen tiedosto ei voi tietenkään sisältää muuaalla kontrollimerkkiä 0x04, joka aiheuttaisi vakavia ongelmia nykyisissä järjestelmissä, joiden levyille saatetaan tallettaa mm. salattua tai pakattua binääritietoa. Siksi termillä EOF viitataan nykyisin Linux- ja Unix järjestelmissä useimmiten negatiiviseen lukufunktion paluuarvoon EOF, joka ei voi vastata arvoltaan mitään aitoa merkkiä, esimerkiksi ASCII-kontrollimerkkiä.

== Terminaalissa ==
Syötteen voi terminaalissa lopettaa antamalla erikoismerkin <tt>^D</tt>, joka PC-järjestelmissä tapahtuu painamalla Ctrl ja D kirjaimia samaan aikaan.

[[Luokka:Järjestelmä]]

Säännöllinen lauseke

2010-02-16T22:20:09Z

Ordyh: uudelleenkirjoitettu ohjemuotoon

'''Säännöllinen lauseke''' (engl. '''regular expression''', '''regexp''') on yksinkertainen merkkijonokieli, joka voi joko ''vastata'' tai ''olla vastaamatta'' jotain toista merkkijonoa. Linux- ja Unix-järjestelmissä säännöllisiä lauskkeista on suurta hyötyä [[komentorivi]]ä käytettäessä, mm. komennoissa [[awk]] ja [[grep]]. Niiden voidaankin sanoa olevan [[putki]]ttamiseen yhdistettynä tärkeimpiä työkaluja, joita komentorivin edistynyt käyttö edellyttää.

== Teoriaa ==
Tietojenkäsittelytieteessä puhutaan [[wikipedia:fi:säännöllinen kieli|säännöllisestä kielestä]], joka voidaan tunnistaa [[wikipedia:fi:äärellinen automaatti|äärellisellä automaatilla]]. Säännöllisiä lausekkeita käytetään myös monissa ohjelmointikielissä (mm. Perl, Java, Python, ECMAScript). Mille tahansa [[wikipedia:en:Turing complete|Turing-täydelliselle]] ohjelmointikielelle voidaan kuitenkin aina kirjoittaa säännöllisten lausekkeiden [[wikipedia:fi:Ohjelmointikielen tulkki|tulkki]].

== Johdatus säännöllisiin lausekkeisiin ==

===Perusteet===
Säännöllinen lauseke joko ''vastaa'' tai ''ei vastaa'' merkkijonoa. Kutsutaan säännöllistä lauseketta ''lausekkeeksi'' ja merkkijonoa, jonka vastaavuus lausekkeeseen halutaan selvittää, ''kohteeksi''.

Lausekkeen yksinkertaiset kirjoitusmerkit vastaavat yksi-yhteen kohteen kirjoitusmerkkejä. Tämän vuoksi lauseke
abba
vastaa yllätyksettömästi kohdetta
'''abba'''
mutta ei kohdetta
bono

Yleensä (mm. grep ja awk) katsotaan, että kohteen alussa ja lopussa voi olla mielivaltainen määrä ei-vastaavia merkkejä. Tällöin kohde (s.o. näiden komentojen tapauksessa ''rivi'') vastaa lauseketta, jos edes jokin sen ''osa'' vastaa lauseketta. Siis grep ja awk -yhteydessä lauseke
abba
vastaa kohdetta
bo'''abba'''bo
ja
dada'''abba'''gada
mutta ei silti kohdetta
b'''abb'''bab

===Operaattorit===
Yksi-yhteen vastaavien kirjoitusmerkkien lisäksi säännöllisissä lausekkeissa on mahdollisuus käyttää erilaisia ''operaattorimerkkejä'', joilla on lausekkeessa erikoismerkitys.

====Vaihtoehtoisuusoperaattori: <tt>|</tt>====
Näistä ensimmäinen on operaattori <tt>|</tt>, joka tarkoittaa ''vaihtelua'' tai ''alternointia'' (engl. alternation). Sen merkitys on sama kuin luonnollisen kielen sanalla "tai". Lauseke
omena|luumu
vastaa sekä kohteita
'''omena'''
että
'''luumu'''
Kun lisäksi muistamme yltä, että komentorivityökalujen tapauksessa kohde voi sisältää ei-vastaavia merkkejä sekä alussa että lopussa, vastaa ylläoleva lauseke <tt>omena|luumu</tt> myös merkkijonoja
uuni'''omena'''
tai
'''luumu'''soppa
Huomaa kuitenkin, että seuraavassa kohteessa vain ensimmäinen esiintymä vastaa lauseketta
kotimainen '''omena'''-luumuhillo

====Toisto-operaattorit====
Merkeillä <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja ilmaisulla <tt>{n,m}</tt> on säännöllisissä lausekkeissa erikoismerkitys, joka vaikuttaa niitä ''välittömästi edeltävään'' merkkiin.

=====Mielivaltaisen monta: <tt>*</tt>=====
Operaattori <tt>*</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, tai ei kertaakaan"''. Siten lauseke
ab*a
vastaa kaikkia seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
'''aa'''
mutta ei seuraavia:
'''a'''cccca
bba

Todettakooon, että selvästi b-merkkien määrä kohteessa voi olla mielivaltainen, joten eri vastaavia kohdemerkkijonoja on olemassa myös ääretön määrä.

=====Vähintään yksi: <tt>+</tt>=====
Operaattori <tt>+</tt> tarkoittaa ''"edellinen toistettuna mielivaltaisen monta kertaa, mutta vähintään kerran"''. Siten lauseke
ab+a
vastaa seuraavia kohteita:
'''abbbbbbbbbbbbbbbbba'''
'''abbba'''
'''abba'''
'''aba'''
mutta ei seuraavia:
'''a'''a
'''a'''cccca
bba

=====Ehdollinen: <tt>?</tt>=====
Operaattori <tt>?</tt> tarkoittaa ''"edellinen kerran, tai ei kertaakaan''". Siten lauseke
ab?a
vastaa seuraavia kohteita:
'''aba'''
'''aa'''
mutta ei mitään seuraavista:
'''ab'''bbbbbbbbbbbbbbbba
'''ab'''bba
'''ab'''ba
'''a'''cccca
bba

=====n:stä m:n kertaan: <tt>{n, m}</tt>=====
Aina yllä olevat operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> eivät riitä, vaan jotain merkkiä tarvitsee vastata juuri tietyn määrän toistoja. Voitaisiin toki kirjoittaa
aaaa?a?
jos halutaan vastata
aaa
aaaa
aaaaa
mutta voidaan kirjoittaa lyhyemmin
a{3,5}
Tämä tarkoittaa, että edeltävää merkkiä <tt>a</tt> voi esiintyä kolmesta viiteen kertaan. Käytetään yleisesti tästä ilmaisusta mallia <tt>{n,m}</tt>, jossa <tt>n</tt> ja <tt>m</tt> ovat mielivaltaisia kokonaislukuja, tarkoittaen ''"n:stä m:n kertaan"''.

Kumpi tahansa numeroista <tt>n</tt> ja <tt>m</tt> voidaan jättää pois. Täten ilmaisu
{n}
tarkoittaa ''"tasan n kertaa"'. Ilmaisu
{n,}
tarkoittaa ''"vähintään n kertaa"''. Ilmaisu
{,m}
tarkoittaa ''"korkeintaan m kertaa"''.

Sivuhuomatuksena todettakoon, että yllä olevan perusteella lyhyemmät operaattorit <tt>*</tt>, <tt>+</tt> ja <tt>?</tt> voitaisiin aina korvata ilmaisuilla <tt>{0,}</tt>, <tt>{1,}</tt> ja <tt>{0,1}</tt> vastaavasti.

===== Huomautuksia =====
Operaattoreita voi yhdistää mielivaltaisesti toisiinsa. Siten lauseke
hur+a*!*
vastaavaa kaikkia seuraavia kohteita:
'''hur'''
'''hurr'''
'''hurra'''
'''hurraa'''
'''hurraa!'''
'''hurrraaa!!!!'''
jne.

Toisaalta lauseke ''ei vastaa'' mitään seuraavista kohteista:
burraa!
'''hu'''aa!!
'''hu'''uuurraa!!
'''hurr'''urrur!!
jne.

Tässä vaiheessa on hyvä varmistaa, että ymmärtää edellä esitetyn esimerkin kokonaisuudessaan.

===Sulut: <tt>(</tt> ja <tt>)</tt>===
'''Kysymys:''' Jos halutaan vastata kohdetta <tt>hUrrUrrUrr</tt> siten, että merkkijono <tt>Urr</tt> voi esiintyä kohteessa äärettömän monta kertaa, miten tulee toimia?

'''Vastaus:''' Tämä on mahdotonta tähän mennessä esitetyillä operaattoreilla. Voisimme toki kirjoittaa <tt>hU+r+r+</tt> tai vastaavaa, mutta tämä vastaisi vain kohteita kuten <tt>hUUrrrr</tt>. Tarvitsemme selvästi uuden operaattorin; ''sulut''.

Merkeillä <tt>(</tt> ja <tt>)</tt> voidaan määrittää lausekkeen osia, jotka samaan tapaan kuin koulumatematiikassa lasketaan ''ennen'' laskun muita osia. Koska säännöllisissä lausekkeissa ei kuitenkaan lasketa mitään, havainnollistetaan sulkujen merkitystä esittämällä ratkaisu yllä olevaan kysymykseen.

Lauseke
h(Urr)+
vastaa kohteita
'''hUrr'''
'''hUrrUrr'''
'''hUrrUrrUrr'''
'''hUrrUrrUrrUrr'''
jne. jne. Lauseke ei vastaa seuraavia kohteita:
'''h'''Arr
'''h'''Err
burr

Samoin kohde
'''hUr'''
näyttää oikealta, mutta jää kuitenkin liian lyhyeksi, sillä sulkujen sisältö on löydyttävä kohteesta aina ''kokonaan''. Siksi kohde <tt>hUr</tt> ei vastaa lauseketta <tt>h(Urr)+</tt>.

====Esimerkkejä====

Sulkuja voi yhdistellä mielivaltaisesti kaikkiin operaattoreihin <tt>*</tt>, <tt>+</tt>, <tt>?</tt> ja <tt>|</tt>. Seuraavassa on annettu sarja lausekkeita, sekä esimerkkejä kutakin vastaavista ja vastaamattomista kohteista:

Lauseke
d(ii)?pada+(pa|ba)?
vastaa esimerkiksi seuraavia kohteita
'''diipadaaba'''
'''diipadaapa'''
'''dpadaapa'''
'''dpadaaba'''
'''diipadaaaaapa'''
'''diipadaaaaaba'''
'''diipada'''
'''diipada'''
'''diipadaaa'''
'''diipadaaaa'''
mutta ei mitään seuraavista
'''di'''padaapa
'''diipad'''uu
'''diipad'''

Viimeinen esimerkki jää lyhyeksi, sillä merkki <tt>a</tt> on lausekkeessa pakollinen vähintään kerran.

Lauseke
(hi|ha|ho)+
vastaa mitä tahansa kohdetta, jossa esiintyy mikä tahansa määrä merkkijonoja <tt>hi</tt>, <tt>ha</tt> ja <tt>ho</tt> peräkkäin mielivaltaisen monta kertaa, kuitenkin vähintään kerran. Lauseke vastaa siis kaikkia seuraavia:
'''hi'''
'''ha'''
'''ho'''
'''hihi'''
'''haha'''
'''hiha'''
'''hoho'''
'''hihaho'''
'''hahohihohahi'''
mutta ei
'''h'''e
'''h'''u
'''h'''uhu
'''h'''ehe

===Yhtä merkkiä vastaavat erikoismerkit===
Säännöllisissä lausekkeissa voi esiintyä myös joitain erikoismerkkejä, jotka eivät ole operaattoreita, eli ne eivät vaikuta niitä edeltäviin sulkuihin tai merkkeihin. Ne voitaisiin aina kirjoittaa lausekkeilla muotoa
(merkki1|merkki2|merkki3|merkki4|...|merkkiN)
mutta tämä on varsin työlästä ja epäselkeää. Siksi säännöllisissä lausekkeissa on joitain erikoismerkkejä, jotka ovat oikopolkuja monimutkaisten vaihtoehtoisuuslausekkeiden kirjoittamiseen.

====Jokerimerkki: <tt>.</tt>====
Merkillä <tt>.</tt> (piste) on erikoismerkitys. Se vastaa aina ''mitä tahansa'' merkkiä. Lauseke
.*
vastaa siis kaikkia mahdollisia kohteita - jopa tyhjää merkkijonoa, sillä operaattori <tt>*</tt> tarkoittaa, että erikoisoperaattori "mikä tahansa merkki" voi esiintyä myös nolla kertaa.

Lauseke
(h.)+
vastaa siten kaikkia seuraavista:
'''ha'''
'''he'''
'''hi'''
'''hy'''
'''hr'''
'''hihrhy'''
mutta ei
rh
ah
oh
ih
'''h'''
Viimeinen esimerkki jää jälleen lyhyeksi, sillä <tt>.</tt> ei vastaa kuitenkaan "tyhjää" merkkiä.

Lauseke
.upu
vastaa
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''
mutta myös
'''supu'''
mutta ei
sepe

====Merkkiluokat: <tt>[]</tt>====
Jos halutaan korjata ylläoleva Ankanpoika-esimerkki, voitaisiin kirjoittaa:
(t|h|l|T|H|L)upu
joka vastaisi vain ja ainoastaan:
'''tupu'''
'''hupu'''
'''lupu'''
'''Tupu'''
'''Hupu'''
'''Lupu'''

Merkkien <tt>[]</tt> avulla voidaan määritellä kirjainluokkia siten, että seuraava merkki kohteessa vastaa vain ja ainoastaan jotain hakasulkujen välissä olevaa kirjainta. Siten äskeistä täysin vastaa lauseke on
[thlTHL]upu

Hakasulkujen välissä voidaan myös määritellä aakkoston mukaisia välejä väliviivalla <tt>-</tt>. Tällöin
19[4-9][0-9]|20[0-9][0-9]
vastaa kaikkia vuosilukuja välillä 1940-2099. Samoin
Osasto [A-I]
vastaa
'''Osasto A'''
'''Osasto B'''
'''Osasto C'''
...
'''Osasto H'''
'''Osasto I'''
mutta ei
'''Osasto '''J

Jos merkki <tt>-</tt> halutaan sisällyttää hakasulkuilmaisuun, se jätetään viimeiseksi. Esim.
Ala[ -]aste
vastaa
'''Ala aste'''
'''Ala-aste'''

Jos oikea hakasulku (<tt>]</tt>) halutaan sisällyttää hakasulkuilmaukseen, se laitetaan hakasulkujen ensimmäiseksi merkiksi. Esim.
[]abcdef]+
vastaa
'''a'''
'''b'''
''']'''
'''ab]'''
'''d]f'''
jne., mutta ei
[gi
zo

Hakasulkuilmaisusn merkitys voidaan kääntää asettamalla hattu <tt>^</tt> sen ensimmäiseksi merkiksi. Tällöin hakasulkuilmaisu vastaa mitä tahansa hakasuluissa '''ei''' esiintyvää merkkiä kohteessa. Täten lauseke
[^aeiouyåäö]+
vastaa mitä tahansa pelkistä konsonanteista, välimerkeistä ja numeroista koostuvaa kohdetta, kuten
'''prrr'''
'''123'''
'''hkr'''
'''brr-hrr'''
jne. Mutta ei
au
aiai
jne.

Grepin hyväksymissä säännöllisissä lausekkeissa merkin <tt>^</tt> voi sisällyttää hakasulkuilmaukseen laittamalla sen miksi tahansa muuksi merkiksi, kuin hakasulkujen ensimmäinen merkki. Tämä ei pidä välttämättä paikkaansa kuitenkaan kaikilla säännöllisten lausekkeiden toteutuksilla, vaan hattumerkin eteen on mahdollisesti laitettava pako-operaattori <tt>\</tt>.

====Pako-operaattori: <tt>\</tt>====
Jos halutaan vastata jotain merkkiä, joka on määritelty operaattoriksi säännöllisissä lausekkeissa, sitä ei voida kirjoittaa sellaisenaan lausekkeeseen. Jos halutaan vastata tarkalleen jotain seuraavista
Mitä?
Missä?
Milloin?
ei voida kirjoittaa lauseketta
(Mi(tä|ssä|lloin))?
koska kysymysmerkki <tt>?</tt> lopussa vain ehdollista koko ulomman sulkuilmaisun, ja koko lauseke vastaisi siis vain joko tyhjää merkkijonoa tai kysymysmerkitöntä kysymyssanaa.

Tarvitaan pako-operaattoria <tt>\</tt>. Merkin <tt>?</tt> tai ylipäänsä minkä tahansa opraattorimerkin erikoismerkityksen voi poistaa asettamalla sen eteen kenoviivan. Tällöin kenoviivaa välittömästi seuraava merkki täytyy esiintyä kohteessa sellaisenaan. Oikea tapa kirjoittaa yllä oleva lauseke olisi siten
(Mi(tä|ssä|lloin))\?
Tämä vastaa vain ja ainoastaan haluttuja merkkijonoja.

Seuraavat operaattorit on merkittävä pako-operaattorilla, jos niitä ei haluta tulkittavan erikoismerkeiksi:
( ) | * + ? { } [ ] ^ $ \

Siis, jos halutaan vastata kohteessa kenoviivaa, on kirjoitettava <tt>\\</tt>. Esimerkiksi Windows-polku:
''<asema>'':\Dokumentit\''<nimi>''.(doc, docx tai odt)
voidaan löytää esim. seuraavalla säännöllisellä lausekkeella:
[A-Z]:\\Dokumentit\\[a-öA-Ö0-9 _-]+\.(doc|docx|odt)

=== Rivin alku ja loppu: <tt>^</tt> ja <tt>$</tt>===
On voinut herätä kysymys, kuinka voidaan vastata kohdetta (s.o. riviä) ''tarkalleen''. Heti alussa selvisi, että esim grepin mielestä kohde (rivi) vastaa lauseketta, jos lauseke esiintyy missä tahansa kohdassa riviä. Jos halutaan, että lauseke vastaa alusta loppuun tarkalleen koko riviä, on otettava käyttöön erikoismerkit <tt>^</tt> ja <tt>$</tt>. Nämä vastaavat kohteessa rivin tai merkkijonon alkua ja loppua kuvaavia "näkymättömiä" merkkejä vastaavasti. Siten
^abba$
vastaa vain riviä
'''abba'''
mutta ei esimerkiksi
babba
abbab
babbab
'''ab'''a
'''abb'''bba

==== Esimerkki ====

Merkit <tt>^</tt> ja <tt>$</tt> antavat viimeisen silauksen grepin tehokkaaseen hyödyntämiseen. Nyt esimerkiksi, jos tulostetaan kaikki [[prosessi]]t komennolla <tt>[[ps]] -ef</tt>, saadaan yleensä jokseenkin tälläinen listaus (esimerkissä palvelinkone):

$ ps -ef
UID PID PPID C STIME TTY TIME CMD
root 1 0 0 Jan21 ? 00:00:34 init [2]
root 1425 1 0 Jan31 ? 00:00:00 /usr/sbin/xinetd
qmails 3986 1 0 Jan21 ? 00:00:00 qmail-send
qmaill 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
root 3993 3986 0 Jan21 ? 00:00:00 qmail-lspawn | /usr/bin/deliverquota ./Maildir
qmailr 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
qmailq 3995 3986 0 Jan21 ? 00:00:00 qmail-clean
root 5566 1 0 Jan21 ? 00:00:05 /usr/sbin/apache2 -k start
root 6091 1 0 Jan21 ? 00:00:03 /usr/sbin/cron
www-data 15379 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
www-data 15386 5566 0 Feb14 ? 00:00:00 /usr/sbin/apache2 -k start
root 21684 32395 0 20:37 ? 00:00:00 sshd: user [priv]
user 21688 21684 0 20:37 ? 00:00:00 sshd: user@pts/1
user 21689 21688 0 20:37 pts/1 00:00:00 -bash
user 21705 21689 0 20:37 pts/1 00:00:00 ps -ef
syslog 32279 1 0 Jan21 ? 00:00:07 /sbin/syslogd -u syslog
bind 32351 1 0 Jan31 ? 00:00:00 /usr/sbin/named
root 32395 1 0 Jan21 ? 00:00:22 /usr/sbin/sshd
(... jne ...)

Jos haluamme ylläolevasta listasta vain "qmail" -alkuisten [[käyttäjä|käyttäjien]] prosessit, voisimme kirjoittaa
ps -ef | grep qmail
Tämä kuitenkin tulostaa myös kaikki sellaiset prosessit, joiden nimikentässä esiintyy "qmail" – joukossa myös käyttäjän [[root]] prosesseja vastoin alkuperäistä tarkoitusta:
$ ps -ef | grep qmail
qmails 3986 1 0 Jan21 ? 00:00:00 qmail-send
qmaill 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
root 3993 3986 0 Jan21 ? 00:00:00 qmail-lspawn | /usr/bin/deliverquota ./Maildir
qmailr 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
qmailq 3995 3986 0 Jan21 ? 00:00:00 qmail-clean

Ratkaisu qmail -alkuisten käyttäjien prosessien listaamiseen on:
$ ps -ef | grep ^qmail.
qmails 3986 1 0 Jan21 ? 00:00:00 qmail-send
qmaill 3990 3986 0 Jan21 ? 00:00:00 splogger qmail 2
qmailr 3994 3986 0 Jan21 ? 00:00:00 qmail-rspawn
qmailq 3995 3986 0 Jan21 ? 00:00:00 qmail-clean

Hattumerkki <tt>^</tt> alussa vastaa jokaisen listausrivin alkua, jota pitää välittömästi seurata merkkijono <tt>qmail</tt>, ja tämän jälkeen voi tulla mikä tahansa merkki (ilmaisu <tt>.</tt>). Grep tulostaa vain lausketta vastaavat rivit, ja tulos on haluttu.

===== Pako komentotulkista =====
Jos halutaan antaa jokin monimutkaisempi ilmaisu, on hyvä asettaa säännöllinen lauseke yksinkertaisten heittomerkkien <tt>'</tt> sisään, jotta ne regexp-operaattorit, joillla on jokin erikoismerkitys [[komentotulkki|komeotulkissa]] eivät aiheuta ongelmia.
$ echo moi | egrep m(o|a)i
-bash: syntax error near unexpected token `('
Sululla <tt>(</tt> on erikoismerkitys komentotulkissa, samoin merkillä <tt>[[putki||]]</tt>. Ratkaisu:
$ echo moi | egrep 'm(o|a)i'
moi
Esimerkissä käytettiin komentoa egrep. Se on oikopolku grepin [[valitsin|valitsimelle]] <tt>-E</tt>, joka ottaa säännöllisten lausekkeiden laajennetun tuen käyttöön. Normaalissa käytössä (pelkkö komento <tt>grep</tt>) operaattorit <tt>? + {} | (</tt> ja <tt>)</tt> eivät ole käytettävissä, paitsi asettamalla niiden eteen pako-operaattori <tt>\</tt>.

Jos ylläolevassa prosessilistausesimerkissä halutaan tulostaa pelkät prosessien [[PID]]-numerot, voidaan käyttää [[awk]]-työkalua seuraavasti:
$ ps -ef | awk '/^qmail./ { print $2 }'
3986
3990
3994
3995

== Esimerkkejä lausekkeista ==
Web-kuva:
[^ ]+\.(png|PNG|jpg|JPG|jpeg|JPEG|gif|GIF)
Päivämäärä muotoa pp.kk.vvvv:
[0-9]{1,2}\.[0-9]{1,2}\.[0-9]{4}
2-merkkinen [[wikipedia:fi:heksadesimaalijärjestelmä|heksadesimaali]]:
[0-9A-Fa-f]{2}
Sähköpostiosoite:
[a-zA-Z0-9_]+@[a-zA-Z0-9_\.]+\.[a-zA-Z]{2,3}

== Laajennukset ==
Yllä esitetty on hyvä lähtökohta säännöllisiin lausekkeisiin, ja kaikki modernit [[POSIX]]-yhteensopivat toteutukset tukevat mainittuja operaattoreita ja erikoismerkkejä. Monissa ohjelmointikielissä on tehty laajennuksia tähän, mutta esim. [[grep]] ei tue seuraavia.

=== Pakoluokat ===
Jos halutaan kirjoittaa lause, joka jossain kohtaa vastaa mitä tahansa numeromerkkiä, voidaan kirjoittaa hakasulkuilmaus <tt>[0-9]</tt>. Tälläisille yleisesti käytetyille luokille on kuitenkin olemassa laajennuksissa helpompia nimiä. Kutsutaan näitä pakoluokiksi.

{| style="border-style: solid; border-collapse: collapse" border="1"
|+'''Pakoluokat'''
|-
! Ilmaisu !! Merkitys !! Vastaava hakasulkuilmaus
|-
| <tt>\w</tt> || Mikä tahansa kirjain, numero tai alaviiva. || <tt>[a-zA-Z0-9_]</tt>
|-
| <tt>\W</tt> || Äskeisen vastakohta; mikä tahansa muu kuin kirjain, numero tai alaviiva. || <tt>[^a-zA-Z0-9_]</tt>
|-
| <tt>\s</tt> || Mikä tahansa tyhjä merkki (esim. välilyönti tai tabulaattori) || esim. <tt>[ \t]</tt>, jossa <tt>\t</tt> tabulaattorimerkki
|-
| <tt>\S</tt> || Äskeisen vastakohta; mikä tahansa ei-tyhjä merkki || esim. <tt>[^ \t]</tt>
|-
| <tt>\d</tt> || Mikä tahansa numero. || <tt>[0-9]</tt>
|-
| <tt>\D</tt> || Äskeisen vastakohta; mikä tahansa ei-numero. || <tt>[^0-9]</tt>
|}

Lauseke
\d+
vastaa siis kaikkia numeroita aivan siinä missä myös
[0-9]+

==Katso myös==
* [[Komentorivin perusteet]]
* [[Grep]] ja [[Awk]]
** [[Putki]]
* [[Ed]] ja [[Sed]]: tuki säännöllisille lausekkeille
* [[Vi]] ja [[vim]]: näiden graaffinen tila
* [[Emacs]]

==Aiheesta muualla==
*[[wikipedia:fi:säännöllinen lauseke|Säännöllinen lauseke]]
*[[wikipedia:fi:äärellinen automaatti|Äärellinen automaatti]]
*[[wikipedia:fi:pinoautomaatti|Pinoautomaatti]]
*[[wikipedia:fi:turingin kone|Turingin kone]]
*[http://www.ohjelmointiputka.net/opas.php?tunnus=phpsl Säännölliset lausekkeet PHP:ssä] -opas Ohjelmointiputkassa
*[http://swtch.com/~rsc/regexp/regexp1.html Regular Expression Matching Can Be Simple And Fast]: Keskustelua säännöllisten lausekkeiden toteutuksesta C-kielellä englanniksi.

[[Luokka:Käsitteet]]
[[Luokka:Komentorivi]]
[[Luokka:Perustietoa]]

Locale

2010-02-16T12:12:58Z

Ordyh: /* Käyttö */ tark.

Locale on [[komentorivi]]ohjelma, joka tulostaa kieltä ja muita alueellisia tietoja koskevat [[ympäristömuuttuja]]t ja näyttää asennetut lokaalivaihtoehdot.

Lokaliin liittyvät muuttujat määräävät ”[[kotoistus|kansainvälistetyn]]” ohjelman käyttämän kielen ja kieleen ja kulttuuriin liittyvät käytännöt, esimerkiksi päivämäärien muodon, desimaalierottimen ja aakkosjärjestyksen.

Kaikissa ohjelmissa ei hyödynnetä kaikkia vivahteita. Jos osaa ohjelmasta ei ole käännetty käytetään siltä osin alkuperäistä (englannin) kieltä. Joissakin ohjelmissa käytetään näitten muuttujien sijaan ohjelman valikoita tai muita asetuksia.

==Käyttö==
Tulostetaan kieli- ja aluemuuttujien tiedot:
kayttaja@kone:~$ locale
LANG=en_GB.utf8
LC_CTYPE="en_GB.utf8"
LC_NUMERIC="en_GB.utf8"
LC_TIME="en_GB.utf8"
LC_COLLATE="en_GB.utf8"
LC_MONETARY="en_GB.utf8"
LC_MESSAGES="en_GB.utf8"
LC_PAPER="en_GB.utf8"
LC_NAME="en_GB.utf8"
LC_ADDRESS="en_GB.utf8"
LC_TELEPHONE="en_GB.utf8"
LC_MEASUREMENT="en_GB.utf8"
LC_IDENTIFICATION="en_GB.utf8"
LC_ALL=en_GB.utf8

Lokaalit ovat muotoa <tt>kieli_ALUE.merkistö</tt>. Lokaali <tt>eb_GB.utf8</tt> tarkoittaa siis englanninkielen brittiversiota [[UTF-8]] -merkistöllä koodattuna.

Tulostetaan asennetut lokaalit (joskus ''hyvin'' pitkä lista, tässä erään järjestelmän oletusvalikoima: eri englannin muunnelmia sekä [[C]]- ja [[POSIX]]-oletuslokaalit):
kayttaja@kone:~$ locale -a
C
en_AU.utf8
en_BW.utf8
en_CA.utf8
en_DK.utf8
en_GB.utf8
en_HK.utf8
en_IE.utf8
en_IN
en_NZ.utf8
en_PH.utf8
en_SG.utf8
en_US.utf8
en_ZA.utf8
en_ZW.utf8
POSIX

Tulostetaan asennetut suomenkieliset lokaalit (jotka yleensä alkavat kielikoodilla ”fi”, tässä [[Debian]]):
kayttaja@kone:~$ locale -a | [[grep]] "^fi"
fi_FI
fi_FI@euro
fi_FI.iso88591
fi_FI.iso885915@euro
fi_FI.utf8
fil_PH
fil_PH.utf8
finnish

Tähän eksyi näköjään mukaan filipino.

<tt>fi</tt>, <tt>fi_FI</tt> ja <tt>finnish</tt> viittaavat (vrt. [[locale.alias]]) johonkin suomi-lokaaliin. Nykyään suositeltava suomi-lokaali on yleensä [[Unicode]]a käyttävä <tt>fi_FI.[[UTF-8|utf8]]</tt>. Yhteensopivuussyistä vanhemmat merkistöjä ISO-8859-1 ja -15 käyttävät lokaalit voivat joskus olla paremmat.

Saame:
kayttaja@kone:~$ locale -a | grep "^se"
se_NO
se_NO.utf8

Kaikki Suomi-lokaalit:
kayttaja@kone:~$ locale -a | grep "_FI" | [[less]]

==Ympäristömuuttujat==

Haluttua locale-ympäristöä voi säätää joukolla ympäristömuuttujia (katso yllä). Näistä erityisen kiinnostavia ovat seuraavat:

*LC_CTYPE: käytettävä merkistö, merkkien luokittelu sekä pienten ja isojen kirjainten vastaavuus
*LC_COLLATE aakkosjärjestys
*LC_MESSAGES: ohjelmien viestien kieli; jos käännös puuttuu viesti näytetään alkuperäisellä kielellä (käytännössä englanniksi)
*LANG: oletusympäristö
*LANGUAGE: [[GNU]]-projektin LANG-muuttuja, hyväksyy listan eri vaihtoehdoista
*LC_ALL: käytettävä ympäristö muista locale-muuttujista välittämättä

==Lokaalien generointi==

Kotikoneilla harvemmin on tarvetta tukea maailman kaikkia kieliä ja kulttuureja. Tilan säästämiseksi lokaaleja generoidaan usein käytettäviksi vain pyynnöstä. C ja POSIX (eli [[C]]-kielen ja [[POSIX]]-standardin oletuslokaalit, käytännössä samat) ovat aina käytössä, usein oletusarvoisesti liuta englanninkielisiä lokaaleja sekä asennuksessa valittu järjestelmän oletuskieli. Tuen saamiseksi muut halutut lokaalit pitää generoida. Tapa vaihtelee jakelusta toiseen.

Debianissa käytetään asetustiedostoa <tt>/etc/[[locale.gen]]</tt>, jossa tarpeettomat lokaalit on muunnettu ”kommenteiksi” #-merkillä. Tämä merkki poistetaan halutuilta riveiltä ja sen jälkeen annetaan komento
root@kone# [[locale-gen]]
Tämä ohjelma ajaa [[localedef]]-ohjelman jokaisen halutun lokaalin generoimiseksi.

Vastaavan voi myös tehdä komennolla
root@kone# [[dpkg-reconfigure]] locales

==Lokaalin asettaminen==
Lokaalin voi asettaa tiettyyn arvoon [[komentotulkki|komentotulkista]] riippuen (esimerkiksi) komennolla
[[export]] LANG=fi_FI.utf8
tai
[[setenv]] LANG fi_FI.utf8

Edellinen toimii mm [[bash]]issa ja [[zsh]]:ssa, jälkimmäinen [[csh]]-sukuisissa tulkeissa. Komento voi olla hyvä lisätä komentotulkin käynnistys[[skripti]]in ([[bashrc]], [[zsh|zshrc]], [[tcsh|tcshrc]] ym), mikäli haluaa asetuksen pysyvän jatkuvasti voimassa.

Käyttämällä LANG-muuttujaa yksittäiset arvot voi asettaa toisenlaisiksi, esimerkiksi virheviestit alkukielellä (englanniksi) ja aakkostaminen perinteiseen tapaan jossa 00INDEX.txt ja README hakemistolistauksen alussa:
[[export]] LC_MESSAGES=C LC_COLLATE=C

Käyttämällä muuttujaa LC_ALL näiden muiden muuttujien arvot jätetään huomiotta, mikä on kätevää esimerkiksi yksittäisen komennon ajamiseksi oletusympäristössä tai aiotussa oletusympäristössä:
[[env]] LC_ALL=C

==Katso myös==
*[[Lokalisointi]]

[[Luokka:Komentorivin perustyökalut]]

Unicode

2010-02-16T12:12:13Z

Ordyh: wikilink

{{perustietoa}}
[[wikipedia:fi:Unicode|Unicode Wikipediassa]]

'''Unicode''' on standardi, joka muun muassa määrittelee useimmille maailman kirjoitusmerkeille omat merkkikoodinsa. Standardin tarkoituksena on korvata tähän saakka käytössä olleet hyvin erilaiset ja keskenään huonosti yhteensopivat merkistöt. Suomessa on Linux-koneissa käytetty enimmäkseen ISO-8859-15-merkistöä. Vanhojen merkistöjen ongelma on, että niiden merkkivalikoima on hyvin rajallinen, esimerkiksi 256 merkkiä. Se yleensä tarkoittaa, että samalla merkistöllä ei voida esittää useita kovin erilaisia kieliä. Esimerkiksi sama tekstitiedosto tai sähköpostiviesti ei voi sisältää tekstiä kuin niillä kielillä, joita kyseisellä merkistöllä voidaan esittää. Tämä ei kenties häiritse yksittäistä tietokoneenkäyttäjää, mutta sitä mukaa, kun kansainvälinen tietoliikenne on lisääntynyt, on myös lisääntynyt tarve luoda kaikille yhteinen standardi kirjoitusmerkkien esittämiseksi.

Unicode pyrkii ratkaisemaan vanhojen merkistöjen rajallisuuteen liittyvät ongelmat luomalla merkistön, joka sisältää kaikki nykyiset (ja jopa entiset) kirjoitusjärjestelmät. Unicode-standardi käsittää 1 114 112 merkkipaikkaa, ja ne yksilöidään U+xxxx-muotoisella tunnuksella, jossa ”xxxx” on merkin numerokoodi heksadesimaalimuodossa (16-järjestelmä). Mahdolliset koodit ovat U+0000..U+10FFFF. Käytännössä ihan jokainen merkkipaikka ei viittaa mihinkään kirjoitusmerkkiin, vaan mukana on jonkin verran myös erilaisia ohjauskoodeja tietokonetta varten sekä Unicode-standardiin liittyvää erikoistietoa. Joka tapauksessa merkkipaikkoja on niin paljon, että kaikki olemassa olevat ja jo historiaan jääneet kirjoitusmerkit mahtuvan mukaan. Tästä huolimatta merkkipaikkoja on runsaasti tyhjillään tulevaisuuden varalta ja kaikkia tuskin tarvitaan koskaan. Mukana on myös suuri joukko tarkoituksella määrittelemättömiä, yksityiseen käyttöön varattuja merkkipaikkoja.

Unicode-merkkejä sisältävää tekstiä voidaan tallentaa tietokoneelle useilla eri tavoilla. Linuxissa ja yleensäkin tietoliikenteessä käytetty Unicoden koodaustapa on nimeltään '''[[UTF-8]]'''. Tässä koodauksessa yksi Unicode-merkki vie tallennustilaa 1–4 oktettia eli 8 bitin tavua. ASCII-merkistöön kuuluvat merkit (U+0000..U+007F) esitetään UTF-8:ssa sellaisenaan, yhtenä tavuna, joten ASCII on täysin UTF-8-yhteensopiva. Se onkin Linuxissa tärkeää, koska siinä käytetään paljon ASCII-muodossa olevia asetustiedostoja ja käynnistysskriptejä. Muiden kuin ASCII-merkkien esittämiseksi tarvitaan avuksi lisätavuja, ja esimerkiksi suomen kieleen kuuluvien ä- ja ö-kirjainten esittämiseen tarvitaan kaksi tavua.

UTF-8:n lisäksi on olemassa muitakin koodaustapoja, esimerkiksi UTF-16 ja UTF-32. UTF-16:ssa merkit esitetään joko yhtenä 16-bittisenä lukuna, tai mikäli merkin koodi on sitä suurempi, niin kahden 16-bittisen luvun muodostamana nk. sijaismerkkiparina (surrogate pair). UTF-32:ssa merkki esitetään aina yhtenä 32-bittisenä lukuna. Kuten todettu, Linuxissa käytetään pääasiassa UTF-8:aa. Ohjelmat voivat kuitenkin sisäisesti käyttää muitakin koodaustapoja, ja ohjelmien tekijät voivat vapaasti valita omaan ohjelmaansa sopivan tavan tallentaa tietoa.

Nykyisin monet Linux-jakelut käyttävät UTF-8:aa oletuksena. Tämän voi havaita siitä, että järjestelmän käyttämien [[lokaali]]en nimessä on ”.UTF-8”. Esimerkiksi Suomessa käytetään lokaalia nimeltä ”fi_FI.UTF-8”. Tällaista lokaalia käytettäessä järjestelmä tukee Unicodea ja mm. tiedostojen nimiin ja tekstitiedostoihin on periaatteessa mahdollista kirjoittaa kaikkia Unicode-merkkejä. Käytännössä mikään fontti ei yksinään kykene näyttämään kaikkia merkkejä.

== [[Tiedostojärjestelmä]]t ==

=== Ext3 ja muut Unixien tiedostojärjestelmät ===

[[Ext3]] on Linuxissa yleisesti käytetty tiedostojärjestelmä. Se tukee täydellisesti Unicodea ja UTF-8:aa mutta tekee sen tavallaan tietämättään. Samoin on asia muissakin tiedostojärjestelmissä, joita käytetään Linuxissa ja Unix-tyyppisissä käyttöjärjestelmissä. Tiedostojärjestelmät eivät välitä, mitä merkkejä tiedostojen nimissä on, eivätkä ne tallenna mitään tietoa käytetystä merkistöstä tai sen koodaustavasta. Poikkeuksena on nollatavu (ASCII NUL, U+0000) ja [[vinoviiva]] (”/”, U+002F), jotka ovat kiellettyjä merkkejä tiedostonnimissä.

Tiedostojärjestelmää lukiessaan Linux tulkitsee tiedostojen nimet käytössä olevan lokaalin perusteella. Jos käytössä on UTF-8-lokaali (esimerkiksi fi_FI.UTF-8), niin järjestelmä tulkitsee, että tiedostojen nimet ovat UTF-8-koodattuja. Tästä seuraa sellainen ikävä asia, että jos tiedostojen nimet on kirjoitettu käyttäen eri lokaalia kuin mikä parhaillaan on käytössä, niin todennäköisesti nimet eivät näy oikein. Tiedostojen nimien muuttaminen merkistökoodauksesta toiseen onnistuu [[convmv]]-ohjelmalla.

=== NTFS ===

[[NTFS]] on Microsoftin kehittämä tiedostojärjestelmä, ja sitä käytetään Windows-koneissa. Monet Linux-käytäjät pitävät koneellaan myös Windowsia ja liittävät Windowsin kiintolevyosiot osaksi Linux-järjestelmää, joten tässä yhteydessä on syytä kertoa, kuinka se tehdään mahdollisimman yhteensopivasti.

NTFS tukee Unicodea, ja se tallentaa tiedostojen nimet aina UTF-16-muodossa. Jotta kaikki tiedostojen nimet näkyisivät oikein Linuxissa, täytyy Linuxissa olla käytössä UTF-8-lokaali. NTFS-tiedostojärjestelmää liitettäessä täytyy [[mount]]-komennolle vielä kertoa, mikä merkistö Linuxissa on käytössä, koska vasta tämän tiedon avulla NTFS:llä olevat tiedostojen nimet osataan muuttaa UTF-16:sta Linuxin ymmärtämään muotoon. UTF-8-lokaalia käytettäessä annetaan [[mount]]-komennolle optioksi ”nls=utf8”. Sen voi tehdä esimerkiksi [[fstab|/etc/fstab]]-tiedostossa seuraavan esimerkin tapaan:
/dev/hdb1 /media/windows-c ntfs nls=utf8,uid=1000 0 0
Katso lisätietoja artikkelista [[fstab]] sekä Linuxista komennoilla <tt>man mount</tt> ja <tt>man fstab</tt>.

Jos käytössä on uudempi [[ntfs-3g]]-ajuri, käytetään optiota ”locale=fi_FI.UTF-8”:

/dev/hdb1 /media/windows-c ntfs-3g locale=fi_FI.UTF-8 0 0

=== FAT ===

Myös [[FAT]] on Microsoftin kehittämä tiedostojärjestelmä. Sitä käytetään paitsi Windowsissa mutta hyvin yleisesti myös USB-muistien, digikameroiden ja kannettavien MP3-soittimien tiedostojärjestelmänä. Pitkissä tiedostojen nimissä myös FAT tukee Unicodea, ja se periaatteessa tallentaa nimet UTF-16-muodossa. Ikänsä vuoksi FAT tukee kuitenkin vain Unicoden ensimmäisiä versioita ja merkkejä vain nk. Basic Multilingual Planesta (U+0000..U+FFFF). FATin tukema merkkivalikoima käsittää kuitenkin suurimman osan maailman kirjoitusmerkeistä, joten sen Unicode-tuki on useimpien kielten näkökulmasta varsin hyvä.

Samoin kuin NTFS:ssä, myös FAT-tiedostojärjestelmää liitettäessä täytyy Linuxille kertoa, mihin muotoon tiedostojen nimet täytyy muuttaa. Käytettäessä Linuxissa UTF-8-lokaalia, täytyy FAT-tiedostojärjestelmä liittää Linuxiin antamalla [[mount]]-komennolle optioksi ”utf8”. Siten [[fstab|/etc/fstab]]-tiedostoon laitettaisiin esimerkiksi rivi:
/dev/hdb5 /media/windows-d vfat utf8,dmask=777,fmask=666 0 0

== Tekstitiedostot ja tekstieditorit ==

Jos omassa Linux-järjestelmässä on aiemmin ollut käytössä ISO-8859-15-merkistö (esimerkiksi lokaali fi_FI@euro) ja sittemmin on siirrytty UTF-8:aan, täytyy omat tekstitiedostot muuttaa UTF-8-koodatuiksi, jotta niiden sisältö näkyisi oikein. Yksi tapa tekstitiedoston muuttamiseen UTF-8-koodaukseen on avata se johonkin tekstieditoriin ja tallentaa sitten teksti uudella koodauksella. Nopeampaa saattaa kuitenkin olla komentotulkin ja [[recode]]-ohjelman käyttö:
recode ISO-8859-15..UTF-8 tiedosto.txt
Tiedostojen nimissä käytetyn merkistön muuntaminen onnistuu [[convmv]]-nimisellä ohjelmalla.

=== Emacs ===

GNU [[Emacs]] toimii versiosta 22 alkaen automaattisesti UTF-8:n kanssa. Emacs 21:ssä on <tt>.emacs</tt>-asetustiedostoon lisättävä seuraavat rivit (tuki 21:ssä ei ole ongelmaton, katso esim. Debianin bugitietokanta):

(when (= emacs-major-version 21)
(prefer-coding-system 'utf-8)
(set-keyboard-coding-system 'utf-8)
(set-terminal-coding-system 'utf-8))

=== Vim ===

[[Vim]] tukee UTF-8:aa automaattisesti, jos käytössä on UTF-8-lokaali. Nykyiset Vimin versiot tukevat kutakuinkin täydellisesti kaikkia muitakin merkistöjä ja eri koodaustapoja. Tallennettavan tiedoston merkistöön voi vaikuttaa muuttujan 'fileencoding' avulla.

== Muut ohjelmat ==

Eräät, varsinkin vanhemmat, ohjelmat eivät hallitse UTF-8-merkistökoodauksen käyttöä. Tällaisia ovat mm. uutistenlukija [[slrn]] ja vanhemmat versiot [[Nano]]sta. Slrn tosin osaa näyttää UTF-8:lla koodatut kirjoitukset oikein siinä määrin kun niissä olevat merkit sopivat johonkin kahdeksanbittiseen merkistöön, mutta ei toimi mikäli pääteikkunassakin on UTF-8 käytössä.

Tällaista ohjelmaa voi käyttää [[luit]]-ohjelman avulla esimerkiksi näin.
LC_ALL=en_US.ISO-8859-1 luit ohjelmannimi
Samaa komentoa voi käyttää myös ottaessasi ssh-yhteyden sellaiseen koneeseen, jossa käytetään jotakin 8-bittistä merkistöä.

Myöskään kaikki graafiset ohjelmat eivät hallitse UTF-8:aa, esimerkiksi [[Dillo]]-selain ei toistaiseksi osaa näyttää sillä koodattuja www-sivuja.

== IRC ==

Nykyisin suomalaisilla IRC-kanavilla käytetään enimmäkseen vanhoja 8-bittisiä merkistöjä, joilla esiintyy edellä kuvattuja ongelmia. Tästä syystä siirros UTF-8:n käyttöön on pikkuhiljaa tapahtumassa, mutta siirrosta luonnollisesti hidastaa se, että monet asiakasohjelmat eivät tue UTF-8-merkistöä lainkaan ilman erillisiä skriptejä ja toisaalta myös se, että vain muutama asiakasohjelma saadaan tukemaan vanhaa 8-bittistä ja UTF-8:a samaan aikaan jolloin muiden kirjoittamat tekstit näkyisivät oikein riippumatta siitä, kumpaa merkistöä käytetään. Tilanne onneksi kuitenkin paranee kaiken aikaa ja on selvää että UTF-8:n käyttöön tullaan tulevaisuudessa siirtymään kokonaan. Siirros ei kuitenkaan missään tapauksessa tule tapahtumaan yhden yön aikana, joten olisi toivottavaa että mahdollisimman monista asiakasohjelmista löytyisi sekakäytön mahdollistava merkistön automaattinen tunnistus.
Alla on lueteltu tärkeimpien IRC-ohjelmien UTF-8-yhteensopivuus.

=== ChatZilla ===

Merkistö on valittavissa valikosta, ei automaattista tunnistusta.

=== Irssi ===

[[Irssi]] 0.8.10 tukee merkistömuutoksia nykyisessä vakaassa versiossaan ja sitä edeltäneissä julkaisuehdokkaissa rc5:stä eteenpäin. Tämä mahdollistaa merkistön valinnan kanavakohtaisesti, kuten myös sen, että tästä riippumatta voidaan esimerkiksi lokit kirjoittaa aina UTF-8-muodossa. Tärkeimmät asetukset ovat <tt>/set term_charset <nowiki><merkistö></nowiki></tt> (asettaa terminaalin käyttämän merkistön, yleensä UTF-8), <tt>/set recode_out_default_charset</tt> (asettaa oletusmerkistön lähtevälle tekstille, yleensä UTF-8 tai ISO-8859-15) ja <tt>/recode add <nowiki><merkistö></nowiki></tt> (asettaa aktiivisessa ikkunassa käytettävän merkistön). Merkistön automaattinen tunnistus toimii käytännössä luotettavasti.

Irssi 0.8.10rc4 ja vanhemmat eivät sisällä sisäänrakennettua merkistömuunnostukea. <tt>/set term_type utf8</tt> tai <tt>/set term_type 8bit</tt> on asetettava terminaalin tyypin mukaisesti. Merkistömuunnostuen saa skripteillä recode.pl ja recode_ion.pl tai liitännäisellä charconv. Älä asenna useampaa samanaikaisesti, yksi riittää. rc5 ja rc6-versioissa recode-toiminto oli kehitysasteella, joten toimivuus ja ominaisuudet eivät ole täydellisiä. Mikäli mahdollista, nämä versiot kannattaa tietenkin päivittää uusimpaan vakaaseen versioon.

Erään ongelman muodostavat kanavat, joiden nimissä käytetään esimerkiksi Latin1-merkkejä, suomenkielisillä kanavilla yleensä ääkkösiä. UTF-8-terminaalilla niitä ei suoraan voi kirjoittaa ja UTF-8:lla kirjoitettu kanava #ääkkönen tietenkin on irc-palvelimen kannalta täysin eri kanava kuin vastaava nimi Latin1:llä kirjoitettuna. Ongelman voi kiertää esimerkiksi käyttämällä komennon <tt>/join #ääkkönen</tt> sijaan <tt>/eval</tt>-komentoa, jolloin merkkien numerokoodeja voidaan kirjoittaa suoraan esimerkiksi oktaaleina: <tt>/eval /join \344\344kk\366nen</tt>. Merkkien koodeja voi tarkistaa esimerkiksi [http://www.cs.tut.fi/~jkorpela/latin1.html tästä taulukosta].

=== KVIrc ===

IRC-client [[QT]]/[[KDE|KDE:lle]]. Tukee suoraan merkistön automaattista tunnistusta. Yläkulmassa on kiinalainen kirjoitusmerkki, josta voi valita merkistön kanavakohtaisesti (myös verkkokohtainen ja ohjelmanlaajuinen merkistön valinta on mahdollista). UTF-8:n recode vanhaan muotoon onnistuu valinnalla Smart-alavalikon valinnalla <tt>UTF-8/ISO-8859-15 ( UTF-8? -> Western, Latin 1 + Euro)</tt>.

KVirc on saatavilla myös Windowssille, joten sitä voi tarjota merkistöongelmista kärsiville mIRC:n käyttäjille.

=== mIRC ===

mIRC ei ole Linux-ohjelma, mutta monet käyttävät Windowsissa vanhoja versioita siitä ja valittavat UTF:stä juuri siksi että skandit eivät näy heillä. Kuitenkin mIRCin uusin versio osaa näyttää oikein myös UTF-8-koodatut skandit oletusasetuksilla.

=== Wireless IRC ===

Ei tue merkistön automaattista tunnistusta, mutta asetuksista voi määritellä merkistöksi UTF-8:n.

=== X-Chat ===

Verkkokohtainen merkistön voi valita asetuksista. Merkistön automaattinen tunnistus on käytössä vain kun UTF-8-merkistö on valittu.

X-Chatin sivustolta löytyy myös python-scripti (lamechan.py), jolla voi kanavakohtaisesti valita käytetäänkö UTF-8:aa vai jotain toista merkistöä. Tätä scriptiä ei ole saatu toimimaan X-Chatin Windows-versioilla.

=== jmIrc ===

Asetuksista voi määritellä merkistöksi UTF-8:n, tukee myös merkistön automaattista tunnistusta.

== Tietoturva ==

Unicode tuo mukanaan joukon tietoturvaongelmia, ennen kautta siksi, että se on niin monimutkainen, eikä monikaan ohjelmoija ymmärrä kaikkia niitä mekanismeja, joita tarvitaan hänelle tuntemattomissa kielissä. Perustavanlaatuinen ongelma on, että merkkijonon pituus merkkeinä ei sano paljoakaan sen pituudesta ruudulla (tasaleveälläkään kirjamisella) tai tavuina – eikä päinvastoinkaan. Väärien oletusten varassa toimivat ohjelmat ja [[kirjasto|ohjelmakirjastot]] saattavat olla alttiita puskuriyliovuodoille yms. Tässä muutamia muita ongelmia:

Samaa merkkiä voidaan esittää eri tavoilla, esimerkiksi "ä" sellaisenaan tai "a":n ja pisteiden yhdistelmänä (tämä on ongelmallista myös merkkijonoja etsittäessä [[grep]]illä tms.). Jos merkkien esitystapaa muutetaan sen jälkeen, kun niiden vaarattomuus on tarkistettu, tarkistuksen voi ohittaa. Yksinkertaistettu algoritmi saattaa myös hyväksyä kiellettyjä koodaustapoja, joilla esimerkiksi ASCII-merkkejä voidaan koodata useammassa tavussa tarkistusten ohittamiseksi.

Näytöllä vaarattomalta näyttävä merkkijono on saatettu muodostaa käyttäen lähes samalta näyttäviä merkkejä, joilla kuitenkin on eri merkitys (vrt nokia.com vs. nokía.com). Vastaavaa voi saada aikaan kirjoitussuunnalla kikkailemalla.

==Eräitä Unicode-merkkejä==
* Lainausmerkit (yksin ja kaksin): ’ ’’ ” ””
* Kolme pistettä: … (U+2026 HORIZONTAL ELLIPSIS)
* Luetelmapallo: • (U+2022 BULLET)

===Viivamerkit===
*n‐viiva: – (U+2013 EN DASH)
Käyttö: Varsinaisena ajatusviivana. Ellipsiviiva (poisjätön merkki): 50,– euroa, –kele! Alkamisen ja loppumisen ääripäät: sivut 10–12, Helsingin–Hämeenlinnan rautatie. Lainatun tekstin erottamiseen. Luetteloviiva. Repliikkiviiva. Osapuolten erottamiseen: Paasikiven–Kekkosen linja.
*Yhdysmerkki: ‐ (U+2010 HYPHEN)
Käyttö: yhdysnimissä ja kun sanan toinen puolisko on erisnimi tai lyhenne: Maija‐Liisa Virtanen‐Mäkinen, SM‐kilpailu, Tampere‐talo. Tavuviivana. ”luuta‐akka”, ”pakastekaapit ja ‐arkut”, ”sydän‐ ja verisuonitaudit”

===Matematiikkaa===

* Peruslaskutoimitukset: + − × : ∕ (U+2215 DIVISION SLASH)
* Murtolukuja: ⅓ ⅔ ¼ ½ ¾ ⅕ ⅖ ⅗ ⅘ ⅙ ⅚ ⅛ ⅜ ⅝ ⅞
* ⁄ (U+2044 FRACTION SLASH)
* Yhtäläisyys ja epäyhtäläisyys: ≈ = ≠ < ≤ > ≥
* Yläindeksinumerot ja ‐merkit: ⁰ ¹ ² ³ ⁴ ⁵ ⁶ ⁷ ⁸ ⁹ ⁺ ⁻ ⁼ ⁽ ⁾ ⁿ ⁱ
* Alaindeksinumerot ja ‐merkit: ₀ ₁ ₂ ₃ ₄ ₅ ₆ ₇ ₈ ₉ ₊ ₋ ₌ ₍ ₎
* Muut
** ∶ (U+2236 RATIO)
** ⇒ ∞ ‰ ± °

===Kieliä===
*Englanti:
**— (U+2014 EM DASH)
**“ (U+201C LEFT DOUBLE QUOTATION MARK)
**‘ (U+2018 LEFT SINGLE QUOTATION MARK)
*Espanja: Ñ ñ ¿ ¡
*Norja ja tanska: Æ æ Ø ø
*Ranska: È É Ê Ë è é ê ë Ò Ó Ô ò ó ô Ç ç Ï ï
*Saksa: ß Ü ü
*Viro: Õ õ

===Sekalaisia===
* © ® ℗ ™ ℠ § ¶ µ € → ♀ ♂
*Teinixmäisyyksiä: ☺ ☹ ♥ ‽ ☠ ☢ ☣ ☮ ♫

==Aiheesta muualla==
* [[wikipedia:fi:Unicode|Unicode suomenkielisessä Wikipediassa]]
* [http://iki.fi/~juhtolv/unicode/suomi.html Suomen kielen kirjoittaminen Unicodea käyttäen]

[[Luokka:Verkko]]
[[Luokka:Järjestelmä]]
[[Luokka:Käsitteet]]

Unicode

2010-02-16T12:09:04Z

Ordyh: fmt.

{{perustietoa}}
[[wikipedia:fi:Unicode|Unicode Wikipediassa]]

'''Unicode''' on standardi, joka muun muassa määrittelee useimmille maailman kirjoitusmerkeille omat merkkikoodinsa. Standardin tarkoituksena on korvata tähän saakka käytössä olleet hyvin erilaiset ja keskenään huonosti yhteensopivat merkistöt. Suomessa on Linux-koneissa käytetty enimmäkseen ISO-8859-15-merkistöä. Vanhojen merkistöjen ongelma on, että niiden merkkivalikoima on hyvin rajallinen, esimerkiksi 256 merkkiä. Se yleensä tarkoittaa, että samalla merkistöllä ei voida esittää useita kovin erilaisia kieliä. Esimerkiksi sama tekstitiedosto tai sähköpostiviesti ei voi sisältää tekstiä kuin niillä kielillä, joita kyseisellä merkistöllä voidaan esittää. Tämä ei kenties häiritse yksittäistä tietokoneenkäyttäjää, mutta sitä mukaa, kun kansainvälinen tietoliikenne on lisääntynyt, on myös lisääntynyt tarve luoda kaikille yhteinen standardi kirjoitusmerkkien esittämiseksi.

Unicode pyrkii ratkaisemaan vanhojen merkistöjen rajallisuuteen liittyvät ongelmat luomalla merkistön, joka sisältää kaikki nykyiset (ja jopa entiset) kirjoitusjärjestelmät. Unicode-standardi käsittää 1 114 112 merkkipaikkaa, ja ne yksilöidään U+xxxx-muotoisella tunnuksella, jossa ”xxxx” on merkin numerokoodi heksadesimaalimuodossa (16-järjestelmä). Mahdolliset koodit ovat U+0000..U+10FFFF. Käytännössä ihan jokainen merkkipaikka ei viittaa mihinkään kirjoitusmerkkiin, vaan mukana on jonkin verran myös erilaisia ohjauskoodeja tietokonetta varten sekä Unicode-standardiin liittyvää erikoistietoa. Joka tapauksessa merkkipaikkoja on niin paljon, että kaikki olemassa olevat ja jo historiaan jääneet kirjoitusmerkit mahtuvan mukaan. Tästä huolimatta merkkipaikkoja on runsaasti tyhjillään tulevaisuuden varalta ja kaikkia tuskin tarvitaan koskaan. Mukana on myös suuri joukko tarkoituksella määrittelemättömiä, yksityiseen käyttöön varattuja merkkipaikkoja.

Unicode-merkkejä sisältävää tekstiä voidaan tallentaa tietokoneelle useilla eri tavoilla. Linuxissa ja yleensäkin tietoliikenteessä käytetty Unicoden koodaustapa on nimeltään '''[[UTF-8]]'''. Tässä koodauksessa yksi Unicode-merkki vie tallennustilaa 1–4 oktettia eli 8 bitin tavua. ASCII-merkistöön kuuluvat merkit (U+0000..U+007F) esitetään UTF-8:ssa sellaisenaan, yhtenä tavuna, joten ASCII on täysin UTF-8-yhteensopiva. Se onkin Linuxissa tärkeää, koska siinä käytetään paljon ASCII-muodossa olevia asetustiedostoja ja käynnistysskriptejä. Muiden kuin ASCII-merkkien esittämiseksi tarvitaan avuksi lisätavuja, ja esimerkiksi suomen kieleen kuuluvien ä- ja ö-kirjainten esittämiseen tarvitaan kaksi tavua.

UTF-8:n lisäksi on olemassa muitakin koodaustapoja, esimerkiksi UTF-16 ja UTF-32. UTF-16:ssa merkit esitetään joko yhtenä 16-bittisenä lukuna, tai mikäli merkin koodi on sitä suurempi, niin kahden 16-bittisen luvun muodostamana nk. sijaismerkkiparina (surrogate pair). UTF-32:ssa merkki esitetään aina yhtenä 32-bittisenä lukuna. Kuten todettu, Linuxissa käytetään pääasiassa UTF-8:aa. Ohjelmat voivat kuitenkin sisäisesti käyttää muitakin koodaustapoja, ja ohjelmien tekijät voivat vapaasti valita omaan ohjelmaansa sopivan tavan tallentaa tietoa.

Nykyisin monet Linux-jakelut käyttävät UTF-8:aa oletuksena. Tämän voi havaita siitä, että järjestelmän käyttämien lokaalien nimessä on ”.UTF-8”. Esimerkiksi Suomessa käytetään lokaalia nimeltä ”fi_FI.UTF-8”. Tällaista lokaalia käytettäessä järjestelmä tukee Unicodea ja mm. tiedostojen nimiin ja tekstitiedostoihin on periaatteessa mahdollista kirjoittaa kaikkia Unicode-merkkejä. Käytännössä mikään fontti ei yksinään kykene näyttämään kaikkia merkkejä.

== [[Tiedostojärjestelmä]]t ==

=== Ext3 ja muut Unixien tiedostojärjestelmät ===

[[Ext3]] on Linuxissa yleisesti käytetty tiedostojärjestelmä. Se tukee täydellisesti Unicodea ja UTF-8:aa mutta tekee sen tavallaan tietämättään. Samoin on asia muissakin tiedostojärjestelmissä, joita käytetään Linuxissa ja Unix-tyyppisissä käyttöjärjestelmissä. Tiedostojärjestelmät eivät välitä, mitä merkkejä tiedostojen nimissä on, eivätkä ne tallenna mitään tietoa käytetystä merkistöstä tai sen koodaustavasta. Poikkeuksena on nollatavu (ASCII NUL, U+0000) ja [[vinoviiva]] (”/”, U+002F), jotka ovat kiellettyjä merkkejä tiedostonnimissä.

Tiedostojärjestelmää lukiessaan Linux tulkitsee tiedostojen nimet käytössä olevan lokaalin perusteella. Jos käytössä on UTF-8-lokaali (esimerkiksi fi_FI.UTF-8), niin järjestelmä tulkitsee, että tiedostojen nimet ovat UTF-8-koodattuja. Tästä seuraa sellainen ikävä asia, että jos tiedostojen nimet on kirjoitettu käyttäen eri lokaalia kuin mikä parhaillaan on käytössä, niin todennäköisesti nimet eivät näy oikein. Tiedostojen nimien muuttaminen merkistökoodauksesta toiseen onnistuu [[convmv]]-ohjelmalla.

=== NTFS ===

[[NTFS]] on Microsoftin kehittämä tiedostojärjestelmä, ja sitä käytetään Windows-koneissa. Monet Linux-käytäjät pitävät koneellaan myös Windowsia ja liittävät Windowsin kiintolevyosiot osaksi Linux-järjestelmää, joten tässä yhteydessä on syytä kertoa, kuinka se tehdään mahdollisimman yhteensopivasti.

NTFS tukee Unicodea, ja se tallentaa tiedostojen nimet aina UTF-16-muodossa. Jotta kaikki tiedostojen nimet näkyisivät oikein Linuxissa, täytyy Linuxissa olla käytössä UTF-8-lokaali. NTFS-tiedostojärjestelmää liitettäessä täytyy [[mount]]-komennolle vielä kertoa, mikä merkistö Linuxissa on käytössä, koska vasta tämän tiedon avulla NTFS:llä olevat tiedostojen nimet osataan muuttaa UTF-16:sta Linuxin ymmärtämään muotoon. UTF-8-lokaalia käytettäessä annetaan [[mount]]-komennolle optioksi ”nls=utf8”. Sen voi tehdä esimerkiksi [[fstab|/etc/fstab]]-tiedostossa seuraavan esimerkin tapaan:
/dev/hdb1 /media/windows-c ntfs nls=utf8,uid=1000 0 0
Katso lisätietoja artikkelista [[fstab]] sekä Linuxista komennoilla <tt>man mount</tt> ja <tt>man fstab</tt>.

Jos käytössä on uudempi [[ntfs-3g]]-ajuri, käytetään optiota ”locale=fi_FI.UTF-8”:

/dev/hdb1 /media/windows-c ntfs-3g locale=fi_FI.UTF-8 0 0

=== FAT ===

Myös [[FAT]] on Microsoftin kehittämä tiedostojärjestelmä. Sitä käytetään paitsi Windowsissa mutta hyvin yleisesti myös USB-muistien, digikameroiden ja kannettavien MP3-soittimien tiedostojärjestelmänä. Pitkissä tiedostojen nimissä myös FAT tukee Unicodea, ja se periaatteessa tallentaa nimet UTF-16-muodossa. Ikänsä vuoksi FAT tukee kuitenkin vain Unicoden ensimmäisiä versioita ja merkkejä vain nk. Basic Multilingual Planesta (U+0000..U+FFFF). FATin tukema merkkivalikoima käsittää kuitenkin suurimman osan maailman kirjoitusmerkeistä, joten sen Unicode-tuki on useimpien kielten näkökulmasta varsin hyvä.

Samoin kuin NTFS:ssä, myös FAT-tiedostojärjestelmää liitettäessä täytyy Linuxille kertoa, mihin muotoon tiedostojen nimet täytyy muuttaa. Käytettäessä Linuxissa UTF-8-lokaalia, täytyy FAT-tiedostojärjestelmä liittää Linuxiin antamalla [[mount]]-komennolle optioksi ”utf8”. Siten [[fstab|/etc/fstab]]-tiedostoon laitettaisiin esimerkiksi rivi:
/dev/hdb5 /media/windows-d vfat utf8,dmask=777,fmask=666 0 0

== Tekstitiedostot ja tekstieditorit ==

Jos omassa Linux-järjestelmässä on aiemmin ollut käytössä ISO-8859-15-merkistö (esimerkiksi lokaali fi_FI@euro) ja sittemmin on siirrytty UTF-8:aan, täytyy omat tekstitiedostot muuttaa UTF-8-koodatuiksi, jotta niiden sisältö näkyisi oikein. Yksi tapa tekstitiedoston muuttamiseen UTF-8-koodaukseen on avata se johonkin tekstieditoriin ja tallentaa sitten teksti uudella koodauksella. Nopeampaa saattaa kuitenkin olla komentotulkin ja [[recode]]-ohjelman käyttö:
recode ISO-8859-15..UTF-8 tiedosto.txt
Tiedostojen nimissä käytetyn merkistön muuntaminen onnistuu [[convmv]]-nimisellä ohjelmalla.

=== Emacs ===

GNU [[Emacs]] toimii versiosta 22 alkaen automaattisesti UTF-8:n kanssa. Emacs 21:ssä on <tt>.emacs</tt>-asetustiedostoon lisättävä seuraavat rivit (tuki 21:ssä ei ole ongelmaton, katso esim. Debianin bugitietokanta):

(when (= emacs-major-version 21)
(prefer-coding-system 'utf-8)
(set-keyboard-coding-system 'utf-8)
(set-terminal-coding-system 'utf-8))

=== Vim ===

[[Vim]] tukee UTF-8:aa automaattisesti, jos käytössä on UTF-8-lokaali. Nykyiset Vimin versiot tukevat kutakuinkin täydellisesti kaikkia muitakin merkistöjä ja eri koodaustapoja. Tallennettavan tiedoston merkistöön voi vaikuttaa muuttujan 'fileencoding' avulla.

== Muut ohjelmat ==

Eräät, varsinkin vanhemmat, ohjelmat eivät hallitse UTF-8-merkistökoodauksen käyttöä. Tällaisia ovat mm. uutistenlukija [[slrn]] ja vanhemmat versiot [[Nano]]sta. Slrn tosin osaa näyttää UTF-8:lla koodatut kirjoitukset oikein siinä määrin kun niissä olevat merkit sopivat johonkin kahdeksanbittiseen merkistöön, mutta ei toimi mikäli pääteikkunassakin on UTF-8 käytössä.

Tällaista ohjelmaa voi käyttää [[luit]]-ohjelman avulla esimerkiksi näin.
LC_ALL=en_US.ISO-8859-1 luit ohjelmannimi
Samaa komentoa voi käyttää myös ottaessasi ssh-yhteyden sellaiseen koneeseen, jossa käytetään jotakin 8-bittistä merkistöä.

Myöskään kaikki graafiset ohjelmat eivät hallitse UTF-8:aa, esimerkiksi [[Dillo]]-selain ei toistaiseksi osaa näyttää sillä koodattuja www-sivuja.

== IRC ==

Nykyisin suomalaisilla IRC-kanavilla käytetään enimmäkseen vanhoja 8-bittisiä merkistöjä, joilla esiintyy edellä kuvattuja ongelmia. Tästä syystä siirros UTF-8:n käyttöön on pikkuhiljaa tapahtumassa, mutta siirrosta luonnollisesti hidastaa se, että monet asiakasohjelmat eivät tue UTF-8-merkistöä lainkaan ilman erillisiä skriptejä ja toisaalta myös se, että vain muutama asiakasohjelma saadaan tukemaan vanhaa 8-bittistä ja UTF-8:a samaan aikaan jolloin muiden kirjoittamat tekstit näkyisivät oikein riippumatta siitä, kumpaa merkistöä käytetään. Tilanne onneksi kuitenkin paranee kaiken aikaa ja on selvää että UTF-8:n käyttöön tullaan tulevaisuudessa siirtymään kokonaan. Siirros ei kuitenkaan missään tapauksessa tule tapahtumaan yhden yön aikana, joten olisi toivottavaa että mahdollisimman monista asiakasohjelmista löytyisi sekakäytön mahdollistava merkistön automaattinen tunnistus.
Alla on lueteltu tärkeimpien IRC-ohjelmien UTF-8-yhteensopivuus.

=== ChatZilla ===

Merkistö on valittavissa valikosta, ei automaattista tunnistusta.

=== Irssi ===

[[Irssi]] 0.8.10 tukee merkistömuutoksia nykyisessä vakaassa versiossaan ja sitä edeltäneissä julkaisuehdokkaissa rc5:stä eteenpäin. Tämä mahdollistaa merkistön valinnan kanavakohtaisesti, kuten myös sen, että tästä riippumatta voidaan esimerkiksi lokit kirjoittaa aina UTF-8-muodossa. Tärkeimmät asetukset ovat <tt>/set term_charset <nowiki><merkistö></nowiki></tt> (asettaa terminaalin käyttämän merkistön, yleensä UTF-8), <tt>/set recode_out_default_charset</tt> (asettaa oletusmerkistön lähtevälle tekstille, yleensä UTF-8 tai ISO-8859-15) ja <tt>/recode add <nowiki><merkistö></nowiki></tt> (asettaa aktiivisessa ikkunassa käytettävän merkistön). Merkistön automaattinen tunnistus toimii käytännössä luotettavasti.

Irssi 0.8.10rc4 ja vanhemmat eivät sisällä sisäänrakennettua merkistömuunnostukea. <tt>/set term_type utf8</tt> tai <tt>/set term_type 8bit</tt> on asetettava terminaalin tyypin mukaisesti. Merkistömuunnostuen saa skripteillä recode.pl ja recode_ion.pl tai liitännäisellä charconv. Älä asenna useampaa samanaikaisesti, yksi riittää. rc5 ja rc6-versioissa recode-toiminto oli kehitysasteella, joten toimivuus ja ominaisuudet eivät ole täydellisiä. Mikäli mahdollista, nämä versiot kannattaa tietenkin päivittää uusimpaan vakaaseen versioon.

Erään ongelman muodostavat kanavat, joiden nimissä käytetään esimerkiksi Latin1-merkkejä, suomenkielisillä kanavilla yleensä ääkkösiä. UTF-8-terminaalilla niitä ei suoraan voi kirjoittaa ja UTF-8:lla kirjoitettu kanava #ääkkönen tietenkin on irc-palvelimen kannalta täysin eri kanava kuin vastaava nimi Latin1:llä kirjoitettuna. Ongelman voi kiertää esimerkiksi käyttämällä komennon <tt>/join #ääkkönen</tt> sijaan <tt>/eval</tt>-komentoa, jolloin merkkien numerokoodeja voidaan kirjoittaa suoraan esimerkiksi oktaaleina: <tt>/eval /join \344\344kk\366nen</tt>. Merkkien koodeja voi tarkistaa esimerkiksi [http://www.cs.tut.fi/~jkorpela/latin1.html tästä taulukosta].

=== KVIrc ===

IRC-client [[QT]]/[[KDE|KDE:lle]]. Tukee suoraan merkistön automaattista tunnistusta. Yläkulmassa on kiinalainen kirjoitusmerkki, josta voi valita merkistön kanavakohtaisesti (myös verkkokohtainen ja ohjelmanlaajuinen merkistön valinta on mahdollista). UTF-8:n recode vanhaan muotoon onnistuu valinnalla Smart-alavalikon valinnalla <tt>UTF-8/ISO-8859-15 ( UTF-8? -> Western, Latin 1 + Euro)</tt>.

KVirc on saatavilla myös Windowssille, joten sitä voi tarjota merkistöongelmista kärsiville mIRC:n käyttäjille.

=== mIRC ===

mIRC ei ole Linux-ohjelma, mutta monet käyttävät Windowsissa vanhoja versioita siitä ja valittavat UTF:stä juuri siksi että skandit eivät näy heillä. Kuitenkin mIRCin uusin versio osaa näyttää oikein myös UTF-8-koodatut skandit oletusasetuksilla.

=== Wireless IRC ===

Ei tue merkistön automaattista tunnistusta, mutta asetuksista voi määritellä merkistöksi UTF-8:n.

=== X-Chat ===

Verkkokohtainen merkistön voi valita asetuksista. Merkistön automaattinen tunnistus on käytössä vain kun UTF-8-merkistö on valittu.

X-Chatin sivustolta löytyy myös python-scripti (lamechan.py), jolla voi kanavakohtaisesti valita käytetäänkö UTF-8:aa vai jotain toista merkistöä. Tätä scriptiä ei ole saatu toimimaan X-Chatin Windows-versioilla.

=== jmIrc ===

Asetuksista voi määritellä merkistöksi UTF-8:n, tukee myös merkistön automaattista tunnistusta.

== Tietoturva ==

Unicode tuo mukanaan joukon tietoturvaongelmia, ennen kautta siksi, että se on niin monimutkainen, eikä monikaan ohjelmoija ymmärrä kaikkia niitä mekanismeja, joita tarvitaan hänelle tuntemattomissa kielissä. Perustavanlaatuinen ongelma on, että merkkijonon pituus merkkeinä ei sano paljoakaan sen pituudesta ruudulla (tasaleveälläkään kirjamisella) tai tavuina – eikä päinvastoinkaan. Väärien oletusten varassa toimivat ohjelmat ja [[kirjasto|ohjelmakirjastot]] saattavat olla alttiita puskuriyliovuodoille yms. Tässä muutamia muita ongelmia:

Samaa merkkiä voidaan esittää eri tavoilla, esimerkiksi "ä" sellaisenaan tai "a":n ja pisteiden yhdistelmänä (tämä on ongelmallista myös merkkijonoja etsittäessä [[grep]]illä tms.). Jos merkkien esitystapaa muutetaan sen jälkeen, kun niiden vaarattomuus on tarkistettu, tarkistuksen voi ohittaa. Yksinkertaistettu algoritmi saattaa myös hyväksyä kiellettyjä koodaustapoja, joilla esimerkiksi ASCII-merkkejä voidaan koodata useammassa tavussa tarkistusten ohittamiseksi.

Näytöllä vaarattomalta näyttävä merkkijono on saatettu muodostaa käyttäen lähes samalta näyttäviä merkkejä, joilla kuitenkin on eri merkitys (vrt nokia.com vs. nokía.com). Vastaavaa voi saada aikaan kirjoitussuunnalla kikkailemalla.

==Eräitä Unicode-merkkejä==
* Lainausmerkit (yksin ja kaksin): ’ ’’ ” ””
* Kolme pistettä: … (U+2026 HORIZONTAL ELLIPSIS)
* Luetelmapallo: • (U+2022 BULLET)

===Viivamerkit===
*n‐viiva: – (U+2013 EN DASH)
Käyttö: Varsinaisena ajatusviivana. Ellipsiviiva (poisjätön merkki): 50,– euroa, –kele! Alkamisen ja loppumisen ääripäät: sivut 10–12, Helsingin–Hämeenlinnan rautatie. Lainatun tekstin erottamiseen. Luetteloviiva. Repliikkiviiva. Osapuolten erottamiseen: Paasikiven–Kekkosen linja.
*Yhdysmerkki: ‐ (U+2010 HYPHEN)
Käyttö: yhdysnimissä ja kun sanan toinen puolisko on erisnimi tai lyhenne: Maija‐Liisa Virtanen‐Mäkinen, SM‐kilpailu, Tampere‐talo. Tavuviivana. ”luuta‐akka”, ”pakastekaapit ja ‐arkut”, ”sydän‐ ja verisuonitaudit”

===Matematiikkaa===

* Peruslaskutoimitukset: + − × : ∕ (U+2215 DIVISION SLASH)
* Murtolukuja: ⅓ ⅔ ¼ ½ ¾ ⅕ ⅖ ⅗ ⅘ ⅙ ⅚ ⅛ ⅜ ⅝ ⅞
* ⁄ (U+2044 FRACTION SLASH)
* Yhtäläisyys ja epäyhtäläisyys: ≈ = ≠ < ≤ > ≥
* Yläindeksinumerot ja ‐merkit: ⁰ ¹ ² ³ ⁴ ⁵ ⁶ ⁷ ⁸ ⁹ ⁺ ⁻ ⁼ ⁽ ⁾ ⁿ ⁱ
* Alaindeksinumerot ja ‐merkit: ₀ ₁ ₂ ₃ ₄ ₅ ₆ ₇ ₈ ₉ ₊ ₋ ₌ ₍ ₎
* Muut
** ∶ (U+2236 RATIO)
** ⇒ ∞ ‰ ± °

===Kieliä===
*Englanti:
**— (U+2014 EM DASH)
**“ (U+201C LEFT DOUBLE QUOTATION MARK)
**‘ (U+2018 LEFT SINGLE QUOTATION MARK)
*Espanja: Ñ ñ ¿ ¡
*Norja ja tanska: Æ æ Ø ø
*Ranska: È É Ê Ë è é ê ë Ò Ó Ô ò ó ô Ç ç Ï ï
*Saksa: ß Ü ü
*Viro: Õ õ

===Sekalaisia===
* © ® ℗ ™ ℠ § ¶ µ € → ♀ ♂
*Teinixmäisyyksiä: ☺ ☹ ♥ ‽ ☠ ☢ ☣ ☮ ♫

==Aiheesta muualla==
* [[wikipedia:fi:Unicode|Unicode suomenkielisessä Wikipediassa]]
* [http://iki.fi/~juhtolv/unicode/suomi.html Suomen kielen kirjoittaminen Unicodea käyttäen]

[[Luokka:Verkko]]
[[Luokka:Järjestelmä]]
[[Luokka:Käsitteet]]

Lokaali

2010-02-16T12:02:52Z

Ordyh: Ak: Ohjaus sivulle Locale

#REDIRECT [[Locale]]

Iptables

2010-02-16T12:01:24Z

Ordyh: +asetusten listaaminen

Iptables-työkalulla säädetään Linuxin [[Kernel|ytimessä]] olevaa [[Netfilter]]-pakettisuodatinta. Sen avulla voidaan toteuttaa esimerkiksi [[Palomuuri|palomuureja]] ja
[[wikipedia:fi:reititin|reitittimiä.]] Iptables on ollut mukana ytimessä versiosta 2.4-alkaen.

== Palomuuriasetusten listaaminen ==
Tämänhetkiset palomuuriasetukset näkee komennolla
iptables -L
lisä[[valitsin]] -n näyttää osoitteet IP-muodossa. NAT-asetukset näkee komennolla
iptables -t nat -L

== Pakettien rajoittaminen ==
Palomuuri perustuu siihen, että tietyt paketit (tieto liikkuu Internetissä paketteina) pääsevät palomuurin läpi ja tietyt estetään. Näitä esto- ja päästösääntöjä säädetään iptablesilla.

Iptablesin kanssa paketit jaetaan viiteen luokkaan: INPUT, OUTPUT, FORWARD, PREROUTING ja POSTROUTING. OUTPUT-tyyppiset paketit ovat paketteja jotka lähtevät koneeltasi Internettiin - esimerkiksi ladatessasi tämän sivun lähetit wikin palvelimelle paketin, jossa pyysit tätä sivua. Kun palvelin sitten vastaa pyyntöösi lähettäen tätä sivua paketteina, ne tulevat INPUT-tyyppisinä. FORWARD-tyyppiset paketit ovat paketteja, jotka vastaanotetaan toisesta verkosta ja lähetetään toiseen (yleensä Internetistä lähiverkkoon tai päinvastoin).

Vielä yksi perusasia ennen kuin lähdemme säätelemään palomuuriamme: tehtyäsi asetukset ne eivät tallennu mihinkään, vaan seuraavan uudelleenkäynnistyken jälkeen asetukset palautuvat alkuperäisiksi. Tallentaminen onnistuu komennoilla <tt>iptables-save</tt> ja <tt>iptables-restore</tt> joista lisää myöhemmin.

Kannattaa myös huomioida että ipforward pitää olla kytketty päälle /etc/sysctl.conf tiedostossa (net.ipv4.ip_forward=1) jotta FORWARD ketjun ja nat taulun säännöillä olisi vaikutusta. Tiedoston muutos tulee voimaan vasta uudelleenkäynnistyksen jälkeen, joten jos haluaa, että ipforward tulee heti päälle pitää antaa seuraava komento:
/sbin/sysctl -w net.ipv4.ip_forward=1
Lisäksi iptables pitää kytkeä päälle, jos se ei ole jo. Tämä onnistuu seuraavalla komennolla:
/sbin/chkconfig iptables on
Nykyään iptables on käytössä käytännössä kaikissa jakeluissa eikä mitään erityissäätöjä tarvitse tehdä sen käyttöönottamista varten.

=== Pakettien estäminen ===
Tietystä osoitteesta tulevia paketteja voidaan estää iptables-komennoilla joiden syntaksi on seuraavanlainen:
iptables -s osoite -A INPUT -j DROP
Parametri -s tarkoittaa osoitetta, josta paketit tulevat (engl. source). Osoite voi olla joko IP-osoite (123.345.456.578) tai DNS-nimi (esim. linux.fi). Yksittäisen osoitteen sijaan voidaan antaa myös kokonainen IP-osoiteavaruus käyttäen [[wikipedia:Netmask|verkkomaskia]]: esimerkiksi IP-osoitteet väliltä 192.168.0.0-192.168.0.255 valittaisiin merkinnällä 192.168.0.0/255.255.255.0.

-A tarkoittaa paketin tyyppiä, tässä tapauksessa sisään tulevaa pakettia (<tt>INPUT</tt>). -j kertoo, mitä paketille tehdään. Tässä tapauksessa se pudotetaan (engl. drop), eli sitä ei päästetä palomuurin läpi.

Vastaavasti tiettyyn osoitteeseen lähetettävät paketit voitaisiin estää komennolla
iptables -d osoite -A OUTPUT -j DROP
Huomaa, että pakettilähteen (-s) tilalla käytetään nyt pakettien kohdetta -d (engl. destination). Lisäksi pakettien tyyppi -A on nyt <tt>OUTPUT</tt>.

=== Tarkempaa rajoittamista ===
Edellä estimme kaikki mahdolliset paketit tiettyyn osoitteeseen. Iptables tarjoaa kuitenkin mahdollisuuden käyttää tarkempia rajoituksia. Esimerkiksi seuraavassa estäisimme kaiken saapuvan [[SSH]]-liikenteen osoitteesta 123.456.789.123 (porttiin 22 kohdistuvan [[TCP]]-protokollaa käyttävän liikenteen).
iptables -A INPUT -s 123.456.789.123 -p tcp --dport 22 -j DROP
Huomaa uudet valitsimet -p (protokolla) ja --dport (kohdeportti, destination port, voi olla myös alue muodossa alku:loppu). Iptables ymmärtää myös portin numeron sijasta protokollien nimiä, esimerkiksi ssh (portti 22) tai http (80).

=== SYN-paketit ===
SYN-paketit ovat käytännöllisiä pikku kikkoja, kun haluamme kohdeosoitteen keskustelevan meidän kanssamme vasta siinä vaiheessa kun olemme ensin itse ottaneet yhteyden kohdekoneeseen. Eli paketit estetään jos kohdejärjestelmä aloittaa yhteyden, mutta hyväksytään siinä vaiheessa jos yhteyden aloittaja olemme me. Seuraavassa komennossa meidän tulee määritellä laite, joka on kytköksissä verkkoon josta haluamme estää liikenteen. Tämä tapahtuu kytkimellä -i(interface), jonka jälkeen tulee laitteen "nimi" (yleensä laajakaistajärjestelmissä verkkokortti eth0). Seuraavalla komennolla saamme estettyä kaiken liikenteen tietokoneemme TCP-portteihin jos emme itse ensin ota yhteyttä kohdekoneeseen:
iptables -A INPUT -i eth0 -p tcp --syn -j DROP

Näin, entä jos haluamme ajaa esim. http-palvelinta kuten [[Apache]]? Ei huolta, määrittelemme kohdeportiksi kaikki muut portit paitsi TCP/80, jota apache käyttää vakiona. Tämä saadaan aikaan komennolla
iptables -A INPUT -i eth0 -p tcp --syn --destination-port ! 80 -j DROP

== Asetusten tallentaminen ja palauttaminen ==
Iptablesin senhetkiset asetukset saa ulos ajamalla pääkäyttäjänä komennon
iptables-save
, joka tulostaa nykyiset asetukset (käytännössä normaaleita iptables-komentoja ilman iptables-alkuosaa). Toimivat asetukset kannattaakin [[Komentorivin perusteet#putkitus|tallentaa]] tiedostoon:
iptables-save > /home/tux/iptables-asetukset
Jonka jälkeen toimivat asetukset on tarvittaessa helppo palauttaa komennolla
iptables-restore /home/tux/iptables-asetukset

== Pikamuuri ==
Tässä ohjeet yksinkertaisen palomuurin pystyttämiseen:

Ensin säädetään perusasetukset: kaikki sisään tuleva estetään ja ulos menevä sallitaan
iptables -P INPUT DROP
iptables -P FORWARD DROP
iptables -P OUTPUT ACCEPT
Seuraavaksi sallitaan [[loopback]]-liikenne
iptables -A INPUT -i lo -j ACCEPT
Jos sinulla on lähiverkko, voit sallia liikenteen siinä (oletetaan, että lähiverkon nimiavaruus on 192.168.0.x)
iptables -A INPUT -s 192.168.0.0/255.255.255.0 -j ACCEPT
Tähän kohtaan voidaan avata halutut portit ('''ÄLÄ AVAA JOS EI OLE TARVETTA''')
#ssh-portin avaaminen koneen etäkäyttöön (22):
iptables -A INPUT -p tcp --dport ssh -j ACCEPT
#http-portin avaaminen web-palvelinta varten (80):
iptables -A INPUT -p tcp --dport http -j ACCEPT
Estetään liikenne private-portteihin
iptables -A INPUT -p tcp --dport 0:1023 -j DROP
iptables -A INPUT -p udp --dport 0:1023 -j DROP
Estetään SYN-paketit ja ICMP-liikenne
iptables -A INPUT -p tcp --syn -j DROP
iptables -A INPUT -p icmp -j DROP
Sallitaan kaikki "takaisin palaava" liikenne
iptables -A INPUT -p TCP -m state --state RELATED,ESTABLISHED -j ACCEPT
iptables -A INPUT -p UDP -m state --state RELATED,ESTABLISHED -j ACCEPT
Lopuksi estetään loput
iptables -A INPUT -j DROP

== Esimerkkejä ==

Tämän pienen iptables-skriptin avulla saat Linux-koneen reitittämään netin muille koneille.

Koneessa on 2 verkkokorttia:
*eth0 = Lähiverkko
*eth1 = Internet
Lähiverkon ip-avaruus on 192.168.x.x

#!/bin/bash

#Muuttujat
LAN=eth0
LAN_IP=192.168.0.0/255.255.0.0
WAN=eth1
IPTABLES=/sbin/iptables

###########################################################
###################### Perustaulukko ######################
###########################################################

#Putsataan taulukko
${IPTABLES} -F
${IPTABLES} -X

#Taulukoiden perussäännöt
${IPTABLES} -P FORWARD DROP
${IPTABLES} -P INPUT DROP
${IPTABLES} -P OUTPUT ACCEPT

#---------- INPUT ----------#
${IPTABLES} -A INPUT -i lo -s 127.0.0.1 -j ACCEPT
${IPTABLES} -A INPUT -i ${LAN} -s ${LAN_IP} -j ACCEPT
#Salli SSH-yhteys ulkopuolelta
#${IPTABLES} -A INPUT -p tcp --dport ssh -j ACCEPT
${IPTABLES} -A INPUT -i ${WAN} -p tcp --dport 0:1023 -j DROP
${IPTABLES} -A INPUT -i ${WAN} -p udp --dport 0:1023 -j DROP
${IPTABLES} -A INPUT -i ${WAN} -p tcp --syn -j DROP
${IPTABLES} -A INPUT -i ${WAN} -p icmp -j DROP
${IPTABLES} -A INPUT -i ${WAN} -p TCP -m state --state RELATED,ESTABLISHED -j ACCEPT
${IPTABLES} -A INPUT -i ${WAN} -p UDP -m state --state RELATED,ESTABLISHED -j ACCEPT
${IPTABLES} -A INPUT -j DROP

#---------- FORWARD ----------#
${IPTABLES} -A FORWARD -i ${WAN} -p tcp --dport 0:1023 -j DROP
${IPTABLES} -A FORWARD -i ${WAN} -p udp --dport 0:1023 -j DROP
${IPTABLES} -A FORWARD -i ${WAN} -p tcp --syn -j DROP
${IPTABLES} -A FORWARD -i ${WAN} -p icmp -j DROP
${IPTABLES} -A FORWARD -i ${LAN} -o ${WAN} -s ${LAN_IP} -j ACCEPT
${IPTABLES} -A FORWARD -i ${WAN} -o ${LAN} -d ${LAN_IP} -p TCP -m state --state RELATED,ESTABLISHED -j ACCEPT
${IPTABLES} -A FORWARD -i ${WAN} -o ${LAN} -d ${LAN_IP} -p UDP -m state --state RELATED,ESTABLISHED -j ACCEPT
${IPTABLES} -A FORWARD -j DROP

#---------- OUTPUT ----------#

##########################################################
###################### NAT-taulukko ######################
##########################################################

#Putsataan taulukko
${IPTABLES} -t nat -F
${IPTABLES} -t nat -X

#Taulukoiden perussäännöt
${IPTABLES} -t nat -P PREROUTING ACCEPT
${IPTABLES} -t nat -P POSTROUTING ACCEPT
${IPTABLES} -t nat -P OUTPUT ACCEPT

#---------- PREROUTING ----------#
#Tänne uudelleenohjeukset
#Call of Duty
#${IPTABLES} -t nat -A PREROUTING -p udp --dport 28960 -i ${WAN} -j DNAT --to 192.168.x.x
#web-serveri
#${IPTABLES} -t nat -A PREROUTING -p tcp --dport http -i ${WAN} -j DNAT --to 192.168.x.x

#---------- POSTROUTING ----------#
${IPTABLES} -t nat -A POSTROUTING -o ${WAN} -j MASQUERADE

== Ongelmatilanteita ==
Joissain jakeluissa käytössä olevat verkkoyhteyden hallintatyökalut saattavat aiheuttaa ongelmia, jos iptablesia käytetään käsin. Esimerkiksi [[Ubuntu]]n käyttämä [[NetworkManager]] on tällainen. Lisätietoja löytyy [https://help.ubuntu.com/community/IptablesHowTo Ubuntun ohjeista].

Kannattaa myös huolehtia, ettei jakelusi oma palomuuriasetusohjelma (esimerkiksi [[YaST]] [[openSUSE]]ssa tai [[system-config-firewall]] [[Fedora]]ssa) aiheuta ristiriitaa oman iptables-skriptisi kanssa. Käytännössä kannattaa joko poistaa palomuuriasetusohjelma kokonaan käytöstä tai ainakin huolehtia siitä, että sen tuottama iptables-skripti ajetaan [[GNU/Linuxin käynnistysprosessi|käynnistyksen]] yhteydessä ([[init]]) ennen omaa skriptiäsi. Sama pätee luonnollisesti myös [[Firestarter]]in ja [[Shorewall]]in kaltaisiin ulkoisiin palomuuriasetustyökaluihin.

==Katso myös==
*[[Verkkoliitynnät]]

== Aiheesta muualla ==
*[http://gentoo-wiki.com/HOWTO_Iptables_for_newbies Iptables-opas] Gentoo-wikissä
*[https://help.ubuntu.com/community/IptablesHowTo Ubuntun iptables-opas]

[[Luokka:Järjestelmä]]
[[Luokka:Verkko]]
[[Luokka:Tietoturva]]
[[Luokka:Ylläpitotyökalut]]
[[Luokka:Komentorivin perustyökalut]]

SSH

2010-02-16T11:55:04Z

Ordyh: spesifimpi avaus

SSH eli Secure SHell on alunperin suomalaisen Tatu Ylösen kehittämä etäkäyttöohjelmisto, jolla voidaan ottaa [[wikipedia:fi:salaus|salattuja]] yhteyksiä järjestelmästä toiseen. SSH:sta löytyy avoin [[OpenSSH]]-toteutus, joka on peräisin [[OpenBSD]]-projektista. [[PuTTY]] on [[X|X:ssä]] toimiva ssh-asiakasohjelma UNIX-järjestelmille ja Windowsille. SSH on käytännössä täysin korvannut käytössä aikaisemman salaamattoman RSH (Remote SHell) -protokollan.

== Peruskäyttö ==
Monissa jakeluissa tulee mukana ssh-asiakasohjelma komentoriville, jolloin ssh-yhteyden voi ottaa palvelimelle yksinkertaisesti komennolla
ssh minun.palvelin.example
Tällöin kirjautumista yritetään samalla tunnuksella, millä järjestelmään on kirjauduttu sisälle. Muulla tunnuksella yhdistäminen onnistuu seuraavasti
ssh kayttajatunnus@minun.palvelin.example

Mikäli yllä olevan komennon kirjoittaminen toistuvasti tuntuu työläältä, on mahdollista luoda ssh:n asetustiedostoon (<tt>~/.ssh/config</tt>) oma profiili yhteyttä varten. Tämä onnistuu lisäämällä tiedostoon rivit:
Host lyhytnimi minun.palvelin.example
HostName minun.palvelin.example
User kayttajatunnus
Host määrittelee komentoriville syötetyt aliakset, jotka käyttävät tätä profiilia. Yllä olevaa profiilia käytettäessä seuraavat komennot saavat aikaan saman lopputuloksen:
ssh kayttajatunnus@minun.palvelin.example
ssh minun.palvelin.example
ssh lyhytnimi

== Graafiset ohjelmat ==
Jos halutaan ajaa [[X]]-ohjelmia SSH:n kautta on komentoon sisällyttävä parametri <tt>-X</tt> ([[#X:n tietoturva|tietoturvasyistä]] tämä ei yleensä ole oletuksena), esimerkiksi näin:
ssh -X guru@linuxburken.firma.example

Usein erityisesti X-ohjelmien ajossa pullonkaulaksi muodostuu hidas yhteys. Hitaan yhteyden aiheuttamia ongelmia voidaan kompensoida pakkaamalla tiedonsiirto:
ssh -X -C guru@linuxburken.firma.example

Jotta graafisten ohjelmien käyttäminen onnistuisi, on sshd:n (etäkoneen) asetustiedostossa (<tt>/etc/ssh/sshd_config</tt>) oltava rivi
ForwardX11 yes
Oletuksena tämä arvo on <tt>no</tt>, vaikkakaan tällä ei ole suurempaa merkitystä ''palvelinkoneen'' turvallisuudelle.

Jotta yhteystyö, esimerkiksi tekstin kopioiminen leikepöydän kautta, toimisi normaaliin tapaan paikallisten ja palvelimella ajettavien sovellusten välillä joutuu lisäksi hyväksymään "ForwardX11Trusted", komentorivillä <code>-Y</code>. Sekä tavallinen että varsinkin luotettu X-edelleenohjaus antaa vieraalle koneelle mahdollisuuden käyttää hyväkseen X-sovellusten välistä melko heikkoa tietoturvaa. Katso [[#X:n tietoturva|X:n tietoturva]] alla.

Oletusasetukset ForwardX11 ja ForwardX11Trusted voi asettaa tiedostoissa /etc/ssh_config ja /etc/.ssh/config, haluttaessa kone- ja verkkokohtaisesti:

Host *.luotettuverkko.example.org,omakone.example.net
ForwardX11 yes
ForwardX11Trusted yes
Host muu-x-palvelin.example.com
ForwardX11 yes
ForwardX11Trusted no
Host *
ForwardX11 no
ForwardX11Trusted no

== Yhteyksien uusiokäyttö ==
Mikäli samalle palvelimelle otetaan useampia yhteyksiä, voidaan yhtä yhteyksistä käyttää niin kutsuttuna isäntäyhteytenä, jolloin muut yhteydet otetaan sen kautta. Tällöin salasana on annettava vain kerran isäntäyhteyttä avatessa ja muiden yhteyksien ottaminen hoituu erittäin nopeasti.

Isäntäyhteyttä otettaessa ssh:lle on annettava parametri <tt>-M</tt>:
ssh -M mun.palvelin.example

Jonka jälkeen toinen yhteys voidaan ottaa tavalliseen tapaan
ssh mun.palvelin.example
Eikä salasanaa enää kysytä.

Jotta isäntäyhteyksien käyttö onnistuisi, on ssh:n asetustiedostoon (<tt>~/.ssh/config</tt>) lisättävä rivit
Host *
ControlPath ~/.ssh/ctl-%r-%h-%p
ControlMaster auto

Ominaisuus löytyy OpenSSH:n versiosta 4.2 ja sitä uudemmista.

== Tunnistaminen avainparilla ==
Salasanatunnistuksen ohella varteenotettava tapa autentikoida yhteys palvelimelle on avainparimenettely. Siinä asiakaskoneella luodaan avainpari, jonka yksityinen osa jätetään omalle koneelle, ja julkinen osa siirretään kaikille niille koneille, joilla avainparitunnistusta halutaan käyttää. Tässä menettelyohjeet:

*Luodaan avainpari ssh-keygen -ohjelmalla

ssh-keygen -t rsa

*Tässä vaiheessa ssh-keygen kysyy salasanaa avaimelle ja mahdollisesti polkua. Oletuspolkua (~/.ssh/id_rsa) ei yleensä pidä muuttaa, mutta salasana lisää turvallisuutta oleellisesti, jos joku pääsee käsiksi avaintiedostoon. Salasana saa olla mielivaltaisen pitkä. Tiedoston <tt>id_rsa</tt> turvallisuudesta on pidettävä huolta, sillä sen avulla kuka tahansa voi kirjautua käyttämillesi palvelimille tunnuksillasi (murrettuaan mahdollisen salasanan).
*Sitten kopioidaan julkinen osa kaikille palvelimille missä tätä avainparia halutaan hyödyntää. Huomaa, että <tt>authorized_keys</tt>-tiedostossa jokaisella rivillä määritetään yksi avain. Jos et ole aiemmin käyttänyt tätä menetelmää, tiedostoa ei ole, ja oman julkisen avaimen kopioiminen etäkoneen <tt>authorized_keys</tt>-tiedostoksi ei tuota ongelmia.
[[scp]] ~/.ssh/id_rsa.pub palvelin:/home/kayttaja/.ssh/authorized_keys
Mikäli sinulla on jo ennestään etäkoneessa <tt>~/.ssh/authorized_keys</tt>-tiedosto, voit komentaa näin:
[[cat]] ~/.ssh/id_rsa.pub | ssh käyttäjä@etäkone '[[cat]] >> ~/.ssh/authorized_keys'

*Nyt voit kirjautua kaikille palvelimille, joille olet julkisen avaimesi kopioinut käyttämättä palvelimen salasanaa. Salasanan ei siis enää tarvitse olla helposti muistettava – ja salasanalla kirjautumisen sshd:n kautta voi kieltää kokonaan. Käyttäen ohjelmaa ssh-agent säästytään myös avaintiedoston salasanan antamisesta, paitsi kerran X- tai pääteistunnon alussa, ssh-agentin käynnistämisen yhteydessä.

Jos haluaa kirjautua automaattisesti, esimerkiksi cron-työn yhteydessä, joutuu käyttämään salasanatonta avaintiedostoa. Tähän käyttöön voi luoda rinnakkaisen avaimen, jota pidetään eri tiedostossa (johon viitataan ssh:n vivulla <code>-i</code>) ja avaimen valtuuksia voi rajoittaa laittamalla tiedoston authorized_keys tämän avaimen kohdalle rivin alkuun "optioita", esimerkiksi (huomaa pilkkujen, lainausmerkkien ja välilyöntien käyttö):
from="*.kotiverkko.example.org,työkoneeni.example.com",no-port-forwarding,no-X11-forwarding jatässäitsejulkinenavainkaikkinensa

== Tunneli ==
SSH:n avulla voi tunneloida minkä tahansa TCP-portin käytettäväksi verkon yli. Tämä tapahtuu sovelluksille läpinäkyvästi, joten se tarjoaa hienon mahdollisuuden parantaa – tai huonontaa – tietoturvaa tilanteissa, joissa tietyn sovelluksen muokkaaminen ei ole mahdollista tai käytännöllistä.

Tässä esitellään yksittäisten porttien ohjausta SSH-yhteyden kautta. Tämä riittää yksinkertaisimmissa tapauksissa. IP-tunnelien muodostaminen SSH-yhteyden kautta on myös mahdollista. Lisätietoja asiasta saatavilla artikkelissa [[SSH-tunneli]].

Seuraavassa esimerkissä tunneloidaan paikallisen koneen ([[localhost]]) portti <tt>6060</tt> SSH:lla niin, että sen kautta voi käyttää etäkoneen porttia <tt>23</tt>.
ssh -L 6060:localhost:23 etäkone
Ottamalla nyt yhteyden paikallisella koneella porttiin <tt>6060</tt>, yhteys ohjautuu SSH-tunnelin yli etäkoneen porttiin <tt>23</tt>, [[telnet]].

Tunnelia ei ole pakko tehdä localhostiin, vaan mikä tahansa kone käy. Näin voit esimerkiksi päästä käsiksi sisäverkkoihin, joihin et suoraan Internetistä pääse. Esimerkki:
ssh -L 123:192.168.6.12:1337 etäkone

=== Käänteinen tunneli ===
Käänteisen tunnelin idea on sama kuin normaalinkin tunnelin, mutta se käynnistetään toisesta päästä. Käänteinen tunneli mahdollistaa vaikkapa palomuurin takana olevan koneen etäylläpidon. Seuraavassa esimerkissä tunneloidaan paikallisen koneen portti <tt>23</tt> SSH:lla niin, että se on käytettävissä etäkoneelta portissa <tt>1337</tt>.
ssh -R 1337:localhost:23 etäkone

Ottamalla nyt yhteyden etäkoneella porttiin <tt>1337</tt>, yhteys ohjautuu SSH-tunnelin ja mahdollisen palomuurin läpi paikalliselle koneelle porttiin <tt>23</tt>.

Huomio tunneleita rakentaessasi, että kuuntelevan [[pistoke|pistokkeen]] (engl. socket) asettaminen porttia <tt>1024</tt> alhaisempien portteihin vaatii kyseisessä järjestelmässä [[root]]-oikeudet.

==Tietoturva==
SSH-yhteys on salattu, mutta ei pidä tuudittautua valheellisen turvallisuuden tunteeseen, sillä erilaisia hyökkäyskeinoja on olemassa. Lue artikkelista [[SSH-turvatoimet]] vinkkejä SSH-palvelimesi turvaamiseen.

Salaus auttaa siihen, ettei verkkoa passiivisesti salakuunteleva pysty seuraamaan liikennettä ja ettei sitä pystytä muokkaamaan. Edellinen voi myös olla tietoturvaongelma, sillä yrityksen palomuurikaan ei pysty erottamaan ongelmallista liikennettä sallittusta.

===Koneiden avaimet===

SSH estää koneitten avainten avulla vieraan koneen esiintymisen luotettuna palvelimena (nimipalvelinhyökkäysten tms. avulla). ssh varoittaa, jos avaimet eivät täsmää. Varoituksesta ei ole hyötyä, jos siitä ei välitä, joten on oleellista kopioida koneitten avaimet /etc/ssh_host*_key.pub omalle koneelle tiedostoon /etc/ssh/ssh_known_hosts tai ~/.ssh/known_hosts.
Avainriville pitää lisätä myös koneesta mahdollisesti käytettävät aliakset
kone.example.com,kone,alias,alias.example.com,192.168.0.1 itseavainkaikkinensa

Varoituksen yhteydessä ssh kertoo koneen avaimen "sormenjäljen", jonka voi verrata oikean avaimen sormenjälkeen jopa puhelimitse. Jos vain yhden koneen kanssa on ongelmia, ssh-yhteyden voi ottaa toiselle koneelle toiseen verkkoon ja yrittää yhteyttä sitä kautta. Jos tältä koneelta katsottuna vieraan koneen sormenjälki on sama kuin omastakin koneesta katsottuna, kyseessä ei ole paikallinen nimipalvelinhuijaus.

===Murtautuminen===

Se, että ssh-liikenne on salattua, ei estä murtautumaasta ssh-palvelimen kautta suoraan. Itse palvelimessa ei ole ollut kovin paljon reikiä, mutta heikkoja salasanoja voi hyödyntää ssh-palvelimen kautta. Joissakin [[jakelu]]issa palvelin on oletuksena päällä, koska koneita on tarkoitettu etäylläpidettäviksi. Tällöin on tärkeää rajoittaa miltä koneilta ja mille tunnuksille ssh:lla pystyy kirjautumaan ja varmistamaan, että näillä tunnuksilla on hyvät salasanat – ellei salasanalla kirjautumista ssh:lla estetä kokonaan (katso [[#Tunnistaminen avainpareilla|tunnistaminen avainpareilla]] yllä).

Katso myös [[SSH-turvatoimet]].

===X:n tietoturva===

Samalla [[X]]-palvelimella ajettavat ohjelmat luottavat yleensä toisiinsa ja X-palvelin luottaa ohjelmiin. Jos ohjelma niin haluaa se pystyy esimerkiksi valtaamaan leikepöydän juuri ennen sen sisällön kopioimista komentoriville ja siten ajamaan mielivaltaisia komentoja, tai luomaan läpinäkyvän näytön kokoisen ikkunan ja sen kautta salakuuntelemaan näppäimistöä. Tämä ei yleensä ole ongelma, sillä jos jokin ajettava ohjelma on trojan hevonen, se pystyy myös käyttämään tunnuksen oikeuksia suoraan. Verkon yli ajettaessa yhdellä koneella vallatulla tunnuksella voi kuitenkin murtautua myös samaa X-palvelinta käyttäville muille koneille.

Jotta voisi käyttää myös heikomman tietoturvan koneita tai koneita, joiden ylläpitoon ei luota, ssh ei yleensä pyytämättä anna toisella koneella ajettavien ohjelmien käyttää paikallista X-palvelinta. Nykyisissä X-palvelimissa on myös mahdollista rajoittaa X:n käyttöä niin, että jotkut, tässä tilanteessa erityisen vaarallisiksi huomatut toiminnot eivät ole vieraan ohjelman käytettävissä.

Jos etäyhteydessä ei ole tarkoituksena ajaa graafisia ohjelmia, X-yhteyttä ei siis kannata muodostaa. Jos käyttää graafisia ohjelmia, mutta epäilee etäkoneen tietoturvaa, X:n voi sallia vain kohtuullisen turvaallisesti koetuin osin.
ssh -x kone-ilman-x-ohjelmia.example.org
ssh -X kone-jossa-x-ohjelmia.example.org
ssh -X -Y kone-johon-luottaa.example.org

==SSH välityspalvelimen läpi==
SSH-yhteydet voidaan myös yhdistää HTTP-välityspalvelimen, kuten [[Squid]]in läpi. Seuraava asetus vaatii Corkscrew-ohjelman, joka löytyy useimpien jakelupakettien ohjelmavarastosta.

Lisää <tt>~/.ssh/config</tt>-tiedostoon seuraavat rivit vaihtaen <tt>cache.palvel.in 8080</tt>:n joksikin muuksi:
<pre>Host *
ProxyCommand corkscrew cache.palvel.in 8080 %h %p</pre>
Jos haluat esimerkiksi vain fi-, org- ja net-domainit menemään välityspalvelimen läpi, muuta Host-asetus <tt>*</tt>:n sijasta <tt>*.fi *.org *.net</tt>:ksi.

==Käyttöesimerkki: varakopiot verkon yli==
Varakopioi kotisivusi toisen koneen kotihakemistosta ssh:lla

ssh toinen.kone.fi 'cd public_html && tar -cjvf - .' | cat > kotisivut.tar.bz2

Palauta hakemistorakenne takaisin

cat kotisivut.tar.bz2 | ssh toinen.kone.fi 'cd public_html && tar xjvf -'

Vastaava [[Varmuuskopiointi#Rsync|perusteellisempi esimerkki]] löytyy artikkelissa varmuuskopioinnista.

==Käyttöesimerkki: graafinen VNC-yhteys kahden palomuurin takana olevan koneen välille ==
Koneet A ja B ovat [[palomuuri]]en takana, kone C ei. Tarkoituksena nähdä koneen A näytöllä koneen B näytön näkymä [[VNC#Yhdist.C3.A4minen_olemassaolevaan_X-istuntoon|VNC-yhteyden]] yli.

Kone A ottaa ensiksi yhteyden koneeseen C tunneloiden koneen C portin 5903 paikalliseen porttiin 5904:
ssh ckayttaja@ckone.com -L 5904:localhost:5903

Tämän jälkeen kone B ottaa yhteyden koneeseen C tunneloiden koneen C portti 8001 koneen B porttiin 22 (SSH):
ssh -R 8001:localhost:22 ckayttaja@ckone.com

Tämän jälkeen käyttäjä A ottaa koneelta C yhteyden koneeseen B tunneloiden koneen B portin 5900(VNC) koneen C porttiin 5903:
ssh bkayttaja@localhost -p 8001 -L 5903:localhost:5900

Nyt A käynnistää VNC:n koneen B porttiin 5900
x11vnc

Ja tämä B-koneen portti 5900 tunneloituu noin neljän portin läpi koneen A porttiin 5904, jolloin A saa VNC:n käyntiin:
vncviewer localhost:5904

==Katso myös==
*[[SSH-turvatoimet]]
*[[ClusterSSH]]
*[[SFTP]]
*[[SCP]]
*[[Telnet]]

==Aiheesta muualla==
* [[wikipedia:fi:SSH|SSH Wikipediassa]]
* [http://www.openssh.com/ OpenSSH]
* [http://www.chiark.greenend.org.uk/~sgtatham/putty/ PuTTY]

[[Luokka:Etäkäyttö]]
[[Luokka:Verkko]]
[[Luokka:Palvelimet]]
[[Luokka:Tietoturva]]
[[Luokka:Komentorivin erikoisohjelmat]]

Videon- ja äänenkäsittelyä Linuxilla

2010-02-15T21:16:24Z

Ordyh: kuvaa ei ole

Videoiden editointi ja äänenkäsittely tietokoneella ovat hyödyllisiä ja mielenkiintoisia toimintoja.
Tässä artikkelissa esitellään helppokäyttöisiä peruskäyttöön sopivia ohjelmia.

Videon- ja äänenkäsittely tietokoneella on nykyään arkipäivää. Perinteisen kuva- ja äänimateriaalin siirtäminen digitaaliseen, tietokoneella käsiteltävään muotoon tuo monipuolisia mahdollisuuksia niiden muokkaamiseen ja soveltamiseen. Esimerkiksi itsekuvattuja videoita voidaan siirtää tietokoneelle leikattavaksi ja tallennettavaksi esimerkiksi DVD-levylle tai verkossa levittämistä varten. Samalla tavoin omia ääninauhoituksia tai musiikkia voidaan tehdä ja muokata lähes rajattomasti ja lisätä niihin erilaisia tehosteita.

Seuraavassa on esitelty ohjelmia, jotka soveltuvat hyvin kevyeen perusvideoeditointiin ja äänenkäsittelyyn. Näiden lisäksi saatavilla on myös useita muita ohjelmistoja, joiden ominaisuudet vaihtelevat käyttötarkoitusten mukaan aina vaativampaan ammattikäyttöön asti.

==Kino==
Pääartikkeli: [[Kino]]
[[Kuva:Kino.png|250px|right|thumb|Kuvakaappaus Kino-ohjelmasta]]

Kino on kevyeen videoeditointiin suunnattu luotettava ja helppokäyttöinen ohjelma. Kinon avulla voidaan videot helposti siirtää tietokoneelle, muokata ja lopuksi tallentaa DVD-levylle siirtämistä varten. Kino osaa hyödyntää tavallisimpia DV-digitaalivideokameroita, joilla kuvattua materiaalia voidaan siirtää muokattavaksi tietokoneelle.

Kinon käyttöön on suositeltavaa olla erillinen ja riittävän tehokas työasema, jossa on reilusti tallennustilaa. Esimerkiksi palvelinkeskeiseen päätejärjestelmäkäyttöön Kino ei välttämättä sovellu.

Kinossa videotiedostot sijoitetaan aikajanalle jossa videoita voidaan leikata ja yhdistellä. Ohjelmassa videoihin voidaan lisätä esimerkiksi omia tekstejä sekä pieniä tehosteita.

Ohjelman suurimpana puutteena on, että se ei tue päällekkäisiä video- tai ääniraitoja. Peruseditoinnissa tämä ei yleensä ole kuitenkaan ongelma. Kinon kehityksessä korostuu erityisesti pyrkimys ohjelman vakauteen ja tehokkuuteen, mutta uusia ominaisuuksia siihen on ajanmyötä luvassa.

==Kdenlive==
Pääartikkeli: [[Kdenlive]]
[[Kuva:Kdenlive.png|250px|right|thumb|Kuvakaappaus Kden live-ohjelmasta]]

==Cinelerra==
Pääartikkeli: [[Cinelerra]]

==Audacity==
Pääartikkeli: [[Audacity]]
[[Kuva:Audacity.png|250px|right|thumb|Kuvakaappaus Audacity-ohjelmasta]]

Audacity on äänen muokkaamiseen erikoistunut sovellus. Sen avulla voidaan tehdä omia äänityksiä esimerkiksi mikrofonin kautta tai esimerkiksi muokata valmiita äänitiedostoja. Äänet esitetään Audacityssä aikajanalla olevana kuvaajana ja niiden muokkaaminen ohjelmassa tapahtuu monista ohjelmista tutulla "kopioi, leikkaa ja liimaa" -tyylillä. Äänikuvaajasta siis määritetään hiirellä alueita joita halutaan poistaa tai esimerkiksi siirtää johonkin muuhun kohtaan.

Audacityssä on mahdollista myös toistaa useita ääniä päällekäin sijoittamalla ne omille ääniraidoilleen. Tällöin esimerkiksi itse tehtyyn kuunnelmaan voidaan helposti lisätä puheen taustalle musiikkia. Puhe sijaitsisi tällöin omalla kanavallaan ja musiikki omallaan.

Audacity mahdollistaa myös äänen muokkaamisen erilaisten tehosteiden avulla. Äänen voimakkuutta, sävyä ja muita piirteitä voidaan muokata varsin vapaasti. Samalla äänitiedostoihin voidaan tehdä erilaisia "feidauksia" joissa esimerkiksi ääni häivytetään hiljalleen pois tai lisätään siihen kaikua.

Koulukäytössä Audacity soveltuu ominaisuuksiensa puolesta esimerkiksi kuunnelmien, esinauhoitettujen päivänavausten tai vaikka oman radio-ohjelman tekemiseen. Ohjelman käyttöön tutustutaan tarkemmin [[Audacity - Perustoiminnot ja äänen nauhoittaminen]] oppaan avulla.

==Katso myös==
* [[Digitaalinen äänitystyöasema]]

[[Luokka:Multimedia]]

SyncEvolution

2010-02-15T21:15:21Z

Ordyh: luokkaa ei ole

{{ Ohjelma
| nimi=syncEvolution
| kuva=
| kuvateksti=
| lisenssi=[[GPL]]
| käyttöliittymä=Komentorivi, [[GTK]]
| kotisivu=[http://syncevolution.org/ syncevolution.org]
}}

[[kuva:Sync.png|right|250px|thumb|Synkkauspalvelu]]
[[kuva:Sync-palvelut.png|right|250px|thumb|Tuetut palvelut]]
[[kuva:Sync.uusi-palvelu.png|right|250px|thumb|Määritetään uusi palvelu.]]
[[kuva:Sync-synkkaus-ovi-com.png|right|250px|thumb|ovi.com synkkaus.]]

syncEvolution synkronoi yhteystietoja, kalentereita, tehtäviä ja muistiota käyttäen [[SyncML]]-standardia.
SyncEvolution tukee [[Gnome]]n [[Evolution]] ohjelmaa, Nokia 770/800 Internet Tabletia ja Mac OS X iPhonenen (0.7) synkronointia järjestelmän osoitekirjasta. Ohjelma on vielä kehitysasteella.

==Asennus==
===Ubuntu ja Debian===
{{Epävirallinen pakettilähde}}
syncEvolutionin voi asentaa [[Ubuntu]]un ottamalla käyttöön epävirallisen pakettilähteen [http://downloads.syncevolution.org/apt/README.txt pakettilähteen kotisivuilta] löytyvillä ohjeilla ja asentamalla tämän jälkeen paketin <tt>syncevolution-evolution</tt>. Lisätietoja ohjelmien asentamisesta löytyy artikkelista [[Ohjelmien asentaminen]].

Komentorivityökalu <tt>syncevolution</tt> suorittaa synkronoinnin. <tt>Sync-ui</tt> on graafinen GTK käyttöliittymä.

==Katso myös==
* [[Evolution]]
* [[Opensync]] [http://opensync.org/]
* [[Gnokii]] [http://gnokii.org/]
* [[Conduit]] [http://www.conduit-project.org/]
* [[Multisync]] [http://multisync.org]

==Aiheesta muualla==
* [http://mobileyog.blogspot.com/2009/11/how-to-sync-contactscalendar-from.html How to Sync Contacts, Calendar from OVI.com to your Evolution in Ubuntu.]
* [https://help.ubuntu.com/community/NokiaEvolutionSyncing?action=show&redirect=NokiaEvolutionBluetoothSyncing Ubuntu foorumi - Nokia Evolution Syncing]

[[Luokka:Ohjelmat]]

Fd

2010-02-15T21:12:08Z

Ordyh: Ak: Ohjaus sivulle Tiedostokuvain

#REDIRECT [[Tiedostokuvain]]

File descriptor

2010-02-15T21:11:48Z

Ordyh: Ak: Ohjaus sivulle Tiedostokuvain

#REDIRECT [[Tiedostokuvain]]

Putki

2010-02-15T21:11:05Z

Ordyh: lk.

'''Putkittaminen''' tarkoittaa toiseen ohjelman [[standardituloste]]en ohjaamista toisen ohjelman standardisyötteelle. Se on erittäin hyödyllinen [[komentotulkki]]<nowiki>operaatio</nowiki>, jonka hallitseminen yhdessä [[grep]] ja [[less]] -komentojen kanssa on avain Linux- ja Unix-järjestelmien komentotulkin tehokkaaseen hyödyntämiseen. Komentotulkissa putki luodaan operaattorilla ''ohjelma1'' | ''ohjelma2''. Merkistä | käytetään tässä yhteydessä tämän vuoksi yleensä nimeä ''putki''.

== Esimerkki ==
[[cat]] tulostaa [[argumentti]]na annetun tiedoston omalle standarditulosteelleen. [[Less]] ja [[more]] ovat ohjelmia, jotka normaalitilassa vierittävät standardisyötettä ruudullisen kerrallaan. Kun cat:in tuloste putkitetaan less:ille, on tulostettavaa tiedostoa helpompi lukea:
cat tiedosto | less

Putkitettavan tulosteteen ei tarvitse välttämättä olla tekstiä, vaan mitä tahansa dataa voidaan ohjata putkeen. Jos tiedosto ''kuva.png.gz'' on [[gzip]]illä pakattu [[PNG]]-kuvatiedosto, se voidaan katsoa [[ImageMagick]]in ''display'' komennolla X-ikkunassa seuraavasti:
gunzip -c kuva.png.gz | display -
Tässä gzip-jakeluun kuuluva gunzip on purkaa pakatun tiedoston ''kuva.png.gz''. Gunzipin [[valitsin]] -c ohjaa puretun datavirran (siis alkuperäisen, pakkaamattoman kuvatiedoston) [[standardituloste]]elle. ImageMagickin displayn argumenttina on näytettävän kuva tiedostonimi. Tiedostonimi väliviiva (-) on yleinen tapa kertoa ohjelmalle, että tiedostoa ei lueta [[tiedostojärjestelmä]]stä lainkaan, vaan se annetaan datavirtana ohjelman standardisyötteelle. Lopputuloksena ImageMagick siis lukee gunzip:in purkaman tiedoston ja näyttää sen käyttäjälle.

Putkia voi olla myös useita peräkkäin, ja niitä voi yhdistellä komentotulkin [[uudelleenohjaus]]<nowiki>operaattoreihin</nowiki> mielivaltaisesti. Seuraava komento poistaa tiedostosta ''kayttajat.txt.gz'' identtiset rivit komennolla [[uniq]], ja lopuksi pakkaa tiedoston uudelleen, sekä ohjaa pakatun tulosteen tiedostoon ''kayttajat-uniq.txt.gz''
gzip -c kayttajat.txt.gz | uniq | gzip -c - > kayttajat-uniq.txt.gz

== Standardivirhe ==
Putkitusoperaattori | ohjaa vain ohjelman standarditulosteen toiselle ohjelmalle. Minkä tahansa putkessa esiintyvän ohjelman virheilmoitukset tulostuvat siksi suoraan [[terminaali]]in. Koska jokaisella ohjelmalla on vain kaksi ulostuloa (standardituloste ja -virhe) mutta vain yksi sisääntulo (standardisyöte), pitää standardivirhe ohjata erikseen standardi'''tulosteelle''', jotta se voitaisiin putkittaa toiselle ohjelmalle. Tämä tapahtuu komentamalla
''ohjelma1'' 2>&1 | ''ohjelma2''
Jos jonkin putkessa olevan ohjelman standardivirhettä ei haluta putkittaa toiselle ohjelmalle, mutta sitä ei myöskään haluta näkyville terminaaliin, se voidaan ohjata erikoistiedostoon [[null|/dev/null]] esimerkiksi seuraavasti:
''ohjelma1'' | ''ohjelma2'' 2> /dev/null | ''ohjelma3''
Tämä ohjaa ''ohjelma2'':n mahdolliset virheilmoitukset null:ille. ''ohjelma1'':n ja ''ohjelma3'':n virheilmoitukset tulostuvat normaalisti terminaaliin.

== Katso myös ==
* [[Komentorivin perusteet]]
* [[Nimetty putki]]

[[Luokka:Komentorivi]]
[[Luokka:Perustietoa]]

Tiedostokuvain

2010-02-15T21:10:39Z

Ordyh: ei tämä nyt ihan perustietoa ole

'''Tiedostokuvain''' eli '''file descriptor''' on [[ydin|ytimen]] jokaiseen [[prosessi]]n avoimeen tiedostoon liittämä kokonaisluku. Tiedostokuvaimet 0, 1 ja 2 on normaalisti varattu prosessin [[standardivirrat|standardivirroille]] eli standardisyötteelle, -tulosteelle ja -virheelle vastaavasti.

== Katso myös ==
* [[Komentorivin perusteet]]

[[Luokka:Järjestelmä]]
[[Luokka:Komentorivi]]

Tiedostokuvain

2010-02-15T21:09:52Z

Ordyh: typo

Tiedostokuvain

2010-02-15T21:09:23Z

Ordyh: perustietoa

'''Tiedostokuvain''' eli '''file descriptor''' on [[ydin|ytimen]] jokaiseen [[prosessi]]n avoimeen tiedostoon liitettämä kokonaisluku. Tiedostokuvaimet 0, 1 ja 2 on normaalisti varattu prosessin [[standardivirrat|standardivirroille]] eli standardisyötteelle, -tulosteelle ja -virheelle vastaavasti.

== Katso myös ==
* [[Komentorivin perusteet]]

[[Luokka:Järjestelmä]]
[[Luokka:Perustietoa]]

EOF

2010-02-15T21:04:59Z

Ordyh:

'''EOF''' eli '''loppumerkki''' on C-ohjelmoinnissa ja yleisesti Unix-järjestelmissä tiedoston lopusta kertova merkki. Kun ohjelma lukee tiedostosta loppumerkin EOF, se tarkoittaa yleensä, että tiedoston loppu on saavutettu, eikä lisää tietoa ole enää saatavilla.

== C-ohjelmoinnissa ==
C-ohjelman kannalta tiedostot näkyvät [[tiedostokuvain|tiedostokuvaimina]] (engl. ''file descriptor''). Tiedostokuvaimesta, joka yleensä on liitetty tiedostoon, mutta voi olla liitetty myös johonkin [[standardivirta]]an tai [[putki|putkeen]], voi lukea tavuja standardikirjaston kutsulla ''fgetc()''. Kutsu palauttaa normaalisti tiedoston seuraavan 8-bittisen merkin, mutta mikäli tiedosto on lopussa tai lukemisessa tapahtuu virhe, kutsu palauttaa erikoisarvon EOF. EOF ei ole positiivinen 8-bittinen kokonaisluku (s.o. luku väliltä 0-255), vaan negatiivinen ''int'' -arvo. Näin mikään tiedosto ei voi sisältää merkkiä EOF, eikä sitä voi tallettaa tyyppiin ''unsigned char''. Siksi paluuarvo EOF on aina erikoistapaus.

C-ohjelman tulee aina erikseen varmistaa, merkitseekö EOF -paluuarvo todella tiedoston loppua vai virhetilannetta kutsulla ''feof()'' tai ''ferror()''.

[[Luokka:Järjestelmä]]

Loppumerkki

2010-02-15T21:04:14Z

Ordyh: Ak: Ohjaus sivulle EOF

#REDIRECT [[EOF]]

EOF

2010-02-15T21:02:59Z

Ordyh: Ak: Uusi sivu: '''EOF''' eli '''loppumerkki''' on C-ohjelmoinnissa ja yleisesti Unix-järjestelmissä tiedoston lopusta kertova merkki. Kun ohjelma lukee tiedostosta loppumerkin EOF, se tarkoittaa y…

'''EOF''' eli '''loppumerkki''' on C-ohjelmoinnissa ja yleisesti Unix-järjestelmissä tiedoston lopusta kertova merkki. Kun ohjelma lukee tiedostosta loppumerkin EOF, se tarkoittaa yleensä, että tiedoston loppu on saavutettu, eikä lisää tietoa ole enää saatavilla.

== C-ohjelmoinnissa ==
C-ohjelman kannalta tiedostot näkyvät [[tiedostokuvaimina]] (engl. ''file descriptor''). Tiedostokuvaimesta, joka yleensä on liitetty tiedostoon, mutta voi olla liitetty myös johonkin [[standardivirta]]an tai [[putki|putkeen]], voi lukea tavuja standardikirjaston kutsulla ''fgetc()''. Kutsu palauttaa normaalisti tiedoston seuraavan 8-bittisen merkin, mutta mikäli tiedosto on lopussa tai lukemisessa tapahtuu virhe, kutsu palauttaa erikoisarvon EOF. EOF ei ole positiivinen 8-bittinen kokonaisluku (s.o. luku väliltä 0-255), vaan negatiivinen ''int'' -arvo. Näin mikään tiedosto ei voi sisältää merkkiä EOF, eikä sitä voi tallettaa tyyppiin ''unsigned char''. Siksi paluuarvo EOF on aina erikoistapaus.

C-ohjelman tulee aina erikseen varmistaa, merkitseekö EOF -paluuarvo todella tiedoston loppua vai virhetilannetta kutsulla ''feof()'' tai ''ferror()''.

[[Luokka:Järjestelmä]]

Standardivirta

2010-02-15T21:01:58Z

Ordyh: Ak: Ohjaus sivulle Standardivirrat

#REDIRECT [[Standardivirrat]]

Data sink

2010-02-15T20:48:23Z

Ordyh: Ak: Ohjaus sivulle Null

#REDIRECT [[Null]]

Null

2010-02-15T20:48:03Z

Ordyh: +data sink

<tt>/dev/null</tt> on Unix-järjestelmissä (myös Linux) [[Linuxin hakemistorakenne|/dev-hakemistossa]] sijaitseva [[laitetiedosto]], johon kaikilla käyttäjillä on kirjoitusoikeus, mutta johon kirjoitettu data yksinkertaisesti häviää. Mikä tahansa ohjelma voi avata tiedoston. Kaikki luvut siitä palauttavat [[EOF|loppumerkin]]. Tämän vuoksi sen koon voidaan sanoa aina olevan 0 - <tt>/dev/null</tt> ei siis sisällä mitään. Sen sijaan kaikki <tt>/dev/null</tt>iin kirjoitettu data ilmoitetaan kirjoittavalle ohjelmalle hyväksytyksi, mutta tietoa ei tallenneta mihinkään.

Null:ia läheisesti muisuttaa [[zero]]. Näitä laitetiedostoja kutsutaan ajottain leikkimielisesti englanniksi nimellä ''data sink'', eli dataviemäri.

== Esimerkki ==
Komentotulkissa ohjelman <tt>ohjelma1</tt> virheilmoituksista ei olla kiinnostuttu, mutta sen normaali tuloste halutaan talteen. Ohjataan [[standardivirhe]] <tt>/dev/null</tt>-laitetiedostoon ja kiinnostava tuloste talteen oikeaan tiedostoon:
ohjelma1 2> /dev/null > talteen.txt
Lisätietoja syötteen ohjaamisesta löytyy artikkelista [[Komentorivin perusteet]].

== Katso myös ==
*[[Zero|/dev/zero]]

[[Luokka:Järjestelmä]]
[[Luokka:Perustietoa]]

Linux.fi:Kahvihuone

2010-02-15T20:44:17Z

Ordyh: +kys.

'''HUOM!''' Lisääthän uudet keskusteluaiheet kahvihuoneen alkuun, niin sivu pysyy selkeämpänä. Hyvän tavan mukaista on myös käyttää <nowiki>--~~~~~</nowiki> -merkintää viestien lopussa, jotta kirjoittaja ja kirjoitusaika jäisivät selvemmin esille.

Vanhat keskustelut on arkistoitu sivulle [[Arkisto:Kahvihuone]].

== Artikkelien aloittaminen ==
Tätä on varmaan kysystty jo aiemmin, mutta onko tapana '''korostaa''' artikkelin nimen tai avainsanan ensimmäinen esiintymä Wikipedian tapaan? --[[Käyttäjä:Ordyh|Ordyh]] 15. helmikuuta 2010 kello 20.44 (UTC)

== Seedausta kaipaavat jakelut ==

Mitä sanotte tällaisesta ajatuksesta että ylläpidettäisi lista eniten seedausta kaipaavista laillisista linux-torrenteista? --[[Käyttäjä:Cerre|Cerre]] 3. helmikuuta 2010 kello 05.48 (UTC)
:Tällaisen listan ylläpitäminen wikissä on todella hankalaa ja epäkäytännöllistä. Linux-torrenttisivustoilta löytänee hakutoiminnolla paremmin tällaisia tietoja. --[[Käyttäjä:Heikki|Heikki]] 3. helmikuuta 2010 kello 14.32 (UTC)
::Entä erillinen sivu jossa on tietoa suosituimpien jakeluiden julkaisuaikataulusta? Minun havaintojen perusteella suosituimpien uusimmat versiot vetää parhaiten.
::Distrowatchissa on luettelo kymmenestä suosituimmista: Ubuntu, Fedora, OpenSUSE, Debian, Mandriva, Linux Mint, PCLinuxOS, Slackware, Gentoo, CentOS ja erikoismaininta koskien FreeBSD:tä. Lähdetäänkö pitämään ainakin osasta näistä kirjaa julkaisupäivämääristä? --[[Käyttäjä:Cerre|Cerre]] 14. helmikuuta 2010 kello 14.54 (UTC)

== Usean sivun seuraaminen ==

Haluaisin tietää miten voi vaivattomasti pistää useamman kun yhden sivun kerralla seurantaan. Linux.fi on vielä niin pieni wiki etten näe estettä seurata vaikka kaikkia sivuja. Nythän joutuisin laittamaan jokaisen erikseen seurantaan, mikä ei nyt ihan ole kätevää. --[[Käyttäjä:Cerre|Cerre]] 21. tammikuuta 2010 kello 15.26 (UTC)
:Enpä ole tuota seuranta/tarkkailuhommaa itse kokeillut enkä tiedä mitä sillä tarkkaan ottaen saavutetaan, mutta itse olen suosinut [[Toiminnot:Tuoreet muutokset|Tuoreet muutokset -sivua]] wikin muokkausten tarkkailuun, ja olen ollut ihan tyytyväinen. --[[Käyttäjä:Maakuth|Maakuth]] 21. tammikuuta 2010 kello 16.52 (UTC)

== Clonezilla, Partimage ja muut Linuxin päälle rakennetut työkalut ==

Onko teidän mielestä aiheellista vääntää asiaa otsikossa mainituista, no, minijakeluista? Kysehän ei ole varsinaisista käyttöjärjestelmistä, mutta Linuxiin ne kuitenkin perustuu ja on aivan erinomaisen käyttökelpoisia. --[[Käyttäjä:Cerre|Cerre]] 7. tammikuuta 2010 kello 18.48
:Ilman muuta voi kirjoittaa, mikäpäs niissä. Jos niistä on Linux-käyttäjille hyötyä niin voi mielestäni kirjoittaa vaikkei suoranaisesti edes perustuisi Linuxiin. --[[Käyttäjä:Maakuth|Maakuth]] 7. tammikuuta 2010 kello 22.41 (UTC)

== Linuxkouluun.fi -artikkelien siirto Linux.fi -wikiin==

Linuxkouluun.fi sivustojen artikkeleita voi siirtää nyt kuka tahansa asiasta kiinnostunut. Ohjeita aiheesta löytyy sivulta [[Linux.fi:Linuxkouluun.fi]]. Keskustelua aiheesta voi käytä esim. kyseisen sivun keskustelupalstalla. --[[Käyttäjä:OpinsysASokero|OpinsysASokero]] 22. syyskuuta 2009 kello 08.02 (UTC)

== Kiitos Pb:lle ==
Tehdä rysäytin sivun [[Puppy Linux 4.2:n asentaminen USB-muistille]], ja [[Käyttäjä:Pb|Pb]] ystävällisesti korjaili lähettämieni kuvakaappausten metatietoja. Seuraavalla kerralla osaan itse :) --[[Käyttäjä:Akaihola|Akaihola]] 22. toukokuuta 2009 kello 21.18 (UTC)

== Päivitys ==
Päivitin Mediawikin versioon 1.14.0, jos jotain on mennyt rikki niin ilmoitelkaapa. Lisäsin samalla PDF-tiedostot sallittujen tiedostomuotojen joukkoon, eli tarvittaessa wikiin voi nyt lisätä myös PDF-muodossa olevaa (vapaata) materiaalia jos sellaiselle on tarvetta (esim. esityksiä). --[[Käyttäjä:Heikki|Heikki]] 23. helmikuuta 2009 kello 16.34 (UTC)
:Päivitin versioon 1.15.0. Ilmoitelkaapa mahdollisista ongelmista. --[[Käyttäjä:Heikki|Heikki]] 5. heinäkuuta 2009 kello 15.01 (UTC)

== Uusi etusivu ==
[[Etusivu2]] tehtiin lopultakin loppuun ja kopioitiin varsinaiseksi etusivuksi. Nyt etusivu on huomattavasti yksinkertaisempi ja ulkoasultaan miellyttävämpi. Nyt olisikin hyvä miettiä materiaalin saavutettavuutta esim. [[:Luokka:Portaalit|portaalien]] välityksellä, joille etusivulta nyt pääasiassa linkitetään. Kommentit ja parannusehdotukset uudesta etusivusta ovat tervetulleita, ja muistattehan että vaikka etusivu onkin suojattu muutoksilta, kaikkea sisältöä voi muokata muokkaamalla sopivia mallineita (löytyvät kun katsoo etusivun lähdekoodia). Isompia muutoksia kannattaa ensin suunnitella muokkaamalla sivua [[Etusivu2]]. --[[Käyttäjä:Heikki|Heikki]] 3. joulukuuta 2008 kello 13.07 (UTC)
:Mielestäni etusivulta katosi vähän liikaa sisältöä... Portaalilinkkien "hierarkiataso" ei myöskään ole aivan looginen, esimerkiksi kuvankatselu- ja käsittelyohjelmiin löytyy linkki, mutta toisaalta ei ohjelmat-luokkaan. Etusivun tarkoituksenahan on, että lukija pääsee sitä kautta "sisälle" sivustoon. Jos etusivulla on kovin vähän ja hajanaisia linkkejä, ei tämä toteudu kovin hyvin.

:Portaalisivut ovat käteviä, mikäli aiheesta ei löydy sopivaa yleisartikkelia ja jos aiheeseen liittyvä luokka on sekava. Kannattaisi näin ollen miettiä, minkä aiheiden suhteen erillinen portaalisivu todella tarjoaa lisäarvoa, ja missä se taas vain monimutkaistaa navigointia.

:Komentorivi-, järjestelmä- ja verkkoluokat kiistatta kaipaavat selittävää linkkikokoelmaa (=portaalia) helpottamaan asioiden löytämistä. Toisaalta esimerkiksi www-selaimista tai ohjelmat-luokasta ei sellaista kannata laatia, koska käytössä on jo hyvä yleisartikkeli ja selkeä luokka. Kannattaisi ehkä myös miettiä, minkä artikkelien kohdalla selkeys vaatii Portaali-etuliitteen ja minkä ei. [[Osiointityökalut]]-artikkelia ei ainakaan kannattane siirtää sille Portaali-nimelle, Komentorivi-artikkeli on siinä rajalla (etuliitteen puuttuminen tekisi siihen linkittämisen siistimmäksi).

:Paras vaihtoehto Aihealueet-mallineeksi voisi olla nykyisen ja vanhan mallin sekoitus, jossa olisi runsaahkosti tietoa, mutta entistä selkemmin. Yhteistyö-ruudun voisi mielestäni poistaa, sillä se ei erityisemmin tunnu houkuttelevan uusia muokkaajia. --[[Käyttäjä:Pb|Pb]] 4. joulukuuta 2008 kello 22.15 (UTC)
::Tuohonhan sopisi vielä kolmas sarake, ehkä siihen voisi laittaa linkkejä sellaisiin paikkoihin jotka nykyisellään jäävät kattamatta. Tuo kuvakkeiden käyttäminen vähentää etusivun kolkkoutta aika strategisesti, haluaisin säilyttää sen. Yhteistyöartikkeli taitaa tosiaan olla hieman kuolleena syntynyt ajatus. --[[Käyttäjä:Maakuth|maakuth]] 4. joulukuuta 2008 kello 22.31 (UTC)
:::Kolmas sarake (pystyrivi) aiheuttaa toisaalta ongelmia pienemmillä resoluutioilla. Esimerkiksi 1024x768:lla (Konqueror) näyttö on jo nykyisellään melko täynnä. Kuvat ovat tosiaan kannatettavia, kunhan niitä ei ole liikaa (jolloin sivu muodostuu "sarjakuvanomaiseksi"). --[[Käyttäjä:Pb|Pb]] 4. joulukuuta 2008 kello 23.25 (UTC)

Olisiko jollakulla esittää parannusehdotuksia nykyisen [[Etusivu2]]:n suhteen? Omasta mielestäni se on jossain määrin "sotkuinen" (runsaasti tekstimassaa) verrattuna nykyiseen etusivuun, mutta toisaalta huomattavasti informatiivisempi. --[[Käyttäjä:Pb|Pb]] 25. maaliskuuta 2009 kello 21.38 (UTC)
:Onhan tuo tosiaan informatiivisempi. Ehkä tekstimassaa on aika paljon, mutta toisaalta tärkeintä toki on että etsimänsä asian löytää helposti. Mitä muutamalta satunnaiselta käyttäjältä kyselin niin Etusivu2 ainakin voittaa nykyisen etusivun. Eli kaipa tähän voidaan siirtyä. --[[Käyttäjä:Heikki|Heikki]] 30. maaliskuuta 2009 kello 04.07 (UTC)
::Vaihdettu. --[[Käyttäjä:Pb|Pb]] 30. maaliskuuta 2009 kello 13.11 (UTC)

==Toiminnot:Luokat==
Etusivullekin linkitetty [[Toiminnot:Luokat]] vaikuttaisi listaavan vain osan wikin luokista, tarkemmin sanottuna puolet niistä... --[[Käyttäjä:Pb|Pb]] 6. marraskuuta 2008 kello 19.15 (UTC)
:Eikös tuon kuulukin näyttää ainoastaan juuritason luokat? Vai puuttuuko tuosta niitäkin? --[[Käyttäjä:Maakuth|maakuth]] 7. marraskuuta 2008 kello 12.21 (UTC)
::Puuttuu, tuossa on sekaisin kumpiakin. --[[Käyttäjä:Pb|Pb]] 7. marraskuuta 2008 kello 20.46 (UTC)
Tuntuisi taas toimivan (MediaWiki 1.14.0). --[[Käyttäjä:Pb|Pb]] 25. maaliskuuta 2009 kello 21.33 (UTC)

== Vapaata materiaalia jota voi hyödyntää ==
Ainakin seuraavista lähteistä löytyy materiaalia, josta laadukkainta osaa voi hyödyntää Linux.fissä joskus jopa suoraan. Eli jos jollain on ylimääräistä aikaa niin hyvä homma käydä läpi:
*[http://forum.ubuntu-fi.org/index.php?board=23.0 Ubuntu Suomen keskustelualueen Wikiin siirrettävät oppaat]: Ubuntu Suomen foorumeilla on monta foorumille kirjoitettua opasta, joihin on kysytty lupa siirtää Linux.fihin CC-BY:n alaiseksi. Täältä olen viime aikoina siirtänyt esim. artikkelin [[Ohjelmistopohjainen RAID ja LVM]]
*[http://unix.se/Huvudsida unix.se]-wiki. Kaikki materiaali CC-BY:n alaista (mainittava siis lähde unix.se). Täältä olen siirtänyt artikkelin [[Ed]]. Wiki siis ruotsiksi, mutta Google osaa kääntää hyvin englanniksi jos toinen kotimainen ei taivu.
Jos jollain on tiedossa muita vastaavia paikkoja, saa mainita tässä. --[[Käyttäjä:Heikki|Heikki]] 17. syyskuuta 2008 kello 17.28 (UTC)

: CC-BY (ja tekijänoikeuslaki muutenkin) edellyttää, että ''tekijä'' mainitaan. Julkaisijan tai lähteen manitseminen ei korvaa sitä, ellei tällaisesta ole erikseen sovittu. Wikien kohdalla tekijät ilmenevät muokkaushistoriasta, mikä saattaa riittää, mutta materiaalia lainattaessa pitää huolehtia siitä, että linkki muokkaushistoriaan säilyy (siis jää linux.fi:n muokkaushistorian osaksi). Suosittelisin linkin wiki-sivun senhetkisen versioon (työkalulistan "ikilinkki"). --[[Käyttäjä:LP|LP]] 8. marraskuuta 2008 kello 14.14 (UTC)
::Esimerkiksi tämän wikin [[Linux.fi:Lisenssi|lisenssisivulla]] mainitaan että Linux.fi:n mainitseminen riittää, tuosta tietysti jokainen lähde erikseen. Unix.se:n [http://unix.se/UnixSE:Copyright lisenssisivulla] tuota ei taideta mainita, joku paremmin toista kotimaista hallitseva tarkentakoon. Totta sinänsä mitä sanoit kyllä. --[[Käyttäjä:Maakuth|maakuth]] 8. marraskuuta 2008 kello 15.15 (UTC)
:::Tuolla Unix.se:n sivulla ei tosiaan ole mainittu, että BY-vaatimuksen voisi täyttää pelkällä "unix.se"-maininnalla. Materiaalia käyttäville sivuille täytyy siis listata koko tekijähistoria. Uudempien versioiden ongelmaa ei toisaalta ole, sillä unix.se-wiki on käytännössä kuollut useita vuosia takaperin, eikä sinne tämän vuoden aikana ole edes voinut kirjautua! Wiki oli hiljattain myös muutaman viikon poissa linjoilta, kun omistaja ilmeisesti unohti uusia domainin. Pelkkä linkki artikkelin historiaan on toisin sanoen kovin epävarma tapa täyttää by-vaatimus. Vaikka todennäköisyys sille, että joku tekijöistä löytäisi tänne ja jotenkin välittäisi asiasta on kyllä korkeintaan yksi miljardista. ;) --[[Käyttäjä:Pb|Pb]] 8. marraskuuta 2008 kello 23.34 (UTC)

== Uudistuksia ==
Wikin [[Linux.fi:TODO|TODO]]-lista tyhjeni lähes kokonaan ja useita uusia [[Toiminnot:Versio|lisäosia]] asennettiin. Keskustelua enemmän [http://linux.fi/foorumi/index.php?topic=321 keskustelualueella]. --[[Käyttäjä:Heikki|Heikki]] 30. elokuuta 2008 kello 13.46 (UTC)
:Nyt on sitten myös lyhyet url-osoitteet muotoa linux.fi/wiki/Artikkeli käytössä! --[[Käyttäjä:Heikki|Heikki]] 31. elokuuta 2008 kello 13.35 (UTC)

==<nowiki><tt></nowiki>-nappi==
Komentoriviohjelmista kirjoittaessa tarvitsee usein <nowiki><tt></nowiki>-tageja, joten lisäsin niitä lisäilevän napin tuohon työkaluriviin. Nappien lisäys näkyy käyvän [[Järjestelmäviesti:Common.js]]:n kautta, joskin tuo lienee vain ylläpitäjien muutettavissa. Mutta jos muita vastaavia nappuloita tarvitaan, niin ylläpitohan niitä voi lisätä jos tarpeelliseksi näkee. --[[Käyttäjä:Maakuth|Maakuth]] 28. elokuuta 2008 kello 23.40 (EEST)
:Asensin myös syntaksin värikorostus -lisäosan ja tein sille napin josta tulee oletusarvoisesti [[bash]]in tagit. Saadaan skriptit kauniiksi <3 --[[Käyttäjä:Maakuth|Maakuth]] 31. elokuuta 2008 kello 08.16 (UTC)

== RSS-laajennos? ==
Keskustelualueella oli jossain vaiheessa puhetta lisätä wikin etusivulle ruutu, jossa olisi syöte foorumin uusimmista viesteistä. Tämä vaatisi foorumin [http://linux.fi/foorumi/index.php?type=rss;action=.xml RSS-syötteen] linkittämisen Mediawikin [http://www.mediawiki.org/wiki/Extension:RSS RSS-laajennokseen]. Laajennus pitäisi sitä ennen kuitenkin saada asennettua (=lisätöitä Tepolle). Mitä mieltä olette, kannattaisiko tätä kehitellä eteenpäin? TODO-lista on jo nykyisellään melko pitkä. --[[Käyttäjä:Pb|Pb]] 20. elokuuta 2008 kello 23.32 (EEST)
:RSS-liitännäisellä saataisiin keskustelualue paremmin esille, joten sanoisin, että senkin voi [[Linux.fi:TODO|TODO-listalle]] laittaa. Yksittäisen lisäosan asentaminen ei ole mikään kovin iso operaatio joten parempi asentaa kerralla useampi kuin lisätä TODO-listalle sitten myöhemmin. --[[Käyttäjä:Heikki|Heikki]] 26. elokuuta 2008 kello 19.30 (EEST)

== Taas yksi heikosti tehty ohje lisää ==
--[[Käyttäjä:Peran|Peran]] 17. elokuuta 2008 kello 03.36 (EEST)
http://linux.fi/index.php/TulostusCDlevynPinnalle
Tuli tehdyksi tälläinen oksennus wikiin. En osaa kovinkaan hyvin käyttää tätä MediaWiki-ohjelmistoa. Josko joku ystävällinen sielu parantelisi ulkoasua ja luokittelisi ko. sivun. Mulla ei myöskään ole hahmotusta Linux.fi:n luokittelusta, mutta yleinen Linux-ohje tämä kuitenkin on, ja perustuu Ubuntu-foorumin ohjeeseen: http://forum.ubuntu-fi.org/index.php?topic=4790
:Juu, luokitellaan ja parannellaan. Kiitoksia osallistumisesta! --[[Käyttäjä:Maakuth|Maakuth]] 17. elokuuta 2008 kello 12.27 (EEST)

==Muutosten tarkastaminen==
Otetaanko ylläpidossa käyttöön tuo muutosten tarkastaminen? Eli kun vilkaisee jotain rekisteröimättömän käyttäjän tekemää muutosta, pitäisi painaa "merkitse tarkastetuksi" -linkkiä, niin huutomerkit häviäivät muutosten listalta. Tällä saataisiin pienten muutosten seuraaminen helpommaksi kun ei kaikkien tarvitsisi vilkaista. --[[Käyttäjä:Maakuth|Maakuth]] 28. kesäkuuta 2008 kello 14.20 (EEST)
:Eipä tuon ominaisuuden hyötykäytöstä mitään haittaakaan ole, eli aletaan vaan klikkailemaan tuota linkkiä. --[[Käyttäjä:Heikki|Heikki]] 28. kesäkuuta 2008 kello 22.35 (EEST)
::Kyllähän tuo sopii. Itse käyn tosin joka tapauksessa kaikki muutokset läpi. --[[Käyttäjä:Pb|Pb]] 29. kesäkuuta 2008 kello 13.41 (EEST)
:::Näinhän sitä tietysti monesti tulee tehtyä, mutta tuolla konstilla ei ainakaan lipsahda mitään läpi seulasta. --[[Käyttäjä:Maakuth|Maakuth]] 29. kesäkuuta 2008 kello 15.23 (EEST)
::Mitenkähän noiden spämmiviestien kanssa... Pitäisikö ne merkitä tarkastetuksi siinä tapauksessa että jäljet on siivottu? --[[Käyttäjä:Maakuth|Maakuth]] 14. elokuuta 2008 kello 00.42 (EEST)
:::Ylläpidon palauta-napillahan nuo muuttuvat automaattisesti tarkastetuiksi (samalla kun se kumoaa saman käyttäjän kaikki peräkkäiset muokkaukset eikä vaadi erillistä muutosten tallentamista). -- Jos samaan artikkeliin tulee vandalismia monesta eri IP:stä peräkkäin, pitää tietysti painaa tarkastusnappia käsin. Toisaalta tällöin on kyllä aika selvää, että muokkaukset joka tapauksessa huomataan ja kumotaan. Eli vastaus voisi kai olla "jos jaksaa" tai "jos ei pidä punaisista huutomerkeistä tuoreissa muutoksissa". --[[Käyttäjä:Pb|Pb]] 14. elokuuta 2008 kello 01.44 (EEST)

== Ohje rikkinäisen kovalevyn/tiedostojärjestelmän korjaamisesta ==
Ajattelin kirjoitella otsikon mukaista ohjetta (taustatarinaa, kts http://forum.ubuntu-fi.org/index.php?topic=7522.0) - Minkäslaisella otsikolla tämmöinen pitäisikannattaisi tehdä ja miten lisään sen sopiviin luokkiin? --[[Käyttäjä:Rhk|Rhk]] 24. toukokuuta 2008 kello 11.50 (EEST)
:Itselläni mielessä pyörivät "rikkinäiset tallennusvälineet" tai "tietojen pelastaminen", mutta laita nyt omasta mielestäsi paras. Luokitukset saat tehtyä laittamalla sivun loppuun luokkamerkinnät tyyliin <nowiki>[[Luokka:Järjestelmä]]</nowiki>. Katso muista sivuista mallia. --[[Käyttäjä:Maakuth|Maakuth]] 24. toukokuuta 2008 kello 13.17 (EEST)

==Foorumin/wikin yhdistämisestä==

Olen tuunannut Omenamehu.org -keskustelupalstalle (käyttää SMF:ää) yhteisen autentikoinnin Mediawikin ja SMF:n välille. Jos tuon toteutus kiinnostaa, yhteyttä voi ottaa osoitteella mehumaija miukumauku omenamehu.org.

Terveisin,

Sami Lempinen

5. toukokuuta 2008 kello 20.33 (EEST)

==Oma musta lista?==
Spämmibottien muokkauksia alkaa taas tulla melko rasittavan usein. Oletuksena käytettävä Metan [http://meta.wikimedia.org/wiki/Spam_blacklist musta lista] ei ilmeisestikään päivity tarpeeksi nopeaan tai on liian konservatiivinen. SpamBlacklist-laajennos [http://www.mediawiki.org/wiki/Extension:SpamBlacklist#Custom_blacklist_sources sallisi] kuitenkin päälistan ohella myös paikalliset mustat listat. Voisiko olla ideaa tehdä oma - ylläpitäjien muokattavissa oleva - musta lista? Uusien regexpien lisääminen onnistuisi tällöin ilman viivytyksiä. Omaa listaa voisi käyttää myös yleisempien ilmausten kuten "ring_tones" blokkaamiseen. --[[Käyttäjä:Pb|Pb]] 4. toukokuuta 2008 kello 16.33 (EEST)
:Hyvä idea. Varsinkin kun meillä on kielenä suomi niin englanninkielinen avainsanalista voisi olla varsin tehokas torjuntakeino. Etsi/laadi joku tarkka tekninen toteutusohje niin voit laittaa sen [[Linux.fi:TODO|TODO-sivulle]] Tepon huomiota odottamaan. --[[Käyttäjä:Maakuth|Maakuth]] 21. toukokuuta 2008 kello 18.38 (EEST)
::Tutkin asiaa ja huomasin, että jo nyt ylläpitäjät voivat lisätä domaineja, joihin linkittäminen on estetty, sivulle [[Mediawiki:Spam-blacklist]]. --[[Käyttäjä:Heikki|Heikki]] 24. toukokuuta 2008 kello 13.07 (EEST)
:::Ei tunnu toimivan... Tuo sivu sekä <tt>Mediawiki:Spam-whitelist</tt> puuttuvat [[Toiminnot:Järjestelmäviestit|järjestelmäviestien listasta]], mistä ne löytyvät monissa muissa wikeissä. Vaikuttaisi siltä, että tämän wikin SpamBlacklist-laajennos on jokin vanhempi versio, joka ei vielä tue tuota toimintoa. Pitäisi varmaan pyytää Teppoa päivittämään, ja samalla asentamaan muutama muukin laajennos, joita tänne on kaivattu. --[[Käyttäjä:Pb|Pb]] 24. toukokuuta 2008 kello 21.27 (EEST)
::::TODO-sivun sisältö on vinkattu Tepolle, odotellaan päivityksiä... --[[Käyttäjä:Heikki|Heikki]] 24. toukokuuta 2008 kello 23.39 (EEST)

==Uutisten julkaiseminen==
Ajoittain on ehdoteltu, että tällä sivustolla alettaisiin julkaista Linux-aiheisia uutisia Suomesta ja maailmalta jossain määrin säännöllisesti. Itsekin olen ruvennut pitämään sitä ihan hyvänä ajatuksena, mutta hommaan tarvittaisiin muutamia jossain määrin sitoutuneita vapaaehtoisia, jotta touhu ei tyssäisi aivan heti. Muutenkin on vaara tarjolla että hankkeesta muodostuu "uutissivusto" jolla uutisia julkaistaan kerran kuussa tai harvemmin. Mitäpä mieltä olisitte moisesta? --[[Käyttäjä:Maakuth|Maakuth]] 3. toukokuuta 2008 kello 18.09 (EEST)
:Jos vapaaehtoisia todella löytyy, niin eiköhän se onnistu. Etusivulle pitäisi sitten lisätä jonkinlainen "uutisruutu", josta olisi linkit varsinaisiin uutisartikkeleihin/uutissivulle. Näitä uutissivustoja tosin löytyy Suomesta jo ainakin kaksi kappaletta, etusivullekin linkitetty [http://tonnikala.net/ Tonnikala] sekä [http://linuxonly.info/ LinuxOnly], molemmat tällaisia kerran kuussa -sivustoja. Jos joku on valmis pidempiaikaiseen uutisten kirjoitteluun, niin miksei saman tien "herättäisi henkiin" jompaa kumpaa näistä sivustoista? --[[Käyttäjä:Pb|Pb]] 4. toukokuuta 2008 kello 13.57 (EEST)

== TODO-lista ==
Eri puolilla tulee aina välillä esiin parannusehdotuksia, jotka vaativat muutoksia palvelinpuolelle. Keräsin näitä erilliselle [[Linux.fi:TODO|sivulle]], josta ne voidaan sitten sopivassa välissä vinkata Tepolle toteuttamista varten. --[[Käyttäjä:Heikki|Heikki]] 26. huhtikuuta 2008 kello 23.11 (EEST)

== Wiki 3v ==
Kolmevuotissynttärit olivat viime viikolla. Kiitokset kaikille muokkaajille, jatketaan samaan malliin. [http://linux.fi/foorumi/index.php?topic=201.0 Juttua keskustelualueella]. --[[Käyttäjä:Heikki|Heikki]] 26. huhtikuuta 2008 kello 22.28 (EEST)

==Muokkaa-linkin korostus?==
Ruotsin- ja englanninkielisissä Wikipedioissa sivun ylälaidan muokkaa-linkki on korostettu boldilla. Voisiko tuo kenties sopia tähänkin wikiin? Se auttaisi ainakin korostamaan, että ''kuka tahansa'' voi muokata artikkeleita, ja siten kenties toisi uusia muokkaajia. --[[Käyttäjä:Pb|Pb]] 25. huhtikuuta 2008 kello 19.35 (EEST)
:Hyvä ajatus. Kaipa tuo jollain css-muutoksella käy varsin kivuttomasti. --[[Käyttäjä:Maakuth|Maakuth]] 25. huhtikuuta 2008 kello 19.40 (EEST)
::Laitetaanpa kokeeksi... --[[Käyttäjä:Pb|Pb]] 25. huhtikuuta 2008 kello 20.10 (EEST)

==80.223.125.28:n muokkaukset==
Mitä mieltä olette näistä 80.223.125.28:n [[Toiminnot:Muokkaukset/80.223.125.28|muokkauksista]]? Omasta mielestäni [[:Luokka:Jakelut|Jakelut]]-luokan jakaminen aliluokkiin äitijakeluiden perusteella lähinnä sotkee pakkaa. Jakeluryhmittäisten "kokoomamallineiden" laittaminen voisi kaiketi olla ihan hyväkin idea (vaikka onkin osittain päällekkäinen Katso myös -otsikon ja [[:Malline:Jakelu|Jakelu]]-mallineen kanssa), mikäli sen toteuttaa hivenen harkitummin ja teknisesti oikein. --[[Käyttäjä:Pb|Pb]] 5. maaliskuuta 2008 kello 16.09 (EET)
:En lähtisi jakamaan jakelut-luokkaa alaluokkiin, mutta jakeluartikkelien katso myös -osiota voisi osittain korvata sukulaisjakeluita listaavalla mallineella. --[[Käyttäjä:Heikki|Heikki]] 5. maaliskuuta 2008 kello 17.48 (EET)

===Luokittelusta===
::[[Linux.fi:Luokitusremontti]] - Asiasta kannattanee keskustella myös luokituksen kohdalla. [[Käyttäjä:80.223.125.28|80.223.125.28]] 8. maaliskuuta 2008 kello 12.42 (EET)

== Lisäosia ja parannusehdotus mallineeseen [[Malline:Perustietoa|perustietoa]] ==

Tuli näin heti tähän wikiin tutustuessani esille pari ongelmakohtaa. Esimerkiksi lähteiden helppoon merkitsemiseen käytettävää ''[http://www.mediawiki.org/wiki/Extension:Cite Cite]''-lisäosaa ei ole, eikä kyllä mitään muitakaan käyttömukavuutta parantavia lisäosia löydy.

Koska [[Malline:Perustietoa|perustietoa-malline]] oli suojattu vain ylläpitäjien ja byrokraattien muokattavaksi, tuli mieleeni eräs ''ParserFunctions''-lisäosan vaativa parannusehdotus ([http://meta.wikimedia.org/wiki/ParserFunctions#Installation asennusohje Metassa]):

''[[Malline:Perustietoa]]'': 
: <code><nowiki>
<div style="margin:0; margin-top:10px; border:1px solid #aaa; padding: 0.2em 1em 0.2em 1em; background-color:#F8F8FF; align:right; font-size:1em">
Tämä otsikko on perustietoa, jolle parempi paikka on {{#if: {{{1|}}} | [[wikipedia:fi:{{{1}}}|Wikipedia]] | [http://fi.wikipedia.org/ Wikipedia]}}. Tässä wikissä se sisältää pääasiallisesti Linux-erikoistietoa.</div>
</nowiki></code>

<nowiki>{{Perustietoa}}</nowiki>:
<div style="margin:0; margin-top:10px; border:1px solid #aaa; padding: 0.2em 1em 0.2em 1em; background-color:#F8F8FF; align:right; font-size:1em">
Tämä otsikko on perustietoa, jolle parempi paikka on [http://fi.wikipedia.org/ Wikipedia]. Tässä wikissä se sisältää pääasiallisesti Linux-erikoistietoa.</div>

<nowiki>{{Perustietoa|Hiiri (osoitinlaite)}}</nowiki>:
<div style="margin:0; margin-top:10px; border:1px solid #aaa; padding: 0.2em 1em 0.2em 1em; background-color:#F8F8FF; align:right; font-size:1em">
Tämä otsikko on perustietoa, jolle parempi paikka on [[wikipedia:fi:Hiiri (osoitinlaite)|Wikipedia]]. Tässä wikissä se sisältää pääasiallisesti Linux-erikoistietoa.</div>

Olisivatko nämä vain haaveita vai jopa mahdollisia ottaa käyttöön? — [[Käyttäjä:Str4nd|Str4nd]] 22. lokakuuta 2007 kello 19.11 (EEST)
:Uusista lisäosista täytyy neuvotella [[Käyttäjä:Teppo|Tepon]] kanssa, joka on Linux.fi:n laitteistoylläpitäjä. Etukäteen täytyy tietysti keskustella, mille kaikelle on tarvetta eli mitä me osaamme/jaksamme/viitsimme hyödyntää. --[[Käyttäjä:Pb|Pb]] 22. lokakuuta 2007 kello 20.02 (EEST)
:: Kyllä, olisi hyvä saada tähän samaan keskusteluun muitakin tarvittavia lisäosia ja keskustelua niiden tarpeellisuudesta (esim. äänestys), ettei tarvitsisi säätää asetuksia useita kertoja. --[[Käyttäjä:Str4nd|str4nd]] ([[Keskustelu käyttäjästä:Str4nd|jutskaa]]) 23. lokakuuta 2007 kello 12.11 (EEST)

:::Ainakin tuo ''ParserFunctions''-lisäosa vaikuttaa kätevältä. Lähdemerkinnöille ei monissa artikkeleissa ole tarvetta, mutta tuskin ne mahdollistavasta liitännäisestä haittaakaan olisi. En tunne juurikaan Mediawikin liitännäisiä, joten en oikein tiedä, mitä siellä oikein on tarjolla. Muita ehdotuksia? Asennus ei ainakaan näytä pahalta, tosin voi olla, että ainakin toistaiseksi käytössä oleva php4 ja vanhahko mediawiki tuottavat ongelmia. --[[Käyttäjä:Heikki|Heikki]] 23. lokakuuta 2007 kello 19.26 (EEST)
::::MediaWikin lisäosat löytyvät [http://www.mediawiki.org/wiki/Category:Extensions MediaWikin sivuilta], Wikipedian lisäosat löytyvät Wikipedian [[wikipedia:fi:Toiminnot:Versio|Toiminnot:Versiosta]], kuitenkin suurin osa Wikipediaan asennetuista lisäosista on hyödyttömiä tänne asennettuna. --[[Käyttäjä:Str4nd|str4nd]] ([[Keskustelu käyttäjästä:Str4nd|jutskaa]]) 24. lokakuuta 2007 kello 12.14 (EEST)

:::::Muutamia lisäosia joita voisi harkita, pistin joskus irkkiin, mutta laitan vielä tänne muistiin: ''newuserlog, renameuser, user merge and delete, gadgets, configure, mibbit (selain-irc), apc (vaatii 1.13, eikä täällä vissiin ole edes apc:tä), categorytree, cleanchanges, dismissable sitenotice'' – [[Käyttäjä:Nike|Nike]] 14. toukokuuta 2008 kello 13.32 (EEST)

=== /index.php -> /wiki + /w? ===
Parannusehdotuksiin liittyen: Voisiko Teppo päivitellä myös MediaWikiä niin, ettei index.php:tä enää näkyisi? Ohjeet löytyvät [http://www.mediawiki.org/wiki/Manual:Short_URL MediaWikin sivuilta]. --[[Käyttäjä:Str4nd|str4nd]] ([[Keskustelu käyttäjästä:Str4nd|jutskaa]]) 27. lokakuuta 2007 kello 18.29 (EEST)

ModRewritellä pitäisi onnistua Wiki-sivujen osoitteet tyyliin http://linux.fi/Synaptic. Nykyinen tyylli http://linux.fi/index.php/Synaptic on turhan pitkä..--[[Käyttäjä:80.221.60.224|80.221.60.224]] 21. tammikuuta 2008 kello 13.02 (EET)

.htaccess-tiedosto (ei testattu):
RewriteRule ^([^/]+).html /index.php/$1

==Linux.fi==
Mitä tältä sivulta odotetaan, halutaan tai toivotaan? Wikissä alkaa hiljalleen olla hyvänlaisesti materiaalia, ja foorumi on ilmeisesti piakkoin tulossa. Kertokaapas mitä muuta kivaa tämä sivu voisi suomenkielisille avoimen lähdekoodin käyttäjille tarjota. --[[Käyttäjä:Maakuth|Maakuth]] 12. elokuuta 2007 kello 00.47 (EEST)

== Virallinen suhde [http://lokalisointi.org kotoistamiseen]? ==
Tulipa tuossa mieleen että mitä ovat täällä wikittelijät mieltä ohjelmien [http://lokalisointi.org kotoistamisesta]? Onhan tuo aika iso osa avoimen lähdekoodin suuntauksista ja eduista, notta olisikohan foorumikohtainen ja/tai yleisempi sanakirja[http://lokalisointi.org/sanakirja/] paikallaan? Emmehän me tahdo [http://fi.wikipedia.org/wiki/Anglismi anglisteiksi] rueta, emmehän? Hieman eppäilyttää jotkut front- ja backendit, rootit ja adminit sun muut, mitkä eivät edes ole varsinaista suomea. Kuulostanee varmaan koomiselta mutta anglismin seurauksena suomenkieli kuihtuu kun riittävän pitkälle ajassa mennään :)

Yours truly,

--[[Käyttäjä:V|V]] @ 8. heinäkuuta 2007 kello 19.49 (EEST)
:[[Linux.fi:Merkitsemiskäytäntöjä|Merkitsemiskäytännöissä]] ilmaistaan selkeästi tämän wikin kielelliset periaatteet. Joillekin termeille vaan ei välttämättä ole kunnollisia suomennoksia, tai niitä ei kukaan käytä, mistä johtuen pitemmälle ehtinyt harrastaja ei edes tunnista tuttujen termien suomenkielisiä vastineita. Ainakin itse tarkistan aina lokalisointi.orgista, löytyisikö termille jokin suomennos. Alkuperäiset englanninkieliset termit on kuitenkin syytä jättää sulkeisiin suomennoksen ohelle, jotta sen tunnistavat nekin, jotka eivät vielä ole suomennosta nähneet. --[[Käyttäjä:Maakuth|Maakuth]] 8. heinäkuuta 2007 kello 20.18 (EEST)
:Lisäksi omien sanojensa tueksi voisi kannattaa ottaa vaikkapa kuvankaappaukset suomennetuista ohjelmista englanninkielisten sijaan, ja vältellä häröjä otsikoita kuten "GUI kehoitteet". Ja se on muuten kehote eikä kehoite :) --[[Käyttäjä:Maakuth|Maakuth]] 8. heinäkuuta 2007 kello 20.49 (EEST)
::Asia ymmärretty. --[[Käyttäjä:V|V]] 8. heinäkuuta 2007 kello 20.58 (EEST)

Nimetty putki

2010-02-15T20:41:28Z

Ordyh: /* Katso myös */ +

Nimetty putki eli FIFO ("First In, First Out") on tiedostojärjestelmään luotu pysyvä erikoistiedosto, jota käytetään eri prosessien väliseen [[standardivirrat|kommunikointiin]]. Nimettyyn putkeen voivat eri aikoihin tai samanaikaisesti lukea ja kirjoittaa eri prosessit, kun taas tavalliseen nimeämättömään, tilapäiseen putkeen (esim. [[cat]] tiedosto ''|'' [[less]]) ei voi syöttää ja tulostaa kuin kaksi samanaikaisesti toimivaa prosessia.

==Käyttö==
Nimetty putki luodaan komennolla mkfifo, esimerkiksi
mkfifo putki1
Annetaan yhdessä [[virtuaalikonsoli]]ssa komento
[[ls]] -l >putki1
jolla syötetään tiedostolistaus nimettyyn putkeen putki1. Koska mikään prosessi ei vielä lue ls:n putkeen syöttämää dataa, pysähtyy ls:n suoritus automaattisesti odottamaan vastaanottavaa prosessia. Annetaan seuraavaksi toisessa virtuaalikonsolissa komento
cat putki1
joka tulostaa putkesta saamansa datan näytölle. Kun cat on tulostanut putken kautta ls:ltä saamansa syötteen, loppuu molempien prosessien suoritus automaattisesti (EOF).

Annetaan komento
[[bzip2]] -c < putki1 > tavara.bz2 &
joka laittaa bzip2:n taustalle "vahtimaan" putki1:stä ja pakkaamaan sieltä tulevan datan tiedostoon tavara.bz2.

Kun tämän jälkeen taas ohjataan ls:n tuloste putkeen komennolla
[[ls]] -l >putki1
pakkaa bzip2-prosessi tämän datan ja lopettaa itsensä.
Pakatun tiedoston sisällön voi tarkistaa vaikkapa komennolla
[[bzcat]] tiedosto.bz2

Nimetyn putken voi poistaa normaaliin tapaan komennolla
[[rm]] putki1

==Katso myös==
*[[Putki]] - nimeämätön eli anonyymi putki
*[[Standardivirrat]]
*[[Komentorivin perusteet]]

==Aiheesta muualla==
*[http://www2.linuxjournal.com/article/2156 Linux Journalin artikkeli nimetyistä putkista]

[[Luokka:Järjestelmä]]
[[Luokka:Komentorivi]]
[[Luokka:Ohjeet]]

Putki

2010-02-15T20:40:35Z

Ordyh: +