Gøy med Perl og MySQL

For ikke sÃ¥ lenge siden lagde jeg en enkel parser i Perl som leser en tekstfil, splitter opp linjene med regex og legger resultatet i en MySQL database. Enkel og lite inteligent sak, men den virker. For et par dager siden lastet jeg ned norsk ordbok til FireFox. Da fikk jeg en ide, scriptet skulle fÃ¥ litt Ã¥ bryne seg pÃ¥. WinRar klarte Ã¥ lese FireFox-filen og pakket ut en stor tekstfil full av ord pÃ¥ et veldig enkelt format. Jeg justerte scriptet litt og lagde en ny tabell i MySQL. Etter noen sekunder med tygging hadde jeg 125000 ord tilgjengelig med en rask SQL-spørring. Kjekt. Jeg la ogsÃ¥ til et felt med antall bokstaver slik at jeg kan hente ord med bestemt lengde. SÃ¥ ble jeg vÃ¥gal. Jeg modifiserte perl-koden igjen og lagde en tabell med felt for bokstav, plassering og referanse til tabellen med ord. F.eks. ble ‘ord’ lagret som o-1, r-2 og d-3. Dermed kan jeg raskt hente alle ord med ‘f’ som fjerde bokstav e.l. Problemet er at det er ganske mange bokstaver i ordlisten. Perl kom gjennom fila pÃ¥ et par minutter, men resultatet ble en tabell med 1,5mill. linjer som ikke var sÃ¥ lett Ã¥ hÃ¥ndtere. MySQL brukte nesten et sekund pÃ¥ en enkel spørring og nÃ¥r jeg prøvde JOIN meed begge tabellene stoppet det helt opp. Jeg hadde tenkt at tabellen med bokstaver kunne brukes til Ã¥ finne ord til Scrabble, men det blir nok for tregt.

One thought on “Gøy med Perl og MySQL”

Leave a Reply

Your email address will not be published. Required fields are marked *