{"id":342,"date":"2007-01-22T14:01:36","date_gmt":"2007-01-22T12:01:36","guid":{"rendered":"http:\/\/motvind.homeip.net\/wordpress\/?p=342"},"modified":"2007-08-22T11:24:36","modified_gmt":"2007-08-22T09:24:36","slug":"g%c3%b8y-med-perl-og-mysql","status":"publish","type":"post","link":"https:\/\/motvind.homeip.net\/wordpress\/?p=342","title":{"rendered":"G\u00c3\u00b8y med Perl og MySQL"},"content":{"rendered":"<p>For ikke s\u00c3\u00a5 lenge siden lagde jeg en enkel parser i Perl som leser en tekstfil, splitter opp linjene med regex og legger resultatet i en MySQL database. Enkel og lite inteligent sak, men den virker. For et par dager siden lastet jeg ned norsk ordbok til FireFox. Da fikk jeg en ide, scriptet skulle f\u00c3\u00a5 litt \u00c3\u00a5 bryne seg p\u00c3\u00a5. WinRar klarte \u00c3\u00a5 lese FireFox-filen og pakket ut en stor tekstfil full av ord p\u00c3\u00a5 et veldig enkelt format. Jeg justerte scriptet litt og lagde en ny tabell i MySQL. Etter noen sekunder med tygging hadde jeg 125000 ord tilgjengelig med en rask SQL-sp\u00c3\u00b8rring. Kjekt. Jeg la ogs\u00c3\u00a5 til et felt med antall bokstaver slik at jeg kan hente ord med bestemt lengde. S\u00c3\u00a5 ble jeg v\u00c3\u00a5gal. Jeg modifiserte perl-koden igjen og lagde en tabell med felt for bokstav, plassering og referanse til tabellen med ord. F.eks. ble &#8216;ord&#8217; lagret som o-1, r-2 og d-3. Dermed kan jeg raskt hente alle ord med &#8216;f&#8217; som fjerde bokstav e.l. Problemet er at det er ganske mange bokstaver i ordlisten. Perl kom gjennom fila p\u00c3\u00a5 et par minutter, men resultatet ble en tabell med 1,5mill. linjer som ikke var s\u00c3\u00a5 lett \u00c3\u00a5 h\u00c3\u00a5ndtere. MySQL brukte nesten et sekund p\u00c3\u00a5 en enkel sp\u00c3\u00b8rring og n\u00c3\u00a5r jeg pr\u00c3\u00b8vde JOIN meed begge tabellene stoppet det helt opp. Jeg hadde tenkt at tabellen med bokstaver kunne brukes til \u00c3\u00a5 finne ord til Scrabble, men det blir nok for tregt.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>For ikke s\u00c3\u00a5 lenge siden lagde jeg en enkel parser i Perl som leser en tekstfil, splitter opp linjene med regex og legger resultatet i en MySQL database. Enkel og lite inteligent sak, men den virker. For et par dager siden lastet jeg ned norsk ordbok til FireFox. Da fikk jeg en ide, scriptet skulle &hellip; <a href=\"https:\/\/motvind.homeip.net\/wordpress\/?p=342\" class=\"more-link\">Continue reading<span class=\"screen-reader-text\"> &#8220;G\u00c3\u00b8y med Perl og MySQL&#8221;<\/span><\/a><\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[8],"tags":[51,59,90,93],"class_list":["post-342","post","type-post","status-publish","format-standard","hentry","category-pc","tag-mysql","tag-ord","tag-perl","tag-programmering"],"_links":{"self":[{"href":"https:\/\/motvind.homeip.net\/wordpress\/index.php?rest_route=\/wp\/v2\/posts\/342","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/motvind.homeip.net\/wordpress\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/motvind.homeip.net\/wordpress\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/motvind.homeip.net\/wordpress\/index.php?rest_route=\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/motvind.homeip.net\/wordpress\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=342"}],"version-history":[{"count":0,"href":"https:\/\/motvind.homeip.net\/wordpress\/index.php?rest_route=\/wp\/v2\/posts\/342\/revisions"}],"wp:attachment":[{"href":"https:\/\/motvind.homeip.net\/wordpress\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=342"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/motvind.homeip.net\/wordpress\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=342"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/motvind.homeip.net\/wordpress\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=342"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}