er-marimo-demo

import%20marimo%0A%0A__generated_with%20%3D%20%220.13.15%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0Awith%20app.setup%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20pandas%20as%20pd%20%23%20kan%20kanskje%20fjerne%20denne%2C%20hvis%20jeg%20ikke%20bruker%20pandas%3F%0A%0A%20%20%20%20file%20%3D%20mo.notebook_location()%20%2F%20%22public%22%20%2F%20%22enheter_alle.parquet%22%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%23%20Demo%20-%20Analyse%20av%20Enhetsregisteret%20i%20nettleseren%0A%0A%20%20%20%20NB!%20Denne%20notatboken%20ble%20isteden%20brukt%20til%20%C3%A5%20forbedre%20parquet-filen.%20Etter%20forbedringer%20(fjerne%20punktum%20i%20kolonnenavn%2C%20endre%20fra%20str%20til%20Categorical%2C%20lagret%20jeg%20som%20en%20ny%20parquet-fil%20og%20ser%20n%C3%A5%20at%20endringene%20blir%20med%20p%C3%A5%20ny%20innlesing.%20Bestemte%20meg%20derfor%20for%20%C3%A5%20lagre%20en%20ny%20demo%2C%20der%20jeg%20slipper%20%C3%A5%20ha%20med%20de%20endringene.%20STSK%2013.%20august%202025)%0A%0A%20%20%20%20Denne%20demoen%20leser%20inn%20en%20dump%20av%20Enhetsregisteret%20(NB!%20En%20gammel%20versjon%2C%20fra%202023)%2C%20og%20viser%20hvordan%20Python-baserte%20verkt%C3%B8y%20kan%20brukes%20direkte%20i%20nettleseren%2C%20uten%20%C3%A5%20m%C3%A5tte%20installere%20Python%20p%C3%A5%20maskinen.%0A%0A%20%20%20%20Kort%20om%20de%20forskjellige%20komponentene%3A%0A%0A%20%20%20%20*%20enheter_alle.parquet%3A%20En%20fil%20som%20inneholder%20tilsvarer%20innholdet%20som%20kan%20lastes%20ned%20fra%20data.brreg.no%20for%20Enhetsregisteret%20(hovedenheter).%20Laget%20ved%20%C3%A5%20konvertere%20json-%20eller%20CSV-fila%20(husker%20ikke%20hvilken%20...)%20til%20parquet-formatet.%0A%20%20%20%20*%20marimo%20-%20selve%20%22notatboken%22%3B%20mange%20bruker%20Python%20i%20form%20av%20Jupyter%20Notebook%2C%20som%20lar%20brukeren%20mikse%20kode%20og%20tekst%20(markdown)%2C%20som%20del%20av%20en%20analysejobb.%20Marimo%20er%20et%20fors%C3%B8k%20p%C3%A5%20%C3%A5%20lagre%20en%20bedre%20versjon%20ved%20%C3%A5%20l%C3%B8se%20noen%20av%20utfordringene%20Jupyter%20har%2C%20som%20bl.a.%20bedre%20tilpasset%20versjonsh%C3%A5ndtering%20med%20Git%2C%20mindre%20fare%20for%20inkonsistens%20mellom%20celler%20som%20endrer%20data%2C%20mer%20innebygget%20funksjonalitet%20for%20%C3%A5%20f%C3%A5%20oversikt%20over%20dataene%20og%20bruke%20KI%0A%20%20%20%20*%20polars%20-%20en%20utfordrer%20til%20et%20av%20de%20mest%20brukte%20verkt%C3%B8yene%20for%20dataanalyse%2C%20pandas.%20Polars%20har%20ogs%C3%A5%20%22dataframe%22%20som%20grunnleggende%20datastruktur%2C%20men%20er%20raskere%2C%20har%20bedre%20h%C3%A5ndtering%20av%20kolonner%20med%20fritekst%2C%20og%20bruker%20funksjonalitet%20fra%20relasjonsdatabaser%20til%20%C3%A5%20optimalisere%20rekkef%C3%B8lgen%20p%C3%A5%20sp%C3%B8rringer%20f%C3%B8r%20de%20utf%C3%B8res%0A%20%20%20%20*%20duckdb%20-%20en%20database%20som%20fokuserer%20p%C3%A5%20dataanalyse%2C%20og%20som%20samhandler%20effektivt%20rundt%20%22dataframes%22-konseptet%20til%20pandas%20og%20polars%0A%20%20%20%20*%20Altair%20er%20et%20bibliotek%20for%20%C3%A5%20lage%20grafiske%20fremstillinger%2C%20som%20et%20alternativ%20til%20det%20mer%20kjente%20matplotlib%0A%0A%20%20%20%20L%C3%B8sningen%20er%20tilgjengeliggjort%20ved%20hjelp%20av%20Github%20Pages%2C%20som%20en%20%22statisk%22%20side.%20Det%20vil%20si%20at%20all%20interaksjon%2C%20og%20all%20python-kode%20som%20kj%C3%B8res%20enten%20den%20er%20skrevet%20p%C3%A5%20forh%C3%A5nd%20eller%20legges%20til%20av%20brukeren%2C%20kj%C3%B8res%20i%20nettleseren.%20En%20m%C3%A5te%20%C3%A5%20se%20det%20p%C3%A5%20er%20at%20moderne%20nettlesere%20tilbyr%20virtuelle%20maskiner%2C%20som%20er%20%22sandboxed%22%2C%20og%20typisk%20har%20en%20grense%20p%C3%A5%202%20GB%20arbeidsminne.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%20Les%20inn%2C%20f%C3%A5%20oversikt%20over%2C%20og%20tilpasse%20dataene%0A%0A%20%20%20%20F%C3%B8rste%20steg%20er%20%C3%A5%20bruke%20polars%20funksjon%20for%20%C3%A5%20lese%20data%20fra%20parquet.%20Etter%20innlesning%20brukes%20polars%20%22head%22-funksjon%20for%20%C3%A5%20vise%20de%20f%C3%B8rste%20fem%20linjene.%20Skroll%20til%20h%C3%B8yre%20for%20%C3%A5%20se%20alle%20kolonnene.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Les%20Enhetsregisteret%20(NB!!%20Utdatert%20versjon!!!)%20fra%20enheter_alle.parquet%0A%20%20%20%20%23%20Og%20vis%20de%20f%C3%B8rste%20linjene%0A%20%20%20%20df%20%3D%20pl.read_parquet(str(file))%0A%20%20%20%20df.head()%0A%20%20%20%20return%20(df%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%20Oppsummerende%20informasjon%20om%20de%20ulike%20kolonnene%0A%0A%20%20%20%20Neste%20steg%20er%20%C3%A5%20f%C3%A5%20vite%20litt%20mer%20om%20innholdet%20i%20hver%20kolonne.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%23%23%23%20Oversikt%20over%20innholdet%20i%20datasettet%0A%0A%20%20%20%20-%20Antall%20enheter%3A%20%7Bdf.height%7D%0A%20%20%20%20-%20Kolonner%3A%20%7B'%2C%20'.join(df.columns)%7D%0A%0A%20%20%20%20%23%23%23%20Oppsummerende%20fakta%2Fstatistikk%20om%20de%20ulike%20kolonnene%0A%0A%20%20%20%20%7Bmo.as_html(df.describe())%7D%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%20Oversikt%20via%20marimos%20innebyggete%20verkt%C3%B8y%0A%0A%20%20%20%20Etter%20at%20dataene%20er%20lest%20inn%20er%20det%20ogs%C3%A5%20mulig%20%C3%A5%20se%20mer%20detaljer%20om%20datasettet%20i%20menyen%20til%20venstre.%20Velg%20databasesymbolet%20og%20f%C3%A5%20opp%20liste%20over%20datakilder%2C%20dvs%20dataframes.%20For%20hver%20kolonne%20kan%20du%20se%20hvilken%20datatype%20kolonnen%20har%2C%20og%20ved%20%C3%A5%20klikke%20p%C3%A5%20kolonnenavnet%2C%20f%C3%A5r%20du%20i%20tillegg%20informasjon%20om%20antall%20verdier%2C%20tomme%20(null)%2C%20og%20fordeling%20av%20verdier%2C%20f.eks.%20antall%20true%20og%20false%2C%20eller%20antall%20unike%20verdier.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%20Optimalisere%20datasettet%20for%20analyse%0A%0A%20%20%20%20Det%20er%20to%20hovedsvakheter%20ved%20m%C3%A5ten%20dataene%20er%20representert%20n%C3%A5.%20For%20det%20f%C3%B8rste%20inkluderer%20mange%20kolonnenavn%20punktum%2C%20og%20det%20skaper%20erfaringsmessig%20problemer.%20Derfor%20b%C3%B8r%20alle%20kolonnene%20med%20punktum%20d%C3%B8pes%20om%2C%20og%20punktum%20erstattes%20med%20_.%0A%0A%20%20%20%20Det%20andre%20problemet%20er%20at%20veldig%20mange%20kolonnner%20har%20datatypen%20str%2C%20dvs%20fritekst.%20Samtidig%20er%20det%20i%20mange%20tilfeller%20bare%20et%20lite%20antall%20mulige%20verdier%2C%20f.eks.%20institusjoneell%20sektorkode%20(ulike%20verdier)%2C%20organisasjonsform%20(41%20ulike%20verdier)%2C%20n%C3%A6ringskode%20(805%20ulike%20verdier).%20For%20disse%20er%20det%20bedre%20%C3%A5%20gj%C3%B8re%20om%20til%20datatypen%20%22Categorical%22.%20Det%20samme%20gjelder%20antageligvis%20ogs%C3%A5%20for%20postnummer%2Fpoststed.%20Det%20beste%20ville%20v%C3%A6re%20%C3%A5%20g%C3%A5%20systematisk%20gjennom%20og%20se%20om%20minnebruken%20reduseres%20ved%20endring%20av%20en%20kolonne.%0A%0A%20%20%20%20Vi%20kan%20bruke%20polars%20estimated_size()%20for%20%C3%A5%20informasjon%20om%20minnebruken%20f%C3%B8r%20vi%20gj%C3%B8r%20noe.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df)%3A%0A%20%20%20%20df.estimated_size(unit%3D%22gb%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%23%20Endre%20fra%20punktum%20til%20understrek%0A%0A%20%20%20%20Vi%20bruker%20klassisk%20python%20til%20%C3%A5%20lage%20en%20mappingtabell%20som%20vi%20deretter%20kan%20bruke%20for%20%C3%A5%20endre%20navn.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df)%3A%0A%20%20%20%20mapping_kolonnenavn%20%3D%20%7Bkolonnenavn%3A%20kolonnenavn.replace('.'%2C'_')%20for%20kolonnenavn%20in%20df.columns%20if%20'.'%20in%20kolonnenavn%20%7D%0A%20%20%20%20return%20(mapping_kolonnenavn%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22I%20samme%20omgang%20som%20vi%20endrer%20navnene%2C%20vil%20vi%20ogs%C3%A5%20endre%20til%20datatypen%20Categorical%20for%20relevante%20kolonner.%20Listen%20over%20disse%20er%20laget%20manuelt.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20categorical_kolonner%20%3D%20%5B'organisasjonsform.kode'%2C%20'organisasjonsform.beskrivelse'%2C%20'naeringskode1.kode'%2C%20'naeringskode1.beskrivelse'%2C%20'naeringskode2.kode'%2C%20'naeringskode2.beskrivelse'%2C'naeringskode3.kode'%2C%20'naeringskode3.beskrivelse'%2C%20'postadresse.poststed'%2C%20'postadresse.postnummer'%2C%20'postadresse.kommune'%2C%20'postadresse.kommunenummer'%2C%20'postadresse.land'%2C%20'forretningsadresse.landkode'%2C'forretningsadresse.poststed'%2C%20'forretningsadresse.postnummer'%2C%20'forretningsadresse.kommune'%2C%20'forretningsadresse.kommunenummer'%2C%20'forretningsadresse.land'%2C%20'forretningsadresse.landkode'%2C%20'institusjonellSektorkode.kode'%2C'institusjonellSektorkode.beskrivelse'%2C%20'maalform'%5D%0A%20%20%20%20return%20(categorical_kolonner%2C)%0A%0A%0A%40app.cell%0Adef%20_(categorical_kolonner%2C%20df%2C%20mapping_kolonnenavn)%3A%0A%20%20%20%20%23%20endre%20til%20categorical%20og%20fjern%20punktum%0A%20%20%20%20df_forbedret%20%3D%20df.with_columns(pl.col(categorical_kolonner)%0A%20%20%20%20%20%20%20%20.cast(pl.Categorical)).rename(mapping_kolonnenavn)%0A%20%20%20%20return%20(df_forbedret%2C)%0A%0A%0A%40app.cell%0Adef%20_(df_forbedret)%3A%0A%20%20%20%20df_forbedret.estimated_size(unit%3D'gb')%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_categorical)%3A%0A%20%20%20%20df_categorical.describe()%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_forbedret)%3A%0A%20%20%20%20df_forbedret.write_parquet('er_forbedret.parquet')%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20df_fra_forbedret%20%3D%20pl.read_parquet('er_forbedret.parquet')%0A%20%20%20%20return%20(df_fra_forbedret%2C)%0A%0A%0A%40app.cell%0Adef%20_(df_fra_forbedret)%3A%0A%20%20%20%20df_fra_forbedret.estimated_size(unit%3D'gb')%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%20Species%20Distribution%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_categorical)%3A%0A%20%20%20%20%23%20Vis%20fordeling%20av%20organisasjonsformer%0A%20%20%20%20organisasjonsform_chart%20%3D%20mo.ui.altair_chart(%0A%20%20%20%20%20%20%20%20alt.Chart(df_categorical)%0A%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20.encode(x%3Dalt.X(%22organisasjonsform_kode%3AN%22%2C%20title%3D%22Organisasjonsform%20(kode)%22%2C%20sort%3D%22-y%22)%2C%20y%3D%22count()%3AQ%22)%0A%20%20%20%20%20%20%20%20.properties(title%3D%22Fordeling%20av%20organisasjonsformer%22)%2C%0A%20%20%20%20%20%20%20%20chart_selection%3DNone%2C%0A%20%20%20%20)%0A%0A%20%20%20%20organisasjonsform_chart%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%20Bill%20Dimensions%20Analysis%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df)%3A%0A%20%20%20%20%23%20Scatter%20plot%20of%20bill%20dimensions%0A%20%20%20%20scatter%20%3D%20mo.ui.altair_chart(%0A%20%20%20%20%20%20%20%20alt.Chart(df)%0A%20%20%20%20%20%20%20%20.mark_point()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%22bill_length_mm%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%22bill_depth_mm%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22species%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22species%22%2C%20%22bill_length_mm%22%2C%20%22bill_depth_mm%22%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(title%3D%22Bill%20Length%20vs%20Depth%20by%20Species%22)%2C%0A%20%20%20%20%20%20%20%20chart_selection%3DNone%2C%0A%20%20%20%20)%0A%0A%20%20%20%20scatter%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A