lesing-og-skriving-av-parquet-filer

import%20marimo%0A%0A__generated_with%20%3D%20%220.14.17%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20import%20pyarrow.parquet%20as%20pq%0A%20%20%20%20return%20mo%2C%20pd%2C%20pl%2C%20pq%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%20Feils%C3%B8king%20av%20parquet-fil%0A%0A%20%20%20%20Status%3A%20Har%20en%20marimo-basert%20demo%20som%20leser%20enheter_alle.parquet%20ved%20hjelp%20av%20pl.read_parquet()%2C%20og%20det%20fungerer%20fint%20n%C3%A5r%20jeg%20kj%C3%B8rer%20en%20tradisjonell%20python%2C%20dvs%20marimo%20server%20lokalt%20p%C3%A5%20min%20maskin.%0A%0A%20%20%20%20Fors%C3%B8ker%20det%20samme%20med%20python%20i%20nettleseren%20(pyodide)%2C%20og%20da%20feiler%20det.%20Det%20er%20en%20kjent%20begrensning%20i%20polars%2C%20tydeligvis.%0A%0A%20%20%20%20Fant%20en%20workaround%20ved%20bruk%20av%20pyarrow.parquet%2C%20som%20forutsetter%20at%20man%20f%C3%B8rst%20bruker%20requests%20til%20%C3%A5%20hente%20fila%20og%20skrive%20den%20til%20et%20lokalt%20filobjekt.%20Men%20da%20f%C3%A5r%20jeg%20feilmelding%20om%20at%20det%20kanskje%20ikke%20er%20en%20ekte%20parquet-fil%20(pyarrow)%2C%20eller%20at%20det%20ikke%20er%20en%20gz-fil%20(pandas)%2C%20eller%20%22no%20magic%20byte%22%20(duckdb)%0A%0A%20%20%20%20Planen%20n%C3%A5%20er%20f%C3%B8rst%20%C3%A5%20pr%C3%B8ve%20%C3%A5%20lese%20fila%20som%20en%20lokal%20fil%20fra%20filsystemet%2C%20med%20de%20tre%20overnneevnte%20verkt%C3%B8yene.%20Deretter%20fors%C3%B8ke%20%C3%A5%20lese%20den%20fra%20Github.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%20Resultater%0A%0A%20%20%20%20%23%23%23%20Lokal%20fil%20-%20%2Fpublic%2Fenheter_alle.parquet%0A%0A%20%20%20%20-%20REFERANSE%3A%20Polars%20direkte%3A%20Fungerer.%20Bevarer%20kategorier%0A%20%20%20%20%20%20%20%20-%20St%C3%B8rrelse%3A%20250%20mb%0A%20%20%20%20%20%20%20%20-%20Tidsbruk%20500%20ms%0A%20%20%20%20-%20Polars%20via%20Pyarrow%3A%20Fungerer.%20Bevarer%20kategorier%0A%20%20%20%20%20%20%20%20-%20St%C3%B8rrelse%3A%20172%20mb%20(overraskende%20at%20den%20er%20mindre%20en%20polars%20direkte)%0A%20%20%20%20%20%20%20%20-%20Tidsbruk%3A%20900%20ms%0A%20%20%20%20-%20Pandas%3A%20Fungerer%2C%20forutsatt%20pyarrow%20som%20dtype_backend.%20Ser%20ut%20til%20%C3%A5%20bevare%20kategorier%20(som%20%22dict%22)%0A%20%20%20%20%20%20%20%20-%20St%C3%B8rrelse%20p%C3%A5%20df%20er%20ca%20390%20MB%0A%20%20%20%20%20%20%20%20-%20tidsbruk%3A%20730%20ms%0A%20%20%20%20-%20duckdb.%20Bevarer%20*ikke*%20kategorier.%20Resultatet%20er%20en%20polars%20df%0A%20%20%20%20%20%20%20%20-%20St%C3%B8rrelse%3A%20213%20mb%0A%20%20%20%20%20%20%20%20-%20Tidsbruk%3A%20%203%2C2%20sekunder%20(skyldes%20muligens%20at%20det%20var%20f%C3%B8rste%20duckdb-kommando)%0A%0A%20%20%20%20%23%23%23%20http%3A%20fra%20github%20pages%0A%0A%20%20%20%20Fungerte%20tilsvarende%20de%20over%2C%20med%20unntak%20av%20polars%20via%20pyarrow%3B%20der%20fungerte%20det%20ikke%20%C3%A5%20lese%20direkte%20fra%20http%2C%20s%C3%A5%20isteden%20m%C3%A5tte%20jeg%20bruke%20requests%20for%20%C3%A5%20laste%20ned%20og%20skrive%20en%20lokal%20fil%2C%20og%20deretter%20lese%20den.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%20Lokal%20fil%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%20REFERANSE%3A%20Polars%20direkte%20(metoden%20som%20ikke%20fungerer%20p%C3%A5%20pyodide)%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pl)%3A%0A%20%20%20%20df_polars_direkte%20%3D%20pl.read_parquet('notebooks%2Fpublic%2Fenheter_alle.parquet')%0A%20%20%20%20return%20(df_polars_direkte%2C)%0A%0A%0A%40app.cell%0Adef%20_(df_polars_direkte)%3A%0A%20%20%20%20df_polars_direkte.estimated_size(unit%3D%22mb%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%20Polars%20via%20pyarrow.parquet%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pl%2C%20pq)%3A%0A%20%20%20%20df_polars%20%3D%20pl.from_arrow(pq.read_table('notebooks%2Fpublic%2Fenheter_alle.parquet'))%0A%20%20%20%20return%20(df_polars%2C)%0A%0A%0A%40app.cell%0Adef%20_(df_polars)%3A%0A%20%20%20%20df_polars.estimated_size(unit%3D'mb')%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%20Pandas%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pd)%3A%0A%20%20%20%20df_pandas%20%3D%20pd.read_parquet('notebooks%2Fpublic%2Fenheter_alle.parquet'%2C%20dtype_backend%3D'pyarrow')%0A%20%20%20%20return%20(df_pandas%2C)%0A%0A%0A%40app.cell%0Adef%20_(df_pandas)%3A%0A%20%20%20%20df_pandas.info(memory_usage%3D%22mb%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%20duckdb%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20df_duckdb%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20select%20*%20from%20read_parquet('notebooks%2Fpublic%2Fenheter_alle.parquet')%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%20(df_duckdb%2C)%0A%0A%0A%40app.cell%0Adef%20_(df_duckdb)%3A%0A%20%20%20%20df_duckdb.estimated_size(unit%3D%22mb%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(df_duckdb)%3A%0A%20%20%20%20type(df_duckdb)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%20Fil%20via%20http%20(GH%20pages)%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%20Polars%20direkte%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pl)%3A%0A%20%20%20%20df_polars_direkte_http%20%3D%20pl.read_parquet('http%3A%2F%2Fsskagemo.github.io%2Fmy-marimos%2Fnotebooks%2Fpublic%2Fenheter_alle.parquet')%0A%20%20%20%20return%20(df_polars_direkte_http%2C)%0A%0A%0A%40app.cell%0Adef%20_(df_polars_direkte_http)%3A%0A%20%20%20%20df_polars_direkte_http.estimated_size(unit%3D'mb')%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%20Polars%20via%20pyarrow%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20requests%0A%20%20%20%20return%20(requests%2C)%0A%0A%0A%40app.cell%0Adef%20_(df_polars_http%2C%20file%2C%20os%2C%20pl%2C%20pq%2C%20requests)%3A%0A%20%20%20%20if%20%22http%22%20in%20str(file)%5B%3A4%5D%3A%0A%20%20%20%20%20%20%20%20%23%20filnavnet%20starter%20med%20http%2C%20m.a.o.%20kj%C3%B8rer%20demoen%20i%20nettelseren%2C%0A%20%20%20%20%20%20%20%20%23%20og%20vi%20m%C3%A5%20laste%20ned%20filen%20vha%20requests%20f%C3%B8r%20den%20kan%20leses%0A%0A%20%20%20%20%20%20%20%20%23%20men%20f%C3%B8rst%20m%C3%A5%20vi%20anvende%20pyodide-prosjektets%20%22lapping%22%20av%20requeests%0A%20%20%20%20%20%20%20%20import%20pyodide_http%0A%20%20%20%20%20%20%20%20pyodide_http.patch_all()%0A%0A%20%20%20%20%20%20%20%20r%20%3D%20requests.get(str(file)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20allow_redirects%3DTrue)%0A%20%20%20%20%20%20%20%20r.raise_for_status()%0A%20%20%20%20%20%20%20%20with%20open('data.parquet'%2C%20'wb')%20as%20f%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20f.write(r.content)%20%20%23%20lagrer%20fila%20i%20nettleserens%20virtuelle%20filsystem%0A%0A%20%20%20%20%20%20%20%20df%20%3D%20pl.from_arrow(pq.read_table('data.parquet'))%0A%0A%20%20%20%20%20%20%20%20%23%20for%20%C3%A5%20redusere%20minnebruken%2C%20fjerner%20vi%20den%20lokale%20filen%20n%C3%A5r%20vi%20har%20lest%20inn%20dataene%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20os.remove('data.parquet')%0A%20%20%20%20%20%20%20%20%20%20%20%20print(%22Filen%20ble%20slettet.%22)%0A%20%20%20%20%20%20%20%20except%20FileNotFoundError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(%22Filen%20finnes%20ikke.%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%23%20dette%20er%20den%20normale%20m%C3%A5ten%20%C3%A5%20gj%C3%B8re%20det%20p%C3%A5%20med%20polars%2C%20og%20%0A%20%20%20%20%20%20%20%20%23%20vil%20antagelig%20ogs%C3%A5%20fungere%20i%20fremtiden%20n%C3%A5r%20python%20i%20nettleseren%0A%20%20%20%20%20%20%20%20%23%20blir%20like%20normalt%20som%20%C3%A5%20ha%20python%20installert%20p%C3%A5%20egen%20maskin%0A%20%20%20%20%20%20%20%20df%20%3D%20pl.read_parquet(str(file))%0A%0A%20%20%20%20df_polars_http.head()%20%23%20Viser%20de%20f%C3%B8rste%20fem%20postene%20i%20datasettet%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pl%2C%20pq%2C%20requests)%3A%0A%20%20%20%20r%20%3D%20requests.get('http%3A%2F%2Fsskagemo.github.io%2Fmy-marimos%2Fnotebooks%2Fpublic%2Fenheter_alle.parquet'%2C%20allow_redirects%3DTrue)%0A%20%20%20%20r.raise_for_status()%0A%20%20%20%20with%20open('data.parquet'%2C%20'wb')%20as%20f%3A%0A%20%20%20%20%20%20%20%20f.write(r.content)%0A%0A%20%20%20%20%23%20table%20%3D%20pq.read_table('data.parquet')%0A%20%20%20%20%23%20df%20%3D%20pl.from_arrow(table)%0A%0A%20%20%20%20df_polars_http%20%3D%20pl.from_arrow(pq.read_table('data.parquet'))%0A%20%20%20%20return%20(df_polars_http%2C)%0A%0A%0A%40app.cell%0Adef%20_(df_polars_http)%3A%0A%20%20%20%20df_polars_http.estimated_size(unit%3D'mb')%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%20Pandas%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pd)%3A%0A%20%20%20%20df_pandas_http%20%3D%20pd.read_parquet('http%3A%2F%2Fsskagemo.github.io%2Fmy-marimos%2Fnotebooks%2Fpublic%2Fenheter_alle.parquet'%2C%20dtype_backend%3D'pyarrow')%0A%20%20%20%20return%20(df_pandas_http%2C)%0A%0A%0A%40app.cell%0Adef%20_(df_pandas_http)%3A%0A%20%20%20%20df_pandas_http.info(memory_usage%3D%22mb%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%23%23%23%20duckdb%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20df_duckdb_http%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20select%20*%20from%20read_parquet('http%3A%2F%2Fsskagemo.github.io%2Fmy-marimos%2Fnotebooks%2Fpublic%2Fenheter_alle.parquet')%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A