LtGlahn/hjorteviltregister.py

## hjorteviltregister.py
import requests
from datetime import datetime
from time import sleep
import pandas as pd
import geopandas as gpd

data = []
# url = 'https://hjortevilt2-utv.miljodirektoratet.no/api/v0/fallvilt'
url = 'https://www.hjorteviltregisteret.no/api/v0/fallvilt'

page = 0
pagefeil = None
pageSize = 1000
tempdata = []
data = []
if __name__ == '__main__':

    t0 = datetime.now()

    while len( tempdata ) > 0 or page <= 1:

        page += 1
        if page == 1 or page == 10 or page % 100 == 0:
            print( f"Henter side {page} fra hjorteviltregister-paginering" )

        r = requests.get( url, params={ 'pageSize' : pageSize, 'page' : page  })
        if r.ok:
            if pagefeil:
                print( f"SUKSESS med nytt forsøk på å hente {r.url} ")
            pagefeil = None
            tempdata = r.json()
            if isinstance( tempdata, list):
                if len( tempdata ) > 0:
                    data.extend( tempdata )
            else:
                print( f"Fikk annet resultat enn liste: {type( tempdata )}, avbryter ")
                break

        elif not pagefeil:
            print( f"Feilrespons {r.status_code} fra hjortevilt-API {r.url}, prøver på ny om litt")
            pagefeil = page
            page = page -1
            sleep( 15 )

        else:
            print( f"Feilrespons {r.status_code} fra hjortevilt-API {r.url}, gir opp")
            break


    tidsbruk = datetime.now() - t0
    print( f"Hentet {len(data)} objekter fra hjorteviltregister, fordelt på {page-1} pagineringssider, tidsbruk: {tidsbruk}"  )

    myDf = pd.DataFrame( data )

    # Siler vekk dem uten geometri
    utengeom = myDf[ ( myDf['Latitude'].isnull()) | ( myDf['Longitude'].isnull())]
    medGeom =  myDf[ (~myDf['Latitude'].isnull()) & (~myDf['Longitude'].isnull())]

    print( "Lagrer til fil")
    myGdf = gpd.GeoDataFrame( medGeom,
            geometry=gpd.points_from_xy( medGeom.Longitude, medGeom.Latitude), crs=4326 )
    myGdf.to_file( 'hjorteviltdatadump.gpkg', driver='GPKG' )
    print( f"Ferdig med all datanedlasting, tidsbruk inklusive lagring: {datetime.now()-t0} ")
	import requests
	from datetime import datetime
	from time import sleep
	import pandas as pd
	import geopandas as gpd

	data = []
	# url = 'https://hjortevilt2-utv.miljodirektoratet.no/api/v0/fallvilt'
	url = 'https://www.hjorteviltregisteret.no/api/v0/fallvilt'

	page = 0
	pagefeil = None
	pageSize = 1000
	tempdata = []
	data = []
	if __name__ == '__main__':

	t0 = datetime.now()

	while len( tempdata ) > 0 or page <= 1:

	page += 1
	if page == 1 or page == 10 or page % 100 == 0:
	print( f"Henter side {page} fra hjorteviltregister-paginering" )

	r = requests.get( url, params={ 'pageSize' : pageSize, 'page' : page })
	if r.ok:
	if pagefeil:
	print( f"SUKSESS med nytt forsøk på å hente {r.url} ")
	pagefeil = None
	tempdata = r.json()
	if isinstance( tempdata, list):
	if len( tempdata ) > 0:
	data.extend( tempdata )
	else:
	print( f"Fikk annet resultat enn liste: {type( tempdata )}, avbryter ")
	break

	elif not pagefeil:
	print( f"Feilrespons {r.status_code} fra hjortevilt-API {r.url}, prøver på ny om litt")
	pagefeil = page
	page = page -1
	sleep( 15 )

	else:
	print( f"Feilrespons {r.status_code} fra hjortevilt-API {r.url}, gir opp")
	break


	tidsbruk = datetime.now() - t0
	print( f"Hentet {len(data)} objekter fra hjorteviltregister, fordelt på {page-1} pagineringssider, tidsbruk: {tidsbruk}" )

	myDf = pd.DataFrame( data )

	# Siler vekk dem uten geometri
	utengeom = myDf[ ( myDf['Latitude'].isnull()) \| ( myDf['Longitude'].isnull())]
	medGeom = myDf[ (~myDf['Latitude'].isnull()) & (~myDf['Longitude'].isnull())]

	print( "Lagrer til fil")
	myGdf = gpd.GeoDataFrame( medGeom,
	geometry=gpd.points_from_xy( medGeom.Longitude, medGeom.Latitude), crs=4326 )
	myGdf.to_file( 'hjorteviltdatadump.gpkg', driver='GPKG' )
	print( f"Ferdig med all datanedlasting, tidsbruk inklusive lagring: {datetime.now()-t0} ")