De Friese Woudloper - blog van Willy Tadema

Lokale kopie van WMTS tiles

2020-04-06T00:00:00+00:00

Als je gegevens op een kaart in een web applicatie toont, is het ter referentie vaak handig om een topografische ondergrond toe te voegen. Hiervoor kun je bijvoorbeeld de BRT Achtergrondkaart van PDOK gebruiken. De BRT Achtergrond kaart is online te op te vragen via een Web Map Tile Service (WMTS).

Maar wat moet je doen als de web applicatie - bijvoorbeeld om security redenen - geen toegang tot het internet heeft? Daar liep ik tegenaan bij het maken van een Shiny app.

Dan maak je een lokale kopie. Daarvoor kun je Mobile Atlas Creator (MOBAC) gebruiken.

Het is eenvoudig om MOBAC te installeren en te gebruiken. In het README bestand van de applicatie is duidelijk beschreven hoe dat moet.

Belangrijk is om Osmdroid ZIP als formaat te kiezen. Voor het downloaden van BRT Achtergrondkaart moet je bovendien een custom map source definiëren. Dat is niet moeilijk. Maak een XML bestand met de volgende inhoud aan en plaats het in de map mapsources.

<?xml version="1.0" encoding="UTF-8"?>
<customMapSource>
	<name>BRT standaard</name>
	<minZoom>5</minZoom>
	<maxZoom>18</maxZoom>
	<tileType>png</tileType>
	<tileUpdate>None</tileUpdate>
	<url>http://geodata.nationaalgeoregister.nl/tiles/service/wmts/brtachtergrondkaart/EPSG:3857/{$z}/{$x}/{$y}.png</url>
	<backgroundColor>#000000</backgroundColor>
</customMapSource>

Na een herstart van MOBAC is BRT standaard toegevoegd als bron. Fluitje van een cent!

Waar je wel op moet letten, is de fair use policy van PDOK. Het is niet netjes om tienduizenden requests af te vuren op de server. Beperk daarom het geselecteerde gebied en/of de zoomniveaus.

Om de BRT Achtergrondkaart te gebruiken in een Shiny app, moet je het ZIP bestand uitpakken en de inhoud naar de map www/map/tiles in de root van het Shiny project verplaatsen. In deze Github repository vind je de code van mijn demo-app.

Kaart in Power BI met R en Leaflet

2019-12-29T00:00:00+00:00

In vorige blog posts heb ik laten zien hoe je met de Shape-kaart en Mapbox visuals een kaart kunt maken in Power BI. De functionaliteit van zo’n kaart is beperkt. Het is bijvoorbeeld niet mogelijk om meerdere thematische lagen toe te voegen die je onafhankelijk van elkaar kunt aan- of uitzetten. Het is ook niet mogelijk om de BRT Achtergrondkaart als topografische ondergrond te gebruiken. De BRT Achtergrondkaart is de officiële topografische kaart van de overheid. Meer weten over de BRT Achtergrondkaart? Lees dan deze post.

Er zijn open source projecten die deze functionaliteit wél bieden, bijvoorbeeld Leaflet. Leaflet is een JavaScript library. Met deze library kunnen ontwikkelaars een kaart-viewer toevoegen aan een website of app. Maar daarvoor moet je wel kunnen programmeren in JavaScript.

R maakt het voor data-analisten een stuk makkelijker. Met het leaflet package kun je vanuit R namelijk automatisch de benodigde JavaScript code automatisch genereren. Hoe dat moet, vertel ik je in deze blog post. Zet je schrap, want het is niet eenvoudig.

Installeer R

Zorg er voor dat je R en eventueel ook RStudio geïnstalleerd hebt. RStudio is een IDE of ontwikkelomgeving voor R. Open de R console of RStudio. Installeer leaflet en de andere R packages die nodig zijn met het volgende commando:

install.packages(c("leaflet", "jsonlite", "XML", "htmlwidgets"))

Ga in Power BI naar Bestand → Opties en instellingen → Opties → GLOBAAL → R-script. Zorg er voor dat de verwijzing naar de installatielocatie van R klopt. Doe dit eventueel ook voor RStudio.

Installeer Node.js

Installeer vervolgens Node.js. Op de Node.js command prompt en installeer de benodigde packages via het commando:

npm install -g powerbi-visuals-tools

Check of de installatie goed is verlopen door het volgende commando uit te voeren:

pbiviz

Als alles goed is, ziet de uitvoer er als volgt uit:

Maak een custom visual aan

Maak nu vanaf de Node.js commando prompt een nieuwe custom visual voor Power BI aan met behulp van het rhtml template.

pbiviz new demo -t rhtml

Node.js heeft op basis van het template een nieuwe directory aangemaakt. De directory bevat bestanden en sub directories.

Open het bestand .\src\visual.ts in een teksteditor. Vervang alle voorkomens van NodeListOf door HTMLCollectionOf en sla het bestand op.

Open daarna het bestand pbiviz.json. Vul een waarde in voor description, supportUrl, name en email. Sla het bestand op.

In de documentatie heb ik het nergens gelezen, maar ik ga er vanuit dat het bestand dependencies.json ook gewijzigd moet worden. Hierin staan volgens mij de R packages die nodig zijn. In het voorbeeld maken we geen gebruik van ggplot2 en plotly, maar wel van leaflet en jsonlite. Pas het bestand hierop aan.

Je vraagt je ondertussen misschien af waarom ik mijn eigen custom visual bouw en geen gebruik maak van de R-visual in het venster Visualisatie (zie onderstaande schermafdruk). De reden is dat de laatste alleen overweg kan met statische afbeeldingen als output, en niet met HTML en JavaScript.

Pas het R-script aan

Pas de code in het bestand .\script.r aan. Dit kun je doen in RStudio, maar het kan ook gewoon in een teksteditor.

source('./r_files/flatten_HTML.r')

############### Library Declarations ###############
libraryRequireInstall("leaflet");
libraryRequireInstall("jsonlite");
####################################################

################### Actual code ####################
brtAchtergrondkaart <- paste0("http://geodata.nationaalgeoregister.nl/",
                              "tiles/service/wmts/brtachtergrondkaart/",
                              "EPSG:3857/{z}/{x}/{y}.png");
veld <- paste0("https://gist.githubusercontent.com/FrieseWoudloper/",
               "fcf4546a064ac7c12198119086601eca/raw/",
               "37c4511d6a48cc1acee54818322278a55e26052b/",
               "groningen-veld.json");
map <- leaflet(data = Values);
map <- addTiles(map, 
                urlTemplate = brtAchtergrondkaart, 
                attribution = "Kaartgegevens &copy; Kadaster", 
                options = tileOptions(minZoom = 6, maxZoom = 18));		
map <- addTopoJSON(map, 
                   topojson = read_json(veld), 
                   weight = 1, color = "grey", 
                   fillOpacity = 0.3, 
                   group = 'Groningen veld');
map <- addCircles(map, 
                  lng = ~ longitude, 
                  lat = ~ latitude, 
                  popup = ~ paste("Locatie:", 
                  locatie, "<br>", "Magnitude:", 
                  magnitude));	
map <- addLayersControl(map, 
                        overlayGroups = c("Groningen veld"),
                        options = layersControlOptions(collapsed = FALSE));
map <- hideGroup(map, "Groningen veld");
map <- fitBounds(map, 
                 lng1 = max(Values$longitude), lat1 = max(Values$latitude),
                 lng2 = min(Values$longitude), lat2 = min(Values$latitude));
####################################################

############# Create and save widget ###############
internalSaveWidget(map, 'out.html');
####################################################

De R code genereert een Leaflet kaart met bevingen met als topografische ondergrond de BRT Achtergrondkaart. De kaart bevat ook een laag met het Groninger veld. Deze laag staat standaard uit, maar kan door de gebruiker aangezet worden. De geometrie van het Groninger veld wordt geïmporteerd vanuit een TopoJSON bestand.

Maak een package voor de custom visual

Ga terug naar de Node.js commando prompt en verander met het cd commando de werkdirectory naar de map met de custom visual.

cd demo

Compileer het package.

pbiviz package

Als het compileren succesvol is verlopen, staat het package nu klaar in de subdirectory .\dist.

Laad de custom visual in Power BI

Start Power BI Desktop. Check de landinstellingen voor importeren via Bestand → Options and settings → Options → CURRENT FILE → Regional Settings. De juiste instelling is English (United States) anders staat het decimaal scheidingsteken voor de coördinaten straks op de verkeerde plek.

Importeer het CSV-bestand met bevingen.¹ Voeg een tabel toe aan het rapport met het veld locatie.

Ga naar het deelvenster Visualisaties. Klik op de optie Een aangepast visueel element importeren. Dat is het pictogram met de drie puntjes. Selecteer Importeren vanuit bestand.

Importeer het package met de custom visual. Dat is het bestand met de extensie pbiviz in de subdirectory .\dist.

De custom visual is nu toegevoegd aan het deelvenster Visualisaties.

Voeg de custom visual toe aan het rapport. Klik op Inschakelen wanneer je melding krijgt over inschakelen van visuele scriptelementen.

Voeg de waarden latitude, locatie, longitude en magnitude toe aan de custom visual. Het duurt even, maar dan krijg je een bevingenkaart te zien.

Via de toggle knop rechtsboven kun je de laag met het Groningen veld aanzetten.

Wanneer je op een plaatsnaam klikt in de tabel, zoomt de kaart in op de betreffende locatie. Voor meer interactiviteit kun je bijvoorbeeld een staafdiagram met de frequentie per magnitude toevoegen. Als je dan op een staaf klikt, wordt de kaart automatisch aangepast zodat die alleen bevingen toont van de bijbehorende magnitude.

De code van de demo kun je hier downloaden.

Bevindingen

Het werkt, maar het is niet bepaald lean-and-mean. R wordt in dit geval alleen gebruikt voor het genereren van de JavaScript code. R voegt verder niets toe, alleen complexiteit.

Een ander probleem is dat iedere keer wanneer de gebruiker een andere dataselectie maakt, de kaart helemaal opnieuw gerenderd wordt. Het duurt dan even voordat de kaart is aangepast. Dat is irritant.

De interactiviteit werkt ook maar één kant op. Het is niet mogelijk om een dataselectie te maken in de kaart die doorwerkt in het hele rapport. Wanneer je op een beving in de kaart klikt, verschijnt er een tooltip, maar de andere visuele elementen in het rapport reageren er niet op.

Het is ook niet gelukt om het rapport met de Leaflet kaart te delen via de Power BI-service. Ik krijg een runtimefout. Het lijkt er op dat de Power BI-service niet kan verbinden met PDOK en/of GitHub voor het ophalen van respectievelijk de BRT Achtergrondkaart en het TopoJSON bestand met het Groningen veld.

Kortom:
Met Leaflet kun je een rijke, interactieve kaart maken in Power BI. Het lijkt echter een beter idee om een custom visual te ontwikkelen die rechtstreeks gebruikt maakt van de Leaflet JavaScript library, zonder tussenkomst van R. Daar zijn op GitHub en in de Marketplace ook wel voorbeelden van, bijvoorbeeld Icon Map, alleen bieden die niet dezelfde functionaliteit als die ik in deze post heb gedemonstreerd.

Bronnen

De gegevens over de bevingen zijn afkomstig van het KNMI, die over het Groningen veld van de NAM. Voor bevingen en gaswinning is de distributie gebruikt van Bevinggevoeld.nl. ↩

Power BI en LocatieServer

2019-12-27T00:00:00+00:00

In deze blog post laat ik zien hoe je adressen in Power BI kunt standaardiseren en verrijken met behulp van LocatieServer van Publieke Dienstverlening Op de Kaart (PDOK). PDOK is een centrale voorziening voor het ontsluiten van geografische gegevens van de overheid. LocatieServer is een API op een deel van deze gegevens. Met LocatieServer kun je bijvoorbeeld gegevens opvragen van adressen, kadastrale percelen, wegen, buurten, wijken en hectometerpaaltjes.

De adressen van LocatieServer komen uit de Basisregistratie Adressen en Gebouwen (BAG). De BAG bevat de officiële schrijfwijze van adressen. Ieder adres heeft een uniek identificatienummer en coördinaten. Handig voor verdere verwerking!

Met LocatieServer kun je zoeken op adressen, ook als er geen exacte match is. Hartstikke slim! LocatieServer geeft je de mogelijkheid om adressen te standaardiseren op de BAG en te verrijken met andere gegevens. In deze tutorial staat beschreven hoe LocatieServer precies werkt.

In het voorbeeld maak ik in de eerste stap een kleine dataset aan met twaalf adressen van provinciehuizen. De adressen zijn onvolledig of niet helemaal juist. Ik laat vervolgens zien hoe je met LocatieServer het volledige, officiële adres op kunt halen, en het adres ook nog eens kunt verrijken met buurt, wijk en coördinaten.

Check eerst de landinstellingen voor importeren via Bestand → Options and settings → Options → CURRENT FILE → Regional Settings. De juiste instelling is English (United States) anders staat het decimaal scheidingsteken voor de coördinaten straks op de verkeerde plek.

Voer de adressen in.

Selecteer de tabel. Kies voor Edit query en daarna voor Advanced Editor. Voeg extra stappen toe voor het versturen van een API request naar LocatieServer en het verwerken van de response. Gebruik deze link om de code te kopiëren.

Klik op Done en sluit de Advanced Editor.

Sluit het Query Editor Window en voer de wijzigingen door (Close & Apply).

Het resultaat is een tabel met voor ieder provinciehuis het officiële, volledige adres, inclusief buurt- en wijknummer, en coördinaten in lengte- en breedtegraden. De code kan eenvoudig uitgebreid worden, zodat je voor ieder adres ook de gemeente, het waterschap en het kadastraal perceel krijgt.

Met behulp van de coördinaten kun je bijvoorbeeld een kaartje maken.

Kortom: Je kunt LocatieServer gebruiken om de datakwaliteit van adressen in Power BI te verbeteren. Bedenk wel dat LocatieServer alleen werkt voor adressen in Nederland en dat je het aantal requests wel ietwat beperkt moet houden, anders loop je het risico dat je IP adres geblokkeerd wordt.

CBS buurten visualiseren met Mapbox en Power BI

2019-12-07T00:00:00+00:00

In deze post laat ik zien hoe je CBS buurtgegevens met de Mapbox Visual kunt tonen op een kaart in Power BI.

Ga in de browser naar het Nationaal Georegister. Zoek op CBS gebiedsindelingen. Open het tabblad Downloads, views en links. Noteer de URL van de WFS service en de naam van de kaartlaag (het feature type) met de actuele buurtindeling.

Voor het downloaden en converteren van de buurten gebruiken we cURL. Check eerst of deze command line utility al beschikbaar is op jouw systeem. Installeer cURL als dit niet het geval is.

Open een opdrachtprompt en voer het volgende commando uit:

curl "https://geodata.nationaalgeoregister.nl/cbsgebiedsindelingen/wfs?request=GetFeature&service=WFS&version=1.1.0&typeName=cbsgebiedsindelingen:cbs_buurt_2019_gegeneraliseerd&outputFormat=application/json&srsName=EPSG:4326&propertyName=geom,statcode" -o E:\\Temp\\buurten.geojson

Je kunt het resultaat ook via deze link downloaden.

Merk op dat de base URL van het service request is overgenomen uit het Nationaal Georegister. Hetzelfde geldt voor de waarde van de query parameter typeName. Het outputbestand is in het GeoJSON formaat. Pas indien nodig het pad van de output directory aan. De geometrie is geconverteerd naar het World Geodetic System 84 (EPSG:4326). Mapbox kan namelijk niet overweg met het het standaard coördinatenstelsel van de service. Dat is het Rijksdriehoekstelsel, ofwel EPSG:28992.

Maak een gratis account Mapbox account aan. Ga naar de Account pagina en kopieer je Mapbox access token naar het klembord.

Ga naar de Tilesets pagina. Klik op New tileset en upload het buurten.geojson bestand.

Er wordt nu een nieuwe tileset toegevoegd met de buurten. Dit kan wel een aantal minuten duren.

Let op: Mapbox genereert de naam van de tileset automatisch, die van jou heeft een andere naam dan buurten-809yxk.

Vraag detailinformatie op door op de naam van de nieuwe tileset te klikken. In onderstaande schermafdruk zie je een preview van de tileset. Dat is niet altijd zo. Soms krijg je alleen maar een zwart vlak. Desondanks werkt de tileset wel in Power BI.

Noteer het Tileset ID, de Layer Name en de Property Name van het veld met de buurtcodes.

Merk op dat de tileset een zoom extent heeft: De data zijn níet zichtbaar onder zoom level 8 en boven 14.

Ga in de browser naar de pagina van het CBS over Kerncijfers wijken en buurten 2019. Download het XLS bestand. XLS is een verouderd formaat. Bij het laden van de gegevens in Power BI krijg ik een foutmelding.

Open het XLS bestand in Excel. Sla het op als XLSX bestand. Laad het XLSX bestand in Power BI. Selecteer alleen rijen met buurtgegevens. Dat zijn rijen waarvoor geldt: recs = buurt.

Het doel is om een choropleet te maken met de bevolkinsdichtheid per buurt. Daarvoor gebruiken we de waarde in de kolom bev_dich. Deze kolom bevat echter een tekst, geen numerieke waarde. Dit komt doordat in het CBS bestand missende waarden gerepresenteerd worden door een punt. Maak een nieuwe kolom bevolkingsdichtheid aan met een numerieke waarde. Zorg er voor dat velden met missende waarden leeg zijn.

Ga naar het Visualisaties panel. Klik op de optie Een aangepast visueel element importeren. Dat is het pictogram met de drie puntjes. Selecteer Importeren vanuit de marketplace.

Zoek op Mapbox. Klik op de knop Toevoegen van de Mapbox Visual.

De Mapbox Visual is toegevoegd aan het Visualisaties panel.

Als ik nu de Mapbox Visual toevoeg aan mijn rapport, krijg ik een foutmelding:

De workaround is om éérst een andere visual toe te voegen - bijvoorbeeld een tabel - en daarna pas de Mapbox Visual. Vervolgens kun je zonder problemen de eerste visual weer verwijderen. Raar maar waar.

Selecteer de Mapbox Visual in je rapport. Pas eventueel de grootte en positie aan.

Ga naar het tabblad Velden in het Visualisaties panel. Sleep de kolom gwb_code naar Location en bevolkingsdichtheid naar Color. De kolommen bevatten respectievelijk de buurtcode en het aantal huishoudens.

Ga naar het tabblad Velden. Vul onder het kopje Viz Settings je Mapbox acces token in.

Zet de Circle optie uit en de Choropleth optie aan.

Selecteer onder het kopje Choropleth voor Data Level 1 de waarde Custom Tileset. Vul voor Vector Tile Url Level 1, Source Layer Name Level 1 en Vector Property Level 1 respectievelijk de volgende waarden in: mapbox:// gevolgd door het Tileset ID, de Layer Name en Property Name die je hebt overgenomen van de website van Mapbox.

De Mapbox Visual toont nu een kaart van Nederland. Op de kaart staan nog geen buurten. Dit komt door het zoomniveau. Zoom verder in en de buurten verschijnen.

Pas de kleuren en de zoomlevels aan.

Verander eventueel de doorzichtheid (opacity) aan.

Pas de titel aan.

Ga naar het tabblad Velden en sleep de kolom bevolkingsdichtheid naar Tooltips.

Voilà!

Via deze link kun je het resultaat bekijken. Vergeet niet dat je eerst in moet zoomen, voordat je iets te zien krijgt.

CBS gebieden in Power BI

2019-12-01T00:00:00+00:00

In Power BI Desktop is het mogelijk om gebieden te tonen op een kaart. Hier kun je bijvoorbeeld de Shape-kaart visual voor gebruiken. Shape-kaart herkent provincienamen en koppelt deze automatisch aan de juiste geometrie. Helaas werkt het niet zo voor CBS gebiedsindelingen. Hoe kun je die in een Power BI dashboard tonen? In deze post laat ik dat zien met als voorbeeld arrondissementsgebieden.

Geef eerst via Bestand → Opties en instellingen → Opties → Preview-functies aan dat je de Shape-kaart visual wilt uitproberen.

Voer de gegevens in. Zorg er voor dat je een kolom toevoegt waarmee iedere rij straks gekoppeld kan worden aan een vlak. In het voorbeeld is dat de code van het arrondissement.

Ga vervolgens naar het Nationaal Georegister. Zoek op CBS gebiedsindelingen. Open het tabblad Downloads, views en links. Selecteer onder Web Feature Service (WFS) de dataset cbs_arrondissementsgebied_2019_gegeneraliseerd en het formaat application/json. Download de data.¹

Het downloadbestand bevat voor elk arrondissement de geometrie in het Rijksdriehoekstelsel aangevuld met vier properties.

Power BI kan echter alleen overweg met lengte- en breedtegraden en voor het maken van de kaart hebben we genoeg aan de property statcode. Voeg &srsName=EPSG:4326&propertyName=geom,statcode toe aan de URL en download de gegevens opnieuw. De geometrie is nu in het juiste coördinatenstelsel en het bestand is zo compact mogelijk.

Bewaar het bestand. Het formaat is GeoJSON. Jammer genoeg accepteert de Shape-kaart visual alleen TopoJSON. Verander de extensie van het bestand in .JSON en zet het daarna met Mapshaper.org om naar TopoJSON.

Voeg in Power BI de Shape-kaart visual toe aan het rapport. Sleep de kolom met de arrondissementscodes naar Locatie.

Standaard probeert Power BI de arrondissementscodes te koppelen aan staten in de VS. Dat gaat natuurlijk niet lukken. Ga naar het tabblad Indelingen → Shape → Toewijzing toevoegen en selecteer het TopoJSON bestand.

Dat ziet er al een stuk beter uit! Ga terug naar het tabblad Velden en sleep de kolom met fake data naar kleurverzadiging.

Pas de visual nog verder aan. Verander bijvoorbeeld de titel en kies een ander kleurverloop.

Een andere interessante optie is Automatisch inzoomen.

Klaar!

Het resultaat kun je vanuit Power BI bijvoorbeeld op Internet publiceren, zodat iedereen er bij kan.

Als je veel gebieden hebt, bijvoorbeeld bij buurten, dan is de performance van de Shape-kaart erg slecht. In een volgende post ga ik onderzoeken of in dat geval de Mapbox Visual uitkomst biedt.

Als je een andere dataset kies met veel objecten, kun je de gegevens beter niet in je browser, maar met QGIS downloaden. Anders loopt het downloaden vast. ↩

BRT als alternatief voor Google Maps

2019-11-09T00:00:00+00:00

Een mooie topografische kaart maakt je website of app helemaal af. Voor het toevoegen van een kaart maken webontwikkelaars vaak gebruik van Google Maps. Dat is jammer. Er kleven namelijk nadelen aan Google Maps en er zijn goede alternatieven beschikbaar.

Wat is het probleem met Google Maps?
Het staat buiten kijf dat een ontwikkelaar met de Google Maps API snel en eenvoudig een kaart kan toevoegen aan zijn project. Maar daar staat tegenover dat het gebruik van de API niet altijd gratis is. Iedere maand krijg je 200 dollar aan API calls cadeau, maar daarna worden kosten in rekening gebracht. Je bent verplicht om een creditcardnummer op te geven, ook al blijf je onder de limiet voor gratis gebruik.

Een ander nadeel is dat Google bepaalt hoe de kaart er uit ziet.^* Google kiest bijvoorbeeld welke bedrijven worden weggelaten, of juist extra worden benadrukt.

Voor overheidsorganisaties is er nóg een reden om geen Google Maps te gebruiken. Ze zijn namelijk wettelijk verplicht om bij de uitvoering van hun werkzaamheden de Basisregistratie Topografie (BRT) te gebruiken. Dit is vastgelegd in de Wet basisregistraties kadaster en topografie. De BRT is de officiële topografische kaart van de Nederlandse overheid.

Welke alternatieven zijn er voor de kaart van Google Maps?
De kaart van OpenStreetMap is een goede optie. Binnen de overheid is de BRT-Achtergrondkaart echter de beste keuze. De kaart is gebaseerd op gegevens uit de basisregistratie. Er zijn geen kosten voor het gebruik. De BRT-Achtergrondkaart wordt beschikbaar gesteld via een WMTS en TMS API. Je specificeert het coördinatenstelsel, zoomniveau, X- en Y-coördinaat in je request, en krijgt een afbeelding terug. De BRT-Achtergrondkaart is overigens open data en ook vrij beschikbaar voor (commerciële) toepassingen buiten de overheid.

Hoe voeg je kaartviewer-functionaliteit toe?
Google Maps biedt méér dan een plaatje. Het is ook een kaartviewer. Je kunt in- en uitzoomen, een legenda maken, markers aan de kaart toevoegen, enzovoort. Hoe doe je dat met de BRT-Achtergrondkaart? Daarvoor heb je een JavaScript library nodig, bijvoorbeeld OpenLayers of Leaflet.

Je kunt kiezen welke kaartopmaak je wilt: standaard, grijs, pastel of water. Daarnaast kun je ook een actuele luchtfoto als ondergrond toevoegen.

Naast de verschillende weergaven van de BRT-Achtergrondkaart is er ook nog de OpenTopo achtergrondkaart. OpenTopo is gebaseerd op meerdere gegevensbronnen van de overheid, waaronder de BRT, en maakt daarnaast gebruik van OpenStreetMap. De kaart is alleen beschikbaar in het Rijksdriehoekstelsel (EPSG:28992) en niet in de Web Mercator projectie (EPSG:3857). Hier moet je rekening mee houden in de code.

De code van de voorbeelden in deze post kun je downloaden via deze link.

Meer weten over Leaflet?
Volg de web map workshop for developers van Niene Boeijen. Vergeet ook vooral niet om op haar te stemmen voor de Geo Prestige Award 2019.

Niet zo handig met JavaScript?
NL Maps maakt het nóg makkelijker om een kaart toe te voegen aan je website. Je beantwoordt een aantal vragen, waarna NL Maps de JavaScript code automatisch voor je genereert. Kopiëren, en klaar!

^* Na publicatie van dit artikel werd ik er op geattendeerd dat het wel mogelijk is om een eigen kaartopmaak voor Google Maps te definiëren.

Installatie van GeoPandas

2019-06-26T00:00:00+00:00

Deze week was ik bij GoDataDriven in Amsterdam voor de cursus Data Science met Python. In de cursus was er veel aandacht voor Pandas. Met Pandas wordt het manipuleren en analyseren van gegevens in Python een stuk eenvoudiger!

Ik nam mij voor om informatievragen in de komende periode zo veel mogelijk te beantwoorden met behulp van Python. Dan beklijft de cursus beter. Omdat ik bij de provincie vooral werk met geografische gegevens, wil ik ook GeoPandas gaan gebruiken.

GeoPandas is an open source project to make working with geospatial data in python easier.
GeoPandas extends the datatypes used by pandas to allow spatial operations on geometric types.

Het installeren van GeoPandas op mijn Windows laptop bleek nog niet zo eenvoudig. GeoPandas is afhankelijk van een aantal andere packages waaronder GDAL, Fiona, pyproj, RTree en Shapely. Het installeren van deze dependencies was de moeilijkheid.

Voor het installeren van GeoPandas volgde ik de stappen in het artikel Using geopandas on Windows van Geoff Boeing. Ik gebruik de Anaconda Python distributie. Daarom probeerde ik eerst om GeoPandas te installeren met de conda package manager:

conda install -c conda-forge geopandas

Ik kreeg de volgende waarschuwing en besloot de installatie af te breken:
WARNING: The conda.compat module is deprecated and will be removed in a future release.

Daarna volgde ik de instructies onder Installing geopandas and its dependencies manually. Ik probeerde de installatie uit te voeren met behulp van de pip package manager en wheels. Wheel is een installatieformaat waarbij het niet meer nodig is om code lokaal te compileren. Dat is vooraf al gebeurd.

Helaas had dit ook niet het gewenste resultaat. Dit testte ik in Jupyter met de volgende code:

from osgeo import gdal, ogr, osr         
from fiona.ogrext import Iterator, ItemsIterator, KeysIterator         
from geopandas import GeoDataFrame         
gdal.VersionInfo()       

GDAL (versie 3.0.0) was goed geïnstalleerd, Fiona en GeoPandas niet. Het importeren van Fiona gaf namelijk een foutmelding: ImportError: DLL load failed: The specified module could not be found.
Fiona is afhankelijk van GDAL, en GeoPandas weer van Fiona. Als Fiona niet goed geïnstalleerd is, werkt GeoPandas ook niet.

Het is uiteindelijk toch gelukt om GeoPandas te installeren. Dit zijn de stappen die daarvoor nodig waren:

Deïnstalleren van Anaconda.
Installeren van de nieuwste versie van Anaconda.
Opstarten van Anaconda Powershell Prompt met beheerrechten (Run as Administrator).
Uitvoeren van conda update conda.
Uitvoeren van conda install -c conda-forge geopandas.

Als ik in Jupyter dezelfde code uitvoer als eerder, krijg ik geen foutmelding meer.

Het versienummer van GDAL is nu 2.0.3. Blijkbaar installeert conda een oudere versie van GDAL. Misschien was de hogere versie van GDAL in het wheel van Christoph Gohlke het probleem?

Hoe dan ook, ik kan aan de slag!

API requests afvangen met Postman

2019-06-14T00:00:00+00:00

Welke requests doet de ArcGIS Server Feature Service reader van FME Desktop ‘onder de motorkap’? Dat vroeg ik mij af naar aanleiding van deze reactie van Arno van Anrooij op mijn blog post over het Bodemloket.

Het is eenvoudig om de requests af te vangen met Postman. Deze post is eigenlijk een notitie voor mijzelf, voor ‘future reference’. Om het werkend te krijgen moet je drie dingen doen: de configuratie van Postman aanpassen, je lokale IP adres opvragen en een proxyserver instellen.

Postman is een handige tool voor het uitproberen en testen van REST API’s. Ik gebruik de gratis versie die je hier kunt downloaden. Hoe je de instellingen van Postman moet aanpassen voor het afvangen van requests, is gedocumenteerd op deze pagina.

Het IP adres van een computer met Windows als besturingssyteem vraag je snel op met de ipconfig command line utility.

Het configureren van een proxy server onder Windows 10 doe je via Instellingen > Netwerk en internet > Proxy. Scroll naar beneden naar Handmatige proxyconfiguratie. Zet Proxyserver gebruiken aan. Vul het lokale IP adres in en het nummer van de poort waarop Postman luistert. Vergeet niet als laatste stap de configuratie op te slaan.

Als je in FME Desktop nu de workspace uitvoert met de ArcGIS Server Feature Service reader, verschijnen de requests in Postman de Historie tab in de sidebar.

Hergebruik van bodemkwaliteitsgegevens - deel 2

2019-06-05T00:00:00+00:00

Vorige maand schreef ik een blog over hoe je de gegevens uit het Bodemloket kunt downloaden voor hergebruik in eigen toepassingen. Ivor Bosloper en Arno van Anrooij kwamen met suggesties voor verbetering. Het resultaat is een veel eenvoudiger en sneller downloadscript.

Wat is het probleem?
De gegevens in het Bodemloket worden ontsloten via de ArcGIS REST API. De dataset bestaat uit meer dan 500.000 rijen. De API retourneert er echter niet meer dan 1.000 per request. Hoe kun je dan toch alle gegevens opvragen? Het antwoord ligt voor de hand: door meerdere requests te doen.

De meest eenvoudige manier om dit te doen, is door gebruik te maken van de query parameters resultOffset en resultRecordCount. Dat lukt in dit geval echter niet, omdat de service niet geconfigureerd is voor het ondersteunen van response paging.

Een andere optie is om rijen te filteren met behulp van een where query parameter. Dat gaat met deze service ook niet altijd goed. Requests met een filter retourneren regelmatig foutcode 400 (Unable to complete request).

Wat werkt dan wél?
De truc is om een filter op te geven met daarin expliciet alle identificatienummers van de rijen die je wilt opvragen. Dat doe je als volgt.

Iedere rij heeft een uniek identificatienummer. Dat is een eis die de ArcGIS software stelt. Voor de dataset met _WBB locaties _ is dat het attribuut WBB_DOSSIER_DBK. Dat kun je checken in de documentatie: het attribuut heeft als is namelijk van het type esriFieldTypeOID.

Je kunt voor alle rijen met één request het unieke identificatienummer opvragen met behulp van de query parameter returnIdsOnly=True. De beperking dat de service maximaal 1.000 rijen per request retourneert, is nu niet van toepassing. Dit request retourneert meer dan 500.000 identificatienummers:

https://www.gdngeoservices.nl/arcgis/rest/services/blk/lks_blk_rd/MapServer/1/query?where=1=1&returnIdsOnly=True&f=json

Daarna doe je een POST (geen GET!) request, waarbij je de objectIds parameter toevoegt aan de request body. Als parameter waarde geef je de eerste 1.000 identificatienummers op gescheiden door een komma.

Endpoint en query parameters:

https://www.gdngeoservices.nl/arcgis/rest/services/blk/lks_blk_rd/MapServer/1/query?where=1=1&outFields=*&f=geojson

Body:

objectIds=18005606,18005621,18005632, ... , 2C17911893,17911904

Zo kun je batchgewijs alle rijen opvragen.

In FME Desktop kun je de gegevens uit het Bodemloket inlezen met behulp van de Esri ArcGIS Server Feature Service reader. Deze reader doet ‘onder de motorkap’ de requests zoals hierboven beschreven.

Als je meer wilt weten over de mogelijkheden van de ArcGIS REST API, raadpleeg dan de documentatie of volg het eerste deeel van de workshop Web API’s voor beginners.

Hergebruik van bodemkwaliteitsgegevens

2019-05-30T00:00:00+00:00

Follow The Money (FTM) heeft dit voorjaar een nieuw dossier geopend: Gore Grond in je Gemeente. Op 11 april deed dit platform voor onderzoeksjournalistiek een oproep: Bodemvervuiling in jouw gemeente? Zet het op de kaart. Volgens FTM zijn overheden niet altijd even transparant over bodemverontreiniging. Informatie is moeilijk te vinden en lastig te interpreteren. Dat geldt met name voor de spoedlocaties. Dat zijn plaatsen waar de vervuiling zo erg is, dat er direct maatregelen genomen moeten worden.

De overheid stelt informatie over de bodemkwaliteit beschikbaar via het Bodemloket. Na het lezen van de oproep vroeg ik me af of de gegevens in het Bodemloket geschikt zijn voor hergebruik door FTM. Ik ging op onderzoek uit.

Een zoekopdracht op ‘Bodemloket’ in het Nationaal Georegister levert vijf datasets op. Jammer genoeg zijn het allemaal Web Map Services (WMS). Dat betekent dat de services niet gebruikt kunnen worden om de ruwe data op te vragen.

Terug naar de kaart in het Bodemloket. Bij het laden van de pagina zie je onder water - bijvoorbeeld met Chrome DevTools - dat de bodemkwaliteitgegevens worden opgevraagd bij een webservice:

Het gaat om het volgende endpoint:

https://www.gdngeoservices.nl/arcgis/services/blk/lks_blk_rd/MapServer/WMSServer

Helaas is dit ook een WMS. Toch geeft de URL een belangrijk stukje informatie: de service wordt gepubliceerd met ArcGIS Server. Je kunt nu de ArcGIS REST Services Directory opvragen door de URL aan te passen:

https://www.gdngeoservices.nl/arcgis/rest/services

Via deze mappenstructuur kun je bij de REST API van het Bodemloket:

https://www.gdngeoservices.nl/arcgis/rest/services/blk/lks_blk_rd/MapServer

Met de REST API kun je vier datasets (layers) opvragen. WBB_punten en WBB_locaties bevatten respectievelijk punten en vlakken van Wet bodembescherming (WBB) locaties. Het volgnummer van de layer is belangrijk om het endpoint voor een request te bepalen. WBB_locaties is bijvoorbeeld de tweede layer en heeft volgnummer 1.

Het is nu relatief eenvoudig om locaties als GeoJSON bestand op te vragen:

https://www.gdngeoservices.nl/arcgis/rest/services/blk/lks_blk_rd/MapServer/1/query?where=1=1&outFields=*&f=geojson

De response bevat maar 1.000 locaties. Het zijn er in werkelijkheid véél meer. Het is niet mogelijk om meer dan 1.000 locaties per request op te vragen. Hoe kun je dan toch alle locaties opvragen?

Helaas is response paging uitgezet in de configuratie van de service. Een alternatief is om zelf meerdere requests te genereren waarmee in stappen alle locaties worden opgevraagd. Dit kan op twee manieren:

in de where query parameter filteren op een attribuut dat een uniek identificatienummer bevat of
met de query parameters geometryType, inSR, geometry en spatialRel filteren op gebied.

De eerste optie is in dit geval ongeschikt. Alleen WBB_DOSSIER_DBK lijkt in aanmerking te komen als uniek identificatienummer. Requests waarbij gefilterd wordt op dit attribuut retourneren regelmatig foutcode 400 (Unable to complete operation).

Bij de tweede optie verdeel je het interessegebied - bijvoorbeeld een provincie of heel Nederland - in een grid. Per tegel binnen het grid doe je een request (voorbeeld). Het probleem is dat je de afmetingen van een tegel zo moet kiezen, dat er niet meer dan 1.000 locaties binnen een tegel liggen.

Zo langzamerhand wordt het best ingewikkeld! Daarom heb ik in FME Desktop een script gemaakt voor het genereren van de requests en samenvoegen van de responses. Het script is te downloaden van GitHub. Ik heb het -vanwege de grote hoeveelheid data- alleen nog maar getest per provincie, nog niet voor heel Nederland.

Uit de gegevens die de REST API retourneert, kun je voor iedere locatie ook de hyperlink naar het rapport met de voortgang van het bodemonderzoek afleiden:

https://www.bodemloket.nl/bodemloket/tools/report/guid/[NEN3610_ID_SOIL_MANAGEMENT]/[LOCATIECODE_BEVOEGD_GEZAG]/SIKB_12

Tussen de blokhaken komen de waarden van de gelijknamige attributen te staan (voorbeeld). In het voortgangsrapport staat méér informatie dan in de API response, bijvoorbeeld de locatienaam, onderzoeksrapporten en besluiten. Helaas is deze informatie niet rechtstreeks via de API op te vragen in een gestructureerd formaat. Je moet de gegevens zelf scrapen als je ze voor een analyse wilt gebruiken.

De conclusie is dat FTM gelijk heeft: het is inderdaad niet makkelijk is om de ruwe bodemkwaliteitsgegevens op te vragen, want:

de ArcGIS REST API is niet opgenomen in het Nationaal Georegister en daardoor moeilijk vindbaar,
response paging is uitgezet,
er is geen duidelijke API documentatie,
niet alle (gestructureerde) gegevens worden rechtstreeks ontsloten via de REST API.

Daarnaast zijn er nog semantische problemen. De betekenis van attributen is niet meteen duidelijk. En hoe filter je eigenlijk alle spoedlocaties uit het Bodemloket?

Kortom: er is nog veel ruimte voor verbetering als het gaat om het ontsluiten van bodemkwaliteitgegevens voor hergebruik door andere partijen dan de overheid.

Aanvulling op 5 juni 2019:
Inmiddels weet ik dat het wél mogelijk is om alle gegevens op te vragen door te filteren op een uniek identificatienummer. Dat is sneller een eenvoudiger dan de gegevens opvragen met een grid. In deze post leg ik uit hoe dat moet.