Al jarenlang kan realtime data en big data via ArcGIS Enterprise beheerd en geanalyseerd worden met de producten ArcGIS GeoEvent Server en ArcGIS GeoAnalytics Server. Door de komst van ArcGIS Velocity is dit nu ook mogelijk in de cloud met ArcGIS Online. ArcGIS Velocity haalt data binnen en visualiseert en analyseert deze op basis van sensoren en dynamische databronnen. De realtime data kan worden opgeslagen als big data, die zich leent voor snelle bevragingen en analyses. De resultaten van ArcGIS Velocity kunnen worden getoond in dashboards, als een alert worden gestuurd naar andere systemen of worden gepubliceerd als webservices die via ArcGIS Online ontsloten worden.

Feeds

ArcGIS Velocity is als extra functionaliteit beschikbaar in ArcGIS Online. Dit betekent dat er geen extra software hoeft te worden geïnstalleerd, deze functionaliteit kan direct extra worden afgenomen. De applicatie is zeer gebruiksvriendelijk opgezet. Als eerst kunnen zogenaamde feeds gedefinieerd worden. Een feed bestaat uit een koppeling naar een realtime-streamingbron. Deze bronnen kunnen gebaseerd zijn op industrie-standaard IoT-cloudplatformen, zoals Microsoft Azure Event Hub of Amazon AWS IoT. Maar ook web en messaging services zoals HTTP, Kafka, MQTT en Weksockets worden ondersteund als bron. Tenslotte kunnen ook bestaande ArcGIS feature- of streamlayers als input dienen. Zodra er een feed gedefinieerd is kan deze direct gevisualiseerd worden als stream service in bijvoorbeeld een viewer of een dashboard. Door de visualisatie van de realtime data kan er een operationeel beeld gevormd worden van zowel statische als dynamisch bewegende bronnen, waarop direct geacteerd kan worden.

Voorbeeld: NS-API

Een voorbeeld van een feed in ArcGIS Velocity is de NS-API, waarmee de actuele locaties van treinen worden weergegeven. Als source gebruik ik hiervoor de HTTP-poller. Na het opgeven van de URL (https://gateway.apiportal.ns.nl/virtual-train-api/api/vehicle) en het toevoegen van een API-key heb ik aangegeven dat de API iedere 20 seconde wordt bevraagd. Automatisch is daarna het schema gegenereerd, waarna de velden geselecteerd kunnen worden die de geometrie bevatten. Na het opslaan wordt er een stream service gecreëerd waardoor iedere 20 seconden nieuwe data wordt getoond.

Voorbeeld-feed van de NS-tracks in ArcGIS Velocity

Realtime-analyses

Na het inregelen van de feeds kunnen deze gebruikt worden om in realtime analyses uit te voeren op de binnenkomende data. IoT-data kan in ArcGIS Velocity verrijkt worden met data uit andere bronnen. Maar het is ook een optie om gebruik te maken van geofences om te kijken of dynamische assets zich binnen of buiten een bepaald gebied bewegen. Daarnaast kunnen er bewegingsstatistieken berekend worden op de realtime data, om zo snelheid en richting te bepalen van een bewegende sensor of voertuig.

Met incidentdetectie worden waarschuwingen gegenereerd wanneer bijvoorbeeld een sensor een te hoge waarde constateert of een voertuig met gevaarlijke stoffen een tunnel nadert. Het resultaat kan worden weggeschreven naar feature services, Azure Event of IoT Hubs, of als e-mail naar een bepaald persoon worden gestuurd. De stappen van een Real-Time Analytic worden vastgelegd in een overzichtelijke grafische workflow. Per stap in het model kan worden weergegeven hoeveel objecten er per seconde doorheen stromen. Hierdoor is direct te zien of het opgestelde model voldoet aan de verwachtingen.

Verrijken en filteren

De NS-feed zoals eerder beschreven, kan direct in een Real-Time Analytic worden gebruikt. In onderstaand overzicht wordt er een aantal functies gebruikt om de data te verrijken en te filteren. Omdat de posities van de treinen alleen de xy-locaties bevatten wordt met een Join Feature-functie de naam van een treinstation toegevoegd, indien een trein zich binnen een bepaalde afstand van een station bevindt. Dit kan gebruikt worden om in een dashboard weer te geven. Met Filter By Geometry kunnen treinen die zich binnen bepaalde geofences rondom het spoortracé van ProRail bevinden worden gefilterd. Het gefilterde resultaat wordt weggeschreven in een aparte nieuwe feature service. We zien in dit voorbeeld verder dat er meerdere uitvoerfeatures en stream services worden gevuld. Zo kan er bij een feature service ook worden gedefinieerd hoe lang records worden vastgehouden in de service. Op basis van een opgegeven tijd verdwijnen oudere records in een zogenaamd big data-archief (cold store), die via Big Data Analytics weer te gebruiken zijn voor verdere analyse. Zodra een record in het archief terecht komt wordt deze standaard een jaar vastgehouden. Voor langdurige opslag in bijvoorbeeld een Azure Blob Store kan ook gebruik gemaakt worden van functies in de Big Data Analytics.

Realtime Analytic van de NS-feed

Resultaat van ArcGIS Velocity in een ArcGIS Dashboard

Big data-analyses

Wanneer realtime data wordt opgeslagen, kunnen er op een later moment analyses op worden uitgevoerd. Afhankelijk van de gebruikte feed leidt het opslaan van realtime data al snel tot een grote hoeveelheid records. Scheepvaartbewegingen op basis van AIS-data (Automatic Identification System) levert bijvoorbeeld voor de Noordzee ruim 100 miljoen records per maand op. Op dit soort grote hoeveelheden data kunnen niet meer de traditionele GIS-analysefuncties worden uitgevoerd. Met de Big Data Analytics-functies in ArcGIS Velocity worden deze analyses snel en efficiënt in de cloud uitgevoerd. Net als met een Real-Time Analytic kan een Big Data Analytic worden weergegeven in een grafische workflow. De input kan bestaan uit data die is opgeslagen in een ArcGIS Feature service, maar ook uit data die is opgeslagen in Amazon S3 Buckets of Azure Blob stores. De analysefuncties zijn onder te verdelen in analyseren van patronen, zoals Hotspots en Density-berekeningen, maar ook bijvoorbeeld Forest-based Classification and Regression-functie. De big data kan door de Data Enrichment-functies, zoals Detect Incidents of Find Similar Locations verrijkt worden. Ook functies zoals Calculate Field, Filtering op attributen, tijd en geometrie en Reconstruct Tracks kunnen worden opgenomen in een workflow. De resultaten van een Big Data Analytics kunnen worden weggeschreven naar verschillende outputformaten, zoals een nieuwe feature service, of naar een Amazon S3 Bucket of Azure Blob Store. Het is mogelijk om een Big Data Analytic ad-hoc uit te voeren, maar ook om deze periodiek in te plannen, zodat een analyse bijvoorbeeld iedere week wordt uitgevoerd.

Big Data Analytic

In onderstaand voorbeeld wordt een Big Data Analytic uitgevoerd op een archief met AIS-data. De input is dus een feature service met archive-functie Om niet alle data in het archief te gebruiken wordt er eerst een Filter By Time Range-functie toegepast. Vervolgens wordt er een Reconstruct Tracks toegepast om op basis van de unieke schip-id’s (MMSI) de routes te berekenen die de schepen hebben afgelegd. Het resultaat wordt hier weggeschreven naar een nieuwe featureservice. Er gaan ruim 900 miljoen records uit de cold store in de analyse en er worden er 173 miljoen uitgefilterd op basis van een tijdfilter. Het resultaat is ruim 26.000 tracks.

Voorbeeld van Big Data Analytic met AIS-data

Resultaat van Reconstruct Tracks in een ArcGIS JavaScript-applicatie:

Licentiëring

ArcGIS Velocity is beschikbaar in drie licentievormen. Afhankelijk van de behoefte van een organisatie kan er gekozen worden uit een Standard-, Advanced- of Dedicated-licentie. De keuze tussen deze drie bepaalt onder andere het aantal feeds en analyticworkflows die tegelijkertijd gebruikt kunnen worden (vanaf 5), de doorvoersnelheid (vanaf 100 events per seconde), de opslagruimte die beschikbaar wordt gesteld (vanaf 100 GB) en de mogelijkheid van het uitvoeren van ad-hoc big data-analytics en het periodiek kunnen uitvoeren hiervan. We helpen u graag met bepalen welke licentievorm voor uw situatie het beste past. ArcGIS Velocity biedt nieuwe mogelijkheden om aan de slag te gaan met realtime- en big data-analyses. Dankzij de ondersteuning van standaard IoT-platformen kunnen veel realtimebronnen ontsloten en geanalyseerd worden, zowel in realtime als achteraf, om patronen te herkennen uit opgeslagen data.

Wilt u meer weten?

Wilt u meer weten over hoe u in uw organisatie ArcGIS Velocity kan inzetten? Bekijk dan het webinar 'Waarde halen uit realtime & big data met ArcGIS Velocity'

Ernst Eijkelenboom

Esri Nederland

Deel dit artikel: