Wer einmal seine Daten erfolgreich an IoT Central gesendet hat, dem stellt sich schnell die Frage, wie er diese dort wieder herausbekommt. In diesem Blogbeitrag soll gezeigt werden, wie Daten aus IoT Central wieder exportiert werden können, um diese weiterzuverarbeiten oder zu archivieren.
Wie Daten in die Cloud kommen, haben wir bereits in vorherigen Blogpost geklärt. Was aber wenn die Visualisierung in IoT Central nicht ausreicht und die Daten weiterverarbeitet werden sollen? Auch die Tatsache, dass IoT Central die Daten nur für maximal 30 Tage speichert ist nicht förderlich.
Für all diese Probleme gibt es eine einfache Lösung: Continous Data Export. Mit diesem Feature können Daten sowohl von IoT Central, als auch von beliebigen IoT Hubs an drei weitere Azure Services kontinuierlich und nahezu in Echtzeit exportiert werden: Azure Event Hubs, Azure Blob Storage und Azure Service Bus.
An welchen Azure Service die Daten exportiert werden sollen, hängt vom Anwendungsfall ab. Jeder Service lässt sich in die Kategorien Hot und Cold einordnen (siehe Abbildung 1).
Wer Daten in nahezu Echtzeit weiterverarbeiten möchte, sollte den Hot Path wählen. Hier befindet sich der Azure Event Hub, der dafür ausgelegt ist, viele Nachrichten mit wenig Latenz weiterzuleiten. Der Azure Event Hub kann dann mit weiteren Azure Services für eine einfache Integration kombiniert werden. So können Nachrichten von einem Azure Event Hub über Azure Stream Analytics direkt in einen Power BI Report übertragen werden. Somit kann man sich mit wenig Aufwand eine annähernd Echtzeitanzeige seiner Daten in Power BI erstellen. Weitere Informationen zum Hot Path gibt es in einem folgenden Blogbeitrag.
Abbildung 1: Hot- und Cold-Path für IoT-Daten-Export
Der Cold Path ist gedacht für Daten, die für längere Zeit gespeichert und nicht direkt weiterverarbeitet werden sollen. Hierzu gehört der Azure Blob Storage und der Azure Service Bus. Um Daten z.B. langfristig zu archivieren, da diese nur 30 Tage in IoT Central vorgehalten werden, kann ein Continous Data Export in einen Azure Blob Storage erstellt werden. Der Azure Blob Storage liegt preislich im Cent-Bereich und ermöglicht es, Daten erstmal zu archivieren, bevor entschieden wird, was mit diesen passiert.
Der Continous Data Export kann direkt in IoT Central erstellt werden (siehe Abbildung 2). Dort können entweder der Azure Service Bus, Azure Blob Storage oder Azure Event Hub als Ziel der Daten ausgewählt werden. Zusätzlich kann konfiguriert werden, welche Daten exportiert werden sollen: Device Templates, Devices oder Measurements. Bei den ersten beiden handelt es sich um die IoT Central Konfiguration, während die Measurements die eigentlichen Daten der Devices sind.
Abbildung 2: Continous Data Export in IoT Central
Für den Azure Blob Storage kann zusätzlich noch das Format der Ausgabe eingestellt werden. Hier gibt es die Auswahl zwischen dem Apache Avro- und JSON-Format. Apache Avro kann z.B. verwendet werden, wenn die Daten direkt in einem Apache Hadoop Cluster wie z.B. Azure HDInsight weiterverarbeitet werden soll. Weitere Informationen zum Cold Path gibt es in einem der folgenden Blogbeiträge.
Beim Erzeugen einer IoT Central Instanz, sollte gleichzeitig auch mindestens ein Continous Data Export in einen Azure Blob Storage eingerichtet werden. Denn so wird das Problem umgangen, dass die eigenen Daten nach 30 Tagen weg sind. Auch weitere Szenarien sind mit Continous Data Export möglich, auf die wir in kommenden Blogposts eingehen wollen.
Sprechen Sie uns an, wenn auch Sie Hilfe bei der Planung, Einführung oder Umsetzung von IoT und Industrie 4.0 in Ihrem Unternehmen benötigen. Wir führen Sie gerne ans Ziel.
Sie möchten mehr zum Thema IoT erfahren? Besuchen Sie doch unseren kostenlosen Workshop „IoT in a day – Von Null auf Cloud in einem Tag“ oder buchen Sie unseren zweitägigen IoT Proof of Concept-Workshop.