Differences

This shows you the differences between two versions of the page.

--- dwa-m_151 [2023/11/28 09:21] – [4.3 Grundsätzlicher Aufbau] kalaschnikow
+++ dwa-m_151 [2024/01/16 11:32] (current) – kalaschnikow
@@ Line 1: / Line 1: @@
+====== DWA-M 151 ======
+Mein Konspekt vom "Merkblatt DWA-M 151 Messdatenmanagementsysteme (MDMS) in Entwässerungssystemen" (s. E-Mail von Wolfgang Lieb vom 23.11.2023)
+===== Vorwort =====
+  * Grundlage zur Planung und Betrieb: Messdaten von Anlagen
+  * Messdaten müssen:
+    * geprüft
+    * korrigiert
+    * archiviert werden
+  * Technische Hinweise zum Betrieb von Messungen -> Merkblatt DWA-M 181
+  * Umgang mit Massendaten ist aber in diesem Dokumenten (DWA-M 151) erstmals dargestellt
+===== Verfasser =====
+...
+===== Bilderverzeichnis =====
+...
+===== Tabellenverzeichnis =====
+...
+===== Benutzerhinweis =====
+...
+===== 1 Anwendungsbereich =====
+  * Hier werden folgende Themen erfasst:
+    * Anforderungen an MDMS
+    * Funktionalitäten zur Unterstützung von:
+      * Datenerfassung
+      * Prüfung und Korrektur der Daten -> Datenqualität
+      * Dokumentation und Archivierung von Daten
+      * Austausch von Daten
+    * Daten = Messdaten + Metadaten
+    * Ziel von diesem Merkblatt:
+      * den Benutzern (Admins, Betreibern, Entwicklern, Herstellern, Planer und Aufsichtsbehörden) Infos und Hilfe anzubieten zu :
+        * Konzeption
+        * Aufbau
+        * Pflege
+        * Anwendung
+        * Fortschreibung
+      * sowie Datenaustausch und Integration in bestehende IT-Systeme
+===== 2 Verweisungen =====
+...
+DIN...
+DWA...
+Dokumente beschreiben Normen und Empfehlungen zu Messsystemen, Datenformaten, Dokumentationsverfahren etc.
+===== 3 Begriffe =====
+==== 3.1 Definitionen ====
+Begriffe aus DWA-M 181 sowie folgende Definitionen:
+  * abgeleitete Daten:
+    * durch eindeutige und im MDMS definierbare Bezeichnungsregeln ermittelte Daten (z.B. Durchfluss)
+  * aggregierte Daten:
+    * durch zeitliche Zusammenfassung von Daten innerhalb von Zeitbereichen neu ermittelte Daten (z.B. Mittelwert, Summe etc.). Typische Aggregationsbereiche: Stunde, Tag, Monat, Jahr etc.
+  * äquidistante Daten:
+    * ...
+  * Bearbeitungsebene
+    * ... (eine Bearbeitung zur Verbesserung der Datenqualität führt zu einer höheren Bearbeitungsbene)
+  * Datenerfassung
+    * zeitfolgenrichtige. gemeinsame Erafssung von Messwert und Zeitstempel
+  * Datenlücke
+    * Zeitbereich in dem keine Daten vorliegen
+  * Datenqualität
+    * Kenngröße, welche die Aussagekraft der Messdaten in Bezug auf eine bestimmte Nutzung beschreibt
+  * Diskretisierungszeitschritt (oft auch Zeitintervall genannt)
+    * Zeitbereich zwischen zwei Messwerten. Kann äquidistant oder variabel sein
+  * Eingangsdaten
+    * Alle Daten, die in ein System aufgenommen werden
+  * Messdaten
+    * Daten + Zeitstempel
+  * Messdatenmanagementsystem
+    * System zur kontinuierlichen und dauerhaften Speicherung, Aufbereitung, Auswertung sowie zum Austausch von Mess- und Metadaten.
+  * Messergebnis
+    * Aus Messungen gewonnener Schätzwert für den wahren Wert einer Messgröße (?)
+  * Messgröße
+    * Physikalische oder chemische Größe, die für die Messung gilt.
+    * Messgröße = Messwert + Maßeinheit
+  * Messstelle
+    * ...
+  * Messstation
+    * Gruppierung von Messeinrichtungen
+  * Produktionsdaten
+    * Aus den Eingangsdaten entstandene und ggf veränderte Daten
+  * Schlüssellisten
+    * Zusammenstellung der Zuordnungen von Begriffen zu eindeutigen Codes bzw. Werten
+  * Transformationsbeziehung
+    * Transformationsbeziehungen stellen den Bezug zwischen mindestens zwei Messgrößen her:
+      * haben keinen Zeitbezug
+      * können eine zeitlich begrenzte Gültigkeit haben
+  * Zeitbezug
+    * beschreibt wie eine Zeitreihe zwischen ihren benachbarten Wertpaaren  definiert ist
+      * kontinuierlich -> interpoliert
+      * Intervall -> Stufen -> konstant zwischen zwei Werten
+      * momentan -> nur an den Zeitpunkten
+  * Zeitbereich
+    * ...
+  * Zeitintervall
+    * Diskretisierungszeitschritt
+  * Zeitlicher Gültigkeitsbereich
+    * Zeitbereich für den eine bestimmte Eigenschaft definiert ist
+  * Zeitstempel
+    * ...
+  * Zeitreihe
+    * In der Messtechnik und Informationstechnologie eingesetztes Hilfsmittel, um die Veränderung einer Messgröße über die Zeit zu beschreiben
+  * Zeitreihenfolge
+    * Eine Zeitreihe, die andere Zeitreihen referenziert und in zeitlichen Folge durch Formeln und Rechenoperationen miteinander verknüpft
+==== 3.2 Symbole und Abkürzungen ====
+...
+===== 4 Grundlagen =====
+==== 4.1 Aufgaben und Ziele eines Messdatenmanagementsystems ====
+  * Aufgaben von MDMS:
+    * Planung und Durchführung von Messungen
+    * Prüfung von Messdaten
+    * Korrektur der Messwerte
+    * Auswertung der Messdaten
+    * Dokumentation der Messdaten
+    * Archivierung der Messdaten
+  * Ziel: ausssagekräftige und belastbare Grundlage für weitergehende Aufgaben (z.B. Planung, Dimensionierung, Optimierung) zur Verfügung zu stellen
+  * Neben temporären Messungen auch Dauermessstellen integrieren
+  * Messdaten haben einen hohen wirtschaftlichen Wert
+    * => Messdaten müssen geprüft, korrigiert, ausgewertet, dokumentiert und archiviert werden
+  * Messdaten beschreiben sehr dynamische Prozesse
+  * Sie müssen zeitnah geprüft und archiviert werden, sonst können sie später nicht mehr rekonstruiert werden
+  * MDMS ersetzt nicht die Datenerfassung (zentral oder dezentral).
+    * Es dient der Zusammenführung, Prüfung, Weiterverarbeitung, Bereitstellung und Archivierung der massgeblichen Messwerte aus verschiedensten Quellen in einem System
+  * Die Anforderungen an die Messstellen sind im Merkblatt DWA-M 181 beschrieben
+==== 4.2 Anwendungsbereiche und Funktionalitäten ====
+  * MDMS sind empfehlenswert für alle Bereiche, wo Messdaten anfallen
+  * Beispiele für Anwendungsbereiche von MDMS
+    * Auswertung und Bereitstellung geprüfter Messdaten in:
+      * Planung
+      * Abrechnung
+      * Betrieb
+      * Selbstüberwachung
+      * ...
+      * Prognose und Alarmierung
+      * Berichtwesen
+      * Statistik
+      * ...
+  * MDMS Grundfunktionalitäten
+    * Datenaufnahme
+    * automatische und manuelle Datenprüfung und -korrektur
+    * Dokumentation und Auswertung von Messdaten
+    * Datenspeicherung (Archivierung)
+    * Datenbereitstellung und Datenaustausch (Export)
+==== 4.3 Grundsätzlicher Aufbau ====
+  * Um MDMS flexibel einsetzen zu können:
+    * modular aufbauen
+    * Schnittstellen anbieten
+  * Umfang und Herkunft der Daten sollen dokumentiert werden
+    * am besten nach ISO 9001 und ISO 17025
+  * Grundsätzlich: Rohdaten sollen komplett in MDMS aufgenommen  werden (!)
+    * nur so kann Nachvollziehbarkeit und Flexibilität garantiert werden
+  * Bei der Datenaufnahme ins MDMS soll die Zeitinformation beibehalten werden
+    * => keine Aggregierung & keine Korrektur darf erfolgen (nicht an dieser Stelle!)
+  * Außer Messdaten müssen auch Metadaten aufgenommen werden:
+    * Import der Metadaten
+      * manuell
+      * automatisch
+    * Historie
+    * um doppelte Verwaltung zu vermeiden muss "führendes" System festgelegt werden
+    * Personenkreis zuständig für Metadaten festlegen
+    * Schnittstellen z.B. zu:
+      * Kanalinformationssystemen
+      * Betriebsführungssystemen
+      * GIS
+      * sonstige
+==== 4.4 Anforderungen an die Systemarchitektur und Funktionalitäten ====
+  * Einfachster Fall (wenn einmalig oder wenige Daten):
+    * Excel
+    * eine einfache DB
+  * Anforderungen an MDMS -> s. Anhang A
+  * Vorgehen bei der Konzeption von MDMS, Anforderungen an Personal -> s. Abschnitt 9
+  * DB
+    * Integration der Daten aus verschiedenen Quellen
+  * Modularer Aufbau und (Mindest-)Funktionalitäten
+    * Module:
+      * Import
+      * Datenprüfung (manuell oder automatisch)
+      * Datenkorrektur
+      * Auswertung
+      * Dokumentation
+      * Export
+      * Archivierung
+    * Schnittstellen zum Import bzw. zur Verwaltung von Metadaten
+      * -> aufgabenspezifisch
+    * Datenimport
+      * übliche offene und proprietäre Datenformate (s. Anhang B)
+      * eine vom Anwender frei definierbare Schnittstelle (?)
+      * CSV
+      * Neben realen Messdaten sollten z.B. auch Zeitreihen aus Modellrechnungen importiert werden können
+    * Datenexport
+      * Messdaten, Messgrößen, zeitliche Auflösung, Datenformate -> freiwählbar
+      * Export aller Zeitreihen auch in äquidistanten Zeitscnitten soll möglich sein
+    * Verarbeitung von Zeitreihen mit unterschiedlichen Diskretisierungszeitschritten und Zeitbezug
+      * ...
+    * Darstellung von Zeitreihen
+      * frei wählbar vom Benutzer
+    * Berichtwesen
+      * Standardlayouts / -berichte
+        * per Knopfdruck oder automatisch
+      * Meldungen über Import / Export
+    * Datenarchivierung und Datensicherheit
+      * Archivierung
+      * Speicherung der Prüfungen und Korrekturen
+    * Geografisch orientierte Benutzeroberfläche
+      * Karten
+    * Administration (Rechtevergabe etc.)
+      * Benutzerverwaltung
+      * Userspezifische GUI (z.B. widget-basiert)
+    * Lizenzmodell
+      * flexibel
+    * Verwaltung von Mandanten
+      * Mandantenfähigkeit in allen Modulen
+      * Entsprechende Administration
+==== 4.5 Datenarten und -verarbeitung ====
+=== 4.5.1 Datenarten ===
+  * Systemdaten
+    * Einzugsgebiet
+    * Gerinne
+    * hydraulische Eigenschaften
+    * ...
+  * Betriebsdaten
+    * Infos über Betrieb des Entwässerungs- und Messsystems (z.B. Drosseleinstellungen, Pumpwerksbetrieb, Protokolle ...)
+  * Prozessdaten
+    * Daten der gemessenen technischen oder natürlichen Prozesse (z.B. Niederschlag , Abfluss etc.) als Zeitreihen
+    * Dabei werden folgende Daten unterschieden:
+      * primär
+      * sekundär
+      * tertiär
+=== 4.5.2 Eingangsdaten ===
+  * Eingangsdaten: alle Daten, die in das MDMS aufgenommen (importiert) werden. Z.B. Daten aus Datenloggern, Messwerte, Werte aus Simulationen.
+  * doppelte Datenhalten vermeiden beim direkten Zugriffauf andere MDMS oder Services (?)
+  * Eingangsdaten sind in der Regel ungeprüfte Daten zu Beginn der Datenverarbeitung im MDMS
+  * Vor Veränderungen schützen(!)
+=== 4.5.3 Produktionsdaten ===
+  * Eingangsdaten, die weiterverarbeitet sind  (z.B. korrigiert)
+  * Sie können auch aus Berechnung entstehen (Eingangswert + X * Y / Z)
+  * Alle Veränderungen sollen dokumentiert und protokolliert werden
+  * Auf Datenschutz achten
+=== 4.5.4 Metadaten ===
+  * Alle Eingangsdaten sollen über Metadaten beschrieben werden
+  * Beispiele:
+    * Qualitätsattribute
+    * Parameter des Messgerätes
+    * Kalibrierungsinformationen
+    * ...
+  * Durch weitere Verarbeitungsschritte im MDMS entstehen auch weitere Metadaten
+=== 4.5.5 Datenformate ===
+  * es gibt unzählige Formate (offen oder proprietär)
+  * die ergeben sich aus Anwendung / Herkunft
+  * Übersicht zu den Formaten -> Anhang B
+===== 5 Datenerfassung, Datenübertragung und Datenaufnahme =====
+==== 5.1 Grundlagen ====
+  * Nur Messwert und Einheit und Zeitstempel sind nicht ausreichend für die Prüfung der Daten und Beurteilung der Prozesse
+    * => Randbedingungen notwendig
+  * Metadaten = Randbedingungen
+  * DIN 1319 Teil 1 bis Teil 4
+  * Merkblatt DWA-M 181
+==== 5.2 Messdatenerfassung und -übertragung ====
+  * Auswahl der Messstelle - wichtig(!)
+  * Der Nutzer hat normalerweise keinen Einfluss auf Messwertaufnehmer bzw. -umformer
+    * es wird meist als genormtes Signal (0-10 V, 0mA - 20mA ...) oder Bus-Signal weitergegeben
+  * Beim Messwertaufnehmer und -umformer getrennt realisiert kann bei einer fehlerhaften Installation zu den sog. systematischen Fehlern kommen
+  * Messwertaufnehmer:
+    * erfasst die gewünschte Größe über eine Hilfsgröße (z.B. Strom, Spannnung...)
+  * Messwertumformer hat folgende Aufgaben:
+    * Speicherunge der Geräteeinstellungen und Messdaten
+    * Versorgung des Messaufnehmers mit Spannung
+    * Darstellung der Messwerte über interne/externe Anzeigegeräte
+    * Verstärkung der Messsignale
+    * Ausführung von Berechnungs- und Steuerungsfunktionen
+    * Datenübertragung
+  * Für weitergehende Verarbeitung werden die Daten digitsalisiert
+  * Es ist zu achten, dass die Analog-Eingangskarte die nötige digitale Auflösung hat
+==== 5.3 Beispiele für Metadaten ====
+  * Metadaten
+    * gerätespezifisch
+      * Randbedingungen, die Einfluss auf Werterfassung haben
+    * datenspezifisch
+      * Datenverarbeitung, die ggf. schon in Auswerteeinheiten stattfinden
+  * Außerdem folgende Beispiele:
+    * Topografische Hinweise
+    * Bilder
+    * Pläne
+  * Beispiele: Anhang C
+==== 5.4 Metadatenerfassung ====
+  * An jeder Stelle wo z.B. (Sensor-)Daten aufgenommen werden gibt es Einflusse, die Auswirkungen auf die später genutzten Datenbestände haben
+    * z.B. Umrechnungen oder Transfertabellen
+  * Dort, wo Änderungen erfolgen, müssen die zugehörigen Metadaten erhoben werden
+==== 5.5 Datenaufnahme in das MDMS ====
+  * Außer Import aus PLS oder anderen externen Datenquellen kann die Aufnahme ins MDMS auch über elektronische Datenübertragungen aus mobilen Geräten, Scannern etc. erfolgen
+  * Auch Handeingaben können erfolgen
+    * => nicht immer sind alle Daten zeitnah verfügbar
+  * Zeitversatz, Start, Ende der Messkampagne sollen vermerkt werden (Anhang C)
+  * Die Personen, die Messdaten erfassen sollen auch können die Daten zu prüfen
+  * Eingabe -> frei konfigurierbare Masken
+  * Vom MDMS generierte Metadaten sollen automatisch mit Zeitstempel, Benutzerkennzeichen usw. versehen und archiviert werden
+===== 6 Datenprüfung und Datenkorrektur =====
+==== 6.1 Grundlagen zur Datenprüfung und -korrektur ====
+==== 6.2 Manuelle Datenprüfungen ====
+==== 6.3 Automatisierte Datenprüfungen ====
+==== 6.4 Dokumentation der Datenqualität ====
+==== 6.5 Datenkorrektur ====
+==== 6.6 Datenfreigabe ====
+===== 7 Darstellung, Auswertung und Dokumentation =====
+==== 7.1 Grundlagen und Anforderungen ====
+==== 7.2 Darstellung von Zeitreihen und zugehörigen Metadaten ====
+==== 7.3 Auswertung von Messdaten ====
+==== 7.4 Dokumentation ====
+===== 8 Datenspeicherung und Administration =====
+==== 8.1 Grundlagen, Anforderungen und Ziele ====
+==== 8.2 Physikalische Datenspeicherung ====
+==== 8.3 Logische Datenspeicherung ====
+==== 8.4 Strukturen zur Datenspeicherung ====
+==== 8.5 Datenfreigaben ====
+==== 8.6 Datenvertraulichkeit ====
+==== 8.7 Datensicherheit ====
+==== 8.8 Benutzerrechte ====
+==== 8.9 Datenschutz ====
+==== 8.10 Redundanzsysteme zur Ausfallsicherheit ====
+==== 8.11 Langzeitdatenspeicherung ====
+==== 8.12 Datensicherung und Datenarchivierung ====
+===== 9 Hinweise zur Einführung eines MDMS und zur Migration =====
+==== 9.1 Grundlagen ====
+==== 9.2 Hinweise zum Betrieb eines MDMS und der Qualitätssicherung ====
+==== 9.3 Anforderungen an das Personal zum Aufbau und Betrieb eines MDMS ====
+==== 9.4 Kosten und Nutzen ====
+===== Anhang A Checkliste =====
+===== Anhang B Beispiele zu Datenformaten mit Hinweisen zu: Name, Urheber, Quelle der Formatbeschreibung =====
+===== Anhang C Beispiel zum Umfang relevanter Metadaten zu einem Messwertaufnehmer =====
+===== Anhang D Beispiel zur möglichen Integration eines Messdatenmanagementsystems (MDMS) in den Datenverbund eines Unternehmens =====
+===== Anhang E Beispiele zur Datenaufnahme, -auswertung und -speicherung von Zeitreihen mit unterschiedlichem Zeitbezug in einem Messdatenmanagementsystem (MDMS) =====
+==== E.1 Messwertaufnahme und Verarbeitung ====
+==== E.2 Speicherung und Auswertung von Datenlücken ====
+==== E.3 Festlegung des Zeitbezugs bzw. Interpolationstyps ====
+==== E.4 Äquidistante Messdaten ====
+==== E.5 Transformationsbeziehungen ====
+===== Anhang F Beispiel zur Ermittlung des Datenaufkommens =====
+===== Quellen und Literaturhinweise =====
+===== My questions =====
+  * **-** Checkliste zur Bewertung eines MDMS
+    * **-** Was ist das?
+    * **-** Für wen?
+    * **-** Kann man diese Checkliste als Fragebogen verwenden?
+  * **-** Zeitreihe?
+  * **-** Zeitreihenfolge?
+  * **-** Unterschied zwischen "Zeitreihe" und "Zeitreihenfolge"?