====== DWA-M 151 ====== Mein Konspekt vom "Merkblatt DWA-M 151 Messdatenmanagementsysteme (MDMS) in Entwässerungssystemen" (s. E-Mail von Wolfgang Lieb vom 23.11.2023) ===== Vorwort ===== * Grundlage zur Planung und Betrieb: Messdaten von Anlagen * Messdaten müssen: * geprüft * korrigiert * archiviert werden * Technische Hinweise zum Betrieb von Messungen -> Merkblatt DWA-M 181 * Umgang mit Massendaten ist aber in diesem Dokumenten (DWA-M 151) erstmals dargestellt ===== Verfasser ===== ... ===== Bilderverzeichnis ===== ... ===== Tabellenverzeichnis ===== ... ===== Benutzerhinweis ===== ... ===== 1 Anwendungsbereich ===== * Hier werden folgende Themen erfasst: * Anforderungen an MDMS * Funktionalitäten zur Unterstützung von: * Datenerfassung * Prüfung und Korrektur der Daten -> Datenqualität * Dokumentation und Archivierung von Daten * Austausch von Daten * Daten = Messdaten + Metadaten * Ziel von diesem Merkblatt: * den Benutzern (Admins, Betreibern, Entwicklern, Herstellern, Planer und Aufsichtsbehörden) Infos und Hilfe anzubieten zu : * Konzeption * Aufbau * Pflege * Anwendung * Fortschreibung * sowie Datenaustausch und Integration in bestehende IT-Systeme ===== 2 Verweisungen ===== ... DIN... DWA... Dokumente beschreiben Normen und Empfehlungen zu Messsystemen, Datenformaten, Dokumentationsverfahren etc. ===== 3 Begriffe ===== ==== 3.1 Definitionen ==== Begriffe aus DWA-M 181 sowie folgende Definitionen: * abgeleitete Daten: * durch eindeutige und im MDMS definierbare Bezeichnungsregeln ermittelte Daten (z.B. Durchfluss) * aggregierte Daten: * durch zeitliche Zusammenfassung von Daten innerhalb von Zeitbereichen neu ermittelte Daten (z.B. Mittelwert, Summe etc.). Typische Aggregationsbereiche: Stunde, Tag, Monat, Jahr etc. * äquidistante Daten: * ... * Bearbeitungsebene * ... (eine Bearbeitung zur Verbesserung der Datenqualität führt zu einer höheren Bearbeitungsbene) * Datenerfassung * zeitfolgenrichtige. gemeinsame Erafssung von Messwert und Zeitstempel * Datenlücke * Zeitbereich in dem keine Daten vorliegen * Datenqualität * Kenngröße, welche die Aussagekraft der Messdaten in Bezug auf eine bestimmte Nutzung beschreibt * Diskretisierungszeitschritt (oft auch Zeitintervall genannt) * Zeitbereich zwischen zwei Messwerten. Kann äquidistant oder variabel sein * Eingangsdaten * Alle Daten, die in ein System aufgenommen werden * Messdaten * Daten + Zeitstempel * Messdatenmanagementsystem * System zur kontinuierlichen und dauerhaften Speicherung, Aufbereitung, Auswertung sowie zum Austausch von Mess- und Metadaten. * Messergebnis * Aus Messungen gewonnener Schätzwert für den wahren Wert einer Messgröße (?) * Messgröße * Physikalische oder chemische Größe, die für die Messung gilt. * Messgröße = Messwert + Maßeinheit * Messstelle * ... * Messstation * Gruppierung von Messeinrichtungen * Produktionsdaten * Aus den Eingangsdaten entstandene und ggf veränderte Daten * Schlüssellisten * Zusammenstellung der Zuordnungen von Begriffen zu eindeutigen Codes bzw. Werten * Transformationsbeziehung * Transformationsbeziehungen stellen den Bezug zwischen mindestens zwei Messgrößen her: * haben keinen Zeitbezug * können eine zeitlich begrenzte Gültigkeit haben * Zeitbezug * beschreibt wie eine Zeitreihe zwischen ihren benachbarten Wertpaaren definiert ist * kontinuierlich -> interpoliert * Intervall -> Stufen -> konstant zwischen zwei Werten * momentan -> nur an den Zeitpunkten * Zeitbereich * ... * Zeitintervall * Diskretisierungszeitschritt * Zeitlicher Gültigkeitsbereich * Zeitbereich für den eine bestimmte Eigenschaft definiert ist * Zeitstempel * ... * Zeitreihe * In der Messtechnik und Informationstechnologie eingesetztes Hilfsmittel, um die Veränderung einer Messgröße über die Zeit zu beschreiben * Zeitreihenfolge * Eine Zeitreihe, die andere Zeitreihen referenziert und in zeitlichen Folge durch Formeln und Rechenoperationen miteinander verknüpft ==== 3.2 Symbole und Abkürzungen ==== ... ===== 4 Grundlagen ===== ==== 4.1 Aufgaben und Ziele eines Messdatenmanagementsystems ==== * Aufgaben von MDMS: * Planung und Durchführung von Messungen * Prüfung von Messdaten * Korrektur der Messwerte * Auswertung der Messdaten * Dokumentation der Messdaten * Archivierung der Messdaten * Ziel: ausssagekräftige und belastbare Grundlage für weitergehende Aufgaben (z.B. Planung, Dimensionierung, Optimierung) zur Verfügung zu stellen * Neben temporären Messungen auch Dauermessstellen integrieren * Messdaten haben einen hohen wirtschaftlichen Wert * => Messdaten müssen geprüft, korrigiert, ausgewertet, dokumentiert und archiviert werden * Messdaten beschreiben sehr dynamische Prozesse * Sie müssen zeitnah geprüft und archiviert werden, sonst können sie später nicht mehr rekonstruiert werden * MDMS ersetzt nicht die Datenerfassung (zentral oder dezentral). * Es dient der Zusammenführung, Prüfung, Weiterverarbeitung, Bereitstellung und Archivierung der massgeblichen Messwerte aus verschiedensten Quellen in einem System * Die Anforderungen an die Messstellen sind im Merkblatt DWA-M 181 beschrieben ==== 4.2 Anwendungsbereiche und Funktionalitäten ==== * MDMS sind empfehlenswert für alle Bereiche, wo Messdaten anfallen * Beispiele für Anwendungsbereiche von MDMS * Auswertung und Bereitstellung geprüfter Messdaten in: * Planung * Abrechnung * Betrieb * Selbstüberwachung * ... * Prognose und Alarmierung * Berichtwesen * Statistik * ... * MDMS Grundfunktionalitäten * Datenaufnahme * automatische und manuelle Datenprüfung und -korrektur * Dokumentation und Auswertung von Messdaten * Datenspeicherung (Archivierung) * Datenbereitstellung und Datenaustausch (Export) ==== 4.3 Grundsätzlicher Aufbau ==== * Um MDMS flexibel einsetzen zu können: * modular aufbauen * Schnittstellen anbieten * Umfang und Herkunft der Daten sollen dokumentiert werden * am besten nach ISO 9001 und ISO 17025 * Grundsätzlich: Rohdaten sollen komplett in MDMS aufgenommen werden (!) * nur so kann Nachvollziehbarkeit und Flexibilität garantiert werden * Bei der Datenaufnahme ins MDMS soll die Zeitinformation beibehalten werden * => keine Aggregierung & keine Korrektur darf erfolgen (nicht an dieser Stelle!) * Außer Messdaten müssen auch Metadaten aufgenommen werden: * Import der Metadaten * manuell * automatisch * Historie * um doppelte Verwaltung zu vermeiden muss "führendes" System festgelegt werden * Personenkreis zuständig für Metadaten festlegen * Schnittstellen z.B. zu: * Kanalinformationssystemen * Betriebsführungssystemen * GIS * sonstige ==== 4.4 Anforderungen an die Systemarchitektur und Funktionalitäten ==== * Einfachster Fall (wenn einmalig oder wenige Daten): * Excel * eine einfache DB * Anforderungen an MDMS -> s. Anhang A * Vorgehen bei der Konzeption von MDMS, Anforderungen an Personal -> s. Abschnitt 9 * DB * Integration der Daten aus verschiedenen Quellen * Modularer Aufbau und (Mindest-)Funktionalitäten * Module: * Import * Datenprüfung (manuell oder automatisch) * Datenkorrektur * Auswertung * Dokumentation * Export * Archivierung * Schnittstellen zum Import bzw. zur Verwaltung von Metadaten * -> aufgabenspezifisch * Datenimport * übliche offene und proprietäre Datenformate (s. Anhang B) * eine vom Anwender frei definierbare Schnittstelle (?) * CSV * Neben realen Messdaten sollten z.B. auch Zeitreihen aus Modellrechnungen importiert werden können * Datenexport * Messdaten, Messgrößen, zeitliche Auflösung, Datenformate -> freiwählbar * Export aller Zeitreihen auch in äquidistanten Zeitscnitten soll möglich sein * Verarbeitung von Zeitreihen mit unterschiedlichen Diskretisierungszeitschritten und Zeitbezug * ... * Darstellung von Zeitreihen * frei wählbar vom Benutzer * Berichtwesen * Standardlayouts / -berichte * per Knopfdruck oder automatisch * Meldungen über Import / Export * Datenarchivierung und Datensicherheit * Archivierung * Speicherung der Prüfungen und Korrekturen * Geografisch orientierte Benutzeroberfläche * Karten * Administration (Rechtevergabe etc.) * Benutzerverwaltung * Userspezifische GUI (z.B. widget-basiert) * Lizenzmodell * flexibel * Verwaltung von Mandanten * Mandantenfähigkeit in allen Modulen * Entsprechende Administration ==== 4.5 Datenarten und -verarbeitung ==== === 4.5.1 Datenarten === * Systemdaten * Einzugsgebiet * Gerinne * hydraulische Eigenschaften * ... * Betriebsdaten * Infos über Betrieb des Entwässerungs- und Messsystems (z.B. Drosseleinstellungen, Pumpwerksbetrieb, Protokolle ...) * Prozessdaten * Daten der gemessenen technischen oder natürlichen Prozesse (z.B. Niederschlag , Abfluss etc.) als Zeitreihen * Dabei werden folgende Daten unterschieden: * primär * sekundär * tertiär === 4.5.2 Eingangsdaten === * Eingangsdaten: alle Daten, die in das MDMS aufgenommen (importiert) werden. Z.B. Daten aus Datenloggern, Messwerte, Werte aus Simulationen. * doppelte Datenhalten vermeiden beim direkten Zugriffauf andere MDMS oder Services (?) * Eingangsdaten sind in der Regel ungeprüfte Daten zu Beginn der Datenverarbeitung im MDMS * Vor Veränderungen schützen(!) === 4.5.3 Produktionsdaten === * Eingangsdaten, die weiterverarbeitet sind (z.B. korrigiert) * Sie können auch aus Berechnung entstehen (Eingangswert + X * Y / Z) * Alle Veränderungen sollen dokumentiert und protokolliert werden * Auf Datenschutz achten === 4.5.4 Metadaten === * Alle Eingangsdaten sollen über Metadaten beschrieben werden * Beispiele: * Qualitätsattribute * Parameter des Messgerätes * Kalibrierungsinformationen * ... * Durch weitere Verarbeitungsschritte im MDMS entstehen auch weitere Metadaten === 4.5.5 Datenformate === * es gibt unzählige Formate (offen oder proprietär) * die ergeben sich aus Anwendung / Herkunft * Übersicht zu den Formaten -> Anhang B ===== 5 Datenerfassung, Datenübertragung und Datenaufnahme ===== ==== 5.1 Grundlagen ==== * Nur Messwert und Einheit und Zeitstempel sind nicht ausreichend für die Prüfung der Daten und Beurteilung der Prozesse * => Randbedingungen notwendig * Metadaten = Randbedingungen * DIN 1319 Teil 1 bis Teil 4 * Merkblatt DWA-M 181 ==== 5.2 Messdatenerfassung und -übertragung ==== * Auswahl der Messstelle - wichtig(!) * Der Nutzer hat normalerweise keinen Einfluss auf Messwertaufnehmer bzw. -umformer * es wird meist als genormtes Signal (0-10 V, 0mA - 20mA ...) oder Bus-Signal weitergegeben * Beim Messwertaufnehmer und -umformer getrennt realisiert kann bei einer fehlerhaften Installation zu den sog. systematischen Fehlern kommen * Messwertaufnehmer: * erfasst die gewünschte Größe über eine Hilfsgröße (z.B. Strom, Spannnung...) * Messwertumformer hat folgende Aufgaben: * Speicherunge der Geräteeinstellungen und Messdaten * Versorgung des Messaufnehmers mit Spannung * Darstellung der Messwerte über interne/externe Anzeigegeräte * Verstärkung der Messsignale * Ausführung von Berechnungs- und Steuerungsfunktionen * Datenübertragung * Für weitergehende Verarbeitung werden die Daten digitsalisiert * Es ist zu achten, dass die Analog-Eingangskarte die nötige digitale Auflösung hat ==== 5.3 Beispiele für Metadaten ==== * Metadaten * gerätespezifisch * Randbedingungen, die Einfluss auf Werterfassung haben * datenspezifisch * Datenverarbeitung, die ggf. schon in Auswerteeinheiten stattfinden * Außerdem folgende Beispiele: * Topografische Hinweise * Bilder * Pläne * Beispiele: Anhang C ==== 5.4 Metadatenerfassung ==== * An jeder Stelle wo z.B. (Sensor-)Daten aufgenommen werden gibt es Einflusse, die Auswirkungen auf die später genutzten Datenbestände haben * z.B. Umrechnungen oder Transfertabellen * Dort, wo Änderungen erfolgen, müssen die zugehörigen Metadaten erhoben werden ==== 5.5 Datenaufnahme in das MDMS ==== * Außer Import aus PLS oder anderen externen Datenquellen kann die Aufnahme ins MDMS auch über elektronische Datenübertragungen aus mobilen Geräten, Scannern etc. erfolgen * Auch Handeingaben können erfolgen * => nicht immer sind alle Daten zeitnah verfügbar * Zeitversatz, Start, Ende der Messkampagne sollen vermerkt werden (Anhang C) * Die Personen, die Messdaten erfassen sollen auch können die Daten zu prüfen * Eingabe -> frei konfigurierbare Masken * Vom MDMS generierte Metadaten sollen automatisch mit Zeitstempel, Benutzerkennzeichen usw. versehen und archiviert werden ===== 6 Datenprüfung und Datenkorrektur ===== ==== 6.1 Grundlagen zur Datenprüfung und -korrektur ==== ==== 6.2 Manuelle Datenprüfungen ==== ==== 6.3 Automatisierte Datenprüfungen ==== ==== 6.4 Dokumentation der Datenqualität ==== ==== 6.5 Datenkorrektur ==== ==== 6.6 Datenfreigabe ==== ===== 7 Darstellung, Auswertung und Dokumentation ===== ==== 7.1 Grundlagen und Anforderungen ==== ==== 7.2 Darstellung von Zeitreihen und zugehörigen Metadaten ==== ==== 7.3 Auswertung von Messdaten ==== ==== 7.4 Dokumentation ==== ===== 8 Datenspeicherung und Administration ===== ==== 8.1 Grundlagen, Anforderungen und Ziele ==== ==== 8.2 Physikalische Datenspeicherung ==== ==== 8.3 Logische Datenspeicherung ==== ==== 8.4 Strukturen zur Datenspeicherung ==== ==== 8.5 Datenfreigaben ==== ==== 8.6 Datenvertraulichkeit ==== ==== 8.7 Datensicherheit ==== ==== 8.8 Benutzerrechte ==== ==== 8.9 Datenschutz ==== ==== 8.10 Redundanzsysteme zur Ausfallsicherheit ==== ==== 8.11 Langzeitdatenspeicherung ==== ==== 8.12 Datensicherung und Datenarchivierung ==== ===== 9 Hinweise zur Einführung eines MDMS und zur Migration ===== ==== 9.1 Grundlagen ==== ==== 9.2 Hinweise zum Betrieb eines MDMS und der Qualitätssicherung ==== ==== 9.3 Anforderungen an das Personal zum Aufbau und Betrieb eines MDMS ==== ==== 9.4 Kosten und Nutzen ==== ===== Anhang A Checkliste ===== ===== Anhang B Beispiele zu Datenformaten mit Hinweisen zu: Name, Urheber, Quelle der Formatbeschreibung ===== ===== Anhang C Beispiel zum Umfang relevanter Metadaten zu einem Messwertaufnehmer ===== ===== Anhang D Beispiel zur möglichen Integration eines Messdatenmanagementsystems (MDMS) in den Datenverbund eines Unternehmens ===== ===== Anhang E Beispiele zur Datenaufnahme, -auswertung und -speicherung von Zeitreihen mit unterschiedlichem Zeitbezug in einem Messdatenmanagementsystem (MDMS) ===== ==== E.1 Messwertaufnahme und Verarbeitung ==== ==== E.2 Speicherung und Auswertung von Datenlücken ==== ==== E.3 Festlegung des Zeitbezugs bzw. Interpolationstyps ==== ==== E.4 Äquidistante Messdaten ==== ==== E.5 Transformationsbeziehungen ==== ===== Anhang F Beispiel zur Ermittlung des Datenaufkommens ===== ===== Quellen und Literaturhinweise ===== ===== My questions ===== * **-** Checkliste zur Bewertung eines MDMS * **-** Was ist das? * **-** Für wen? * **-** Kann man diese Checkliste als Fragebogen verwenden? * **-** Zeitreihe? * **-** Zeitreihenfolge? * **-** Unterschied zwischen "Zeitreihe" und "Zeitreihenfolge"?