MDMS

A project of lieb-ib.

Make a tool that:

• imports data from PCSes (in DE: PLS)
• checks imported data
  • missing values
  • outliers / (“spikes”)
• represents data as
  • curves
    • raw data
    • corrected data
  • …
• makes statistics of
  • missing values
  • outlier values
  • value corrections

MDMS Skizze - mein Konspekt der Folien von Wolfgang Lieb

DWA-M 151 - mein Konspekt vom “Merkblatt DWA-M 151 Messdatenmanagementsysteme (MDMS) in Entwässerungssystemen”

General questions are meaned as questions that do not concern the “technics”.

• product name
  • MDMS? (MDMS=MessDaten Management System)
• core goal
  • data correction
  • data quality evaluation
  • data representation
• business, profitability etc.
  • who is the user of the MDMS?
  • how MDMS can be profitable?
  • budget
    • how it will be ensured?
• time frame
• steps
  • the core | UI | import at first?
• developer
  • is there someone?
  • should understand the subject (statistics, water etc)?
• server based or local
• UI
  • web?
• real time
  • real time system?

• General
  • (see “General” section)
• Ausgangssituation
  • PLS-fähige Software
• Vorgehensweise
  • Einlesen
  • Ausgabe RÜB-Protokolle in andere Systeme
  • Weitergehende Auswertungen…
  • Kurvendarstellung
  • Was gibt es bereits?
    • Lücken / Stetigkeit / Ausreisser / “Messspannenthematik”
    • Kai Habermehl
    • Ergänzung
      • KI-Modul zur Datenprüfung
• Weitergehende Auswertungen
  • RÜB-Protokollierung
    • Rohdaten / Korrigiert / Gegenüberstellung
  • Saisonalität
  • Vergleich mit Vorjahren und SFB
  • Beckenauslastung
  • Betreiberunterstützung

• Ausgangssituation
  • was ist schon da?
    • PLS-fähige Auswertesoftware
      • wem gehört sie?
      • welche PLS sind angeschlossen?
      • wie sieht sie aus?
    • was heisst “es werden Module Prozesskopplung, Ganglinienauswertung und Berichtsgenerator verwendet”?
    • “Datenprüfung erfolgt rein optisch” und “Datenkorrektur ist automatisiert”
      • wie funktioniert beides zusammen?
• Vorgehensweise
  • Einlesen
    • PLS
    • RÜB-Protokolle
  • Daten prüfen
  • Berechnung von RÜB-Protokollen
    • was ist gemeint?
  • Ausgabe Ergebnisse RÜB-Protokolle in andere Systeme (DaBay/DWA-Betrieb)
    • ist Konvertierung gemeint?
  • Weitergehende Auswertungen
    • was ist gemeint?
    • wie kann man KI verwenden?

Our Talk on 17.11.2023:

• Sometime the website should be maintained (WordPress based)
  • texts
  • small design changes
• BaWü: 7000 RÜB
• Auswertung
  • Datenausreisser
  • Wie oft überläuft ein RÜB
  • Verhalten zwischen verschiedenen RÜB (ähnlich=gut?)
  • Verstopfungen erkennen

ToDo:

• Datenimport
• Datenqualität prüfen
• Visualisierung

Als erstes: Datenqualität prüfen?

• Anschauen was schon da ist

• RÜB = Regenüberlaufbecken
• PLS = Prozessleitsystem
  • aka
    • DCS = Distributed Control System
    • PCS = Process Control System
  • zeitdeterministisch (= Daten kommen basiert auf Zeitintervallen (?))
  • besitzt Datenbasis für alle beteiligten Systeme

• DWA = Deutsche Vereinigung für Wasserwirtschaft, Abwasser und Abfall e. V.
  • https://de.dwa.de/de/

• Statistical data quality (some links about it)
  • statistical data quality - Google Suche
  • How can I see the number of missing values and patterns of missing values in my data file?
    • Stata FAQ
  • Understanding Data Quality by Sibanjan Das
    • maybe not usable for us?
  • Data Quality Testing: 7 Essential Tests by Tim Osborn
  • https://www.keboola.com/blog/data-quality-checks
• Kai Habermehl
  • https://www.mathematik.tu-darmstadt.de/optimierung/arbeitsgruppe_optimierung/personen_1/former_staff_members/maxmustermann_8.en.jsp
• AI data quality
  • AI data quality tools - a Google search

• FuE
  • Steuerliche Förderung von Forschung und Entwicklung

• Statistics and Java
  • Mastering Java for Data Science by Alexey Grigorev
  • Statistics Libs
    • Apache Math
    • https://github.com/jethronap/jstat
  • Misc
    • Performing basic stats in Java 8
    • https://stats.stackexchange.com/questions/37466/open-source-java-library-for-statistics-at-the-level-offered-by-a-graduate-stati

• R
  • https://www.r-project.org/about.html
  • Java and R
    • https://www.baeldung.com/java-r-integration
    • https://stackoverflow.com/questions/10319067/how-do-you-run-an-r-program-from-java

• AI
  • z.B. Code Interpreter von OpenAI