vwiki

User Tools

Site Tools

Trace:
mdms

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
mdms [2023/11/27 18:19] – [Misc] kalaschnikowmdms [2023/11/30 15:26] (current) – [MDMS] kalaschnikow
Line 1: Line 1:
 +====== MDMS ======
 +
 +A project of [[lieb-ib]]. 
 +
 +===== Project Goals =====
 +
 +Make a tool that:
 +  * imports data from PCSes (in DE: PLS)
 +  * checks imported data
 +    * missing values
 +    * outliers / ("spikes")
 +  * represents data as
 +    * curves
 +      * raw data
 +      * corrected data
 +    * ...
 +  * makes statistics of 
 +    * missing values
 +    * outlier values
 +    * value corrections
 +
 +===== MDMS  =====
 +[[MDMS Skizze]] - mein Konspekt der Folien von Wolfgang Lieb 
 +
 +[[DWA-M 151]] - mein Konspekt vom "Merkblatt DWA-M 151 Messdatenmanagementsysteme (MDMS) in Entwässerungssystemen"
 +
 +===== Questions =====
 +
 +==== General ====
 +
 +General questions are meaned as questions that do not concern the "technics".
 +
 +  * product name
 +    * MDMS? (MDMS=MessDaten Management System)
 +  * core goal
 +    * data correction
 +    * data quality evaluation
 +    * data representation
 +  * business, profitability etc.
 +    * who is the user of the MDMS?
 +    * how MDMS can be profitable?
 +    * budget
 +      * how it will be ensured?
 +  * time frame
 +  * steps
 +    * the core | UI | import at first?
 +  * developer
 +    * is there someone?
 +    * should understand the subject (statistics, water etc)?
 +  * server based or local
 +  * UI
 +    * web?
 +  * real time 
 +    * real time system?
 +
 +
 +==== Questions for Friday 17.11.2023 ====
 +
 +  * General
 +    * (see "General" section)
 +  * Ausgangssituation
 +    * PLS-fähige Software
 +  * Vorgehensweise
 +    * Einlesen
 +    * Ausgabe RÜB-Protokolle in andere Systeme
 +    * Weitergehende Auswertungen...
 +    * Kurvendarstellung
 +    * Was gibt es bereits?
 +      * Lücken / Stetigkeit / Ausreisser / "Messspannenthematik"
 +      * Kai Habermehl
 +      * Ergänzung 
 +        * KI-Modul zur Datenprüfung
 +  * Weitergehende Auswertungen
 +    * RÜB-Protokollierung
 +      * Rohdaten / Korrigiert / Gegenüberstellung
 +    * Saisonalität
 +    * Vergleich mit Vorjahren und SFB
 +    * Beckenauslastung
 +    * Betreiberunterstützung
 +
 +==== All Questions ====
 +
 +  * Ausgangssituation
 +    * was ist schon da?
 +      * PLS-fähige Auswertesoftware
 +        * wem gehört sie?
 +        * welche PLS sind angeschlossen?
 +        * wie sieht sie aus?
 +      * was heisst "es werden Module Prozesskopplung, Ganglinienauswertung und Berichtsgenerator verwendet"?
 +      * "Datenprüfung erfolgt rein optisch" und "Datenkorrektur ist automatisiert"
 +        * wie funktioniert beides zusammen?
 +  * Vorgehensweise
 +    * Einlesen
 +      * PLS
 +      * RÜB-Protokolle
 +    * Daten prüfen
 +    * Berechnung von RÜB-Protokollen
 +      * was ist gemeint?
 +    * Ausgabe Ergebnisse RÜB-Protokolle in andere Systeme (DaBay/DWA-Betrieb)
 +      * ist Konvertierung gemeint?
 +    * Weitergehende Auswertungen
 +      * was ist gemeint?
 +      * wie kann man KI verwenden?
 +
 +
 +
 +Our Talk on 17.11.2023:
 +  * Sometime the website should be maintained (WordPress based)
 +    * texts
 +    * small design changes
 +  * BaWü: 7000 RÜB
 +  * Auswertung
 +    * Datenausreisser
 +    * Wie oft überläuft ein RÜB
 +    * Verhalten zwischen verschiedenen RÜB (ähnlich=gut?)
 +    * Verstopfungen erkennen
 +
 +
 +ToDo:
 +  * Datenimport
 +  * Datenqualität prüfen
 +  * Visualisierung
 +
 +Als erstes: Datenqualität prüfen?
 +
 +  * Anschauen was schon da ist
 +
 +
 +
 +==== Misc ====
 +
 +  * RÜB = Regenüberlaufbecken
 +  * PLS = Prozessleitsystem
 +    * aka
 +      * DCS = Distributed Control System
 +      * PCS = Process Control System
 +    * zeitdeterministisch (= Daten kommen basiert auf Zeitintervallen (?))
 +    * besitzt Datenbasis für alle beteiligten Systeme
 +
 +  * DWA = Deutsche Vereinigung für Wasserwirtschaft, Abwasser und Abfall e. V.
 +    * https://de.dwa.de/de/
 +
 +  * Statistical data quality (some links about it)
 +    * [[https://www.google.com/search?q=statistical+data+quality&client=ubuntu-sn&sca_esv=582184140&channel=fs&sxsrf=AM9HkKntSqZgANUOAd-Z1uJusD-Sy5Tpqg%3A1699954557366&ei=fT9TZcH0FYeExc8P5qy8UA&oq=statistical+data+quali&gs_lp=Egxnd3Mtd2l6LXNlcnAiFnN0YXRpc3RpY2FsIGRhdGEgcXVhbGkqAggBMgYQABgWGB4yBhAAGBYYHjIIEAAYFhgeGA8yBhAAGBYYHjIGEAAYFhgeMggQABgWGB4YDzIGEAAYFhgeMgYQABgWGB4yCBAAGBYYHhgPMgYQABgWGB5Ik4YBUIQKWNJ2cAF4AZABAJgBmQGgAegPqgEENC4xNLgBA8gBAPgBAcICChAAGEcY1gQYsAPCAggQABgIGB4YDcICChAhGKABGMMEGArCAgUQABiiBMICChAAGIAEGBQYhwLCAgUQABiABMICBxAAGBMYgATCAggQABgWGB4YE8ICCBAAGBYYHhgK4gMEGAAgQYgGAZAGBg&sclient=gws-wiz-serp|statistical data quality]] - Google Suche
 +    * [[https://stats.oarc.ucla.edu/stata/faq/how-can-i-see-the-number-of-missing-values-and-patterns-of-missing-values-in-my-data-file/|How can I see the number of missing values and patterns of missing values in my data file?]]
 +      * Stata FAQ
 +    * [[https://dzone.com/refcardz/understanding-data-quality|Understanding Data Quality]] by Sibanjan Das 
 +      * maybe not usable for us?
 +    * [[https://www.montecarlodata.com/blog-data-quality-testing/|Data Quality Testing: 7 Essential Tests]] by Tim Osborn
 +    * https://www.keboola.com/blog/data-quality-checks 
 +  * Kai Habermehl
 +    * https://www.mathematik.tu-darmstadt.de/optimierung/arbeitsgruppe_optimierung/personen_1/former_staff_members/maxmustermann_8.en.jsp
 +  * AI data quality
 +    * [[https://www.google.com/search?channel=fs&client=ubuntu-sn&q=ai+data+quality+tools|AI data quality tools]] - a Google search
 +
 +  * FuE
 +    * [[https://www.bundesfinanzministerium.de/Web/DE/Themen/Steuern/Steuerliche_Themengebiete/Forschungszulage/forschungszulage.html|Steuerliche Förderung von Forschung und Entwicklung]]
 +
 +  * Statistics and Java
 +    * [[https://www.oreilly.com/library/view/mastering-java-for/9781782174271/116ba2e3-a8b1-4d21-8e3c-734aeafc7822.xhtml|Mastering Java for Data Science]] by Alexey Grigorev
 +    * Statistics Libs
 +      * [[https://commons.apache.org/proper/commons-math/userguide/stat.html|Apache Math]]
 +      * https://github.com/jethronap/jstat
 +    * Misc
 +      * [[https://dev.to/habeebcycle/performing-basic-stats-in-java-8-5dfl|Performing basic stats in Java 8]]
 +      * https://stats.stackexchange.com/questions/37466/open-source-java-library-for-statistics-at-the-level-offered-by-a-graduate-stati
 +
 +
 +  * R
 +    * https://www.r-project.org/about.html
 +    * Java and R
 +      * https://www.baeldung.com/java-r-integration
 +      * https://stackoverflow.com/questions/10319067/how-do-you-run-an-r-program-from-java
 +
 +  * AI
 +    * z.B. Code Interpreter von OpenAI