====== MDMS ====== A project of [[lieb-ib]]. ===== Project Goals ===== Make a tool that: * imports data from PCSes (in DE: PLS) * checks imported data * missing values * outliers / ("spikes") * represents data as * curves * raw data * corrected data * ... * makes statistics of * missing values * outlier values * value corrections ===== MDMS ===== [[MDMS Skizze]] - mein Konspekt der Folien von Wolfgang Lieb [[DWA-M 151]] - mein Konspekt vom "Merkblatt DWA-M 151 Messdatenmanagementsysteme (MDMS) in Entwässerungssystemen" ===== Questions ===== ==== General ==== General questions are meaned as questions that do not concern the "technics". * product name * MDMS? (MDMS=MessDaten Management System) * core goal * data correction * data quality evaluation * data representation * business, profitability etc. * who is the user of the MDMS? * how MDMS can be profitable? * budget * how it will be ensured? * time frame * steps * the core | UI | import at first? * developer * is there someone? * should understand the subject (statistics, water etc)? * server based or local * UI * web? * real time * real time system? ==== Questions for Friday 17.11.2023 ==== * General * (see "General" section) * Ausgangssituation * PLS-fähige Software * Vorgehensweise * Einlesen * Ausgabe RÜB-Protokolle in andere Systeme * Weitergehende Auswertungen... * Kurvendarstellung * Was gibt es bereits? * Lücken / Stetigkeit / Ausreisser / "Messspannenthematik" * Kai Habermehl * Ergänzung * KI-Modul zur Datenprüfung * Weitergehende Auswertungen * RÜB-Protokollierung * Rohdaten / Korrigiert / Gegenüberstellung * Saisonalität * Vergleich mit Vorjahren und SFB * Beckenauslastung * Betreiberunterstützung ==== All Questions ==== * Ausgangssituation * was ist schon da? * PLS-fähige Auswertesoftware * wem gehört sie? * welche PLS sind angeschlossen? * wie sieht sie aus? * was heisst "es werden Module Prozesskopplung, Ganglinienauswertung und Berichtsgenerator verwendet"? * "Datenprüfung erfolgt rein optisch" und "Datenkorrektur ist automatisiert" * wie funktioniert beides zusammen? * Vorgehensweise * Einlesen * PLS * RÜB-Protokolle * Daten prüfen * Berechnung von RÜB-Protokollen * was ist gemeint? * Ausgabe Ergebnisse RÜB-Protokolle in andere Systeme (DaBay/DWA-Betrieb) * ist Konvertierung gemeint? * Weitergehende Auswertungen * was ist gemeint? * wie kann man KI verwenden? Our Talk on 17.11.2023: * Sometime the website should be maintained (WordPress based) * texts * small design changes * BaWü: 7000 RÜB * Auswertung * Datenausreisser * Wie oft überläuft ein RÜB * Verhalten zwischen verschiedenen RÜB (ähnlich=gut?) * Verstopfungen erkennen ToDo: * Datenimport * Datenqualität prüfen * Visualisierung Als erstes: Datenqualität prüfen? * Anschauen was schon da ist ==== Misc ==== * RÜB = Regenüberlaufbecken * PLS = Prozessleitsystem * aka * DCS = Distributed Control System * PCS = Process Control System * zeitdeterministisch (= Daten kommen basiert auf Zeitintervallen (?)) * besitzt Datenbasis für alle beteiligten Systeme * DWA = Deutsche Vereinigung für Wasserwirtschaft, Abwasser und Abfall e. V. * https://de.dwa.de/de/ * Statistical data quality (some links about it) * [[https://www.google.com/search?q=statistical+data+quality&client=ubuntu-sn&sca_esv=582184140&channel=fs&sxsrf=AM9HkKntSqZgANUOAd-Z1uJusD-Sy5Tpqg%3A1699954557366&ei=fT9TZcH0FYeExc8P5qy8UA&oq=statistical+data+quali&gs_lp=Egxnd3Mtd2l6LXNlcnAiFnN0YXRpc3RpY2FsIGRhdGEgcXVhbGkqAggBMgYQABgWGB4yBhAAGBYYHjIIEAAYFhgeGA8yBhAAGBYYHjIGEAAYFhgeMggQABgWGB4YDzIGEAAYFhgeMgYQABgWGB4yCBAAGBYYHhgPMgYQABgWGB5Ik4YBUIQKWNJ2cAF4AZABAJgBmQGgAegPqgEENC4xNLgBA8gBAPgBAcICChAAGEcY1gQYsAPCAggQABgIGB4YDcICChAhGKABGMMEGArCAgUQABiiBMICChAAGIAEGBQYhwLCAgUQABiABMICBxAAGBMYgATCAggQABgWGB4YE8ICCBAAGBYYHhgK4gMEGAAgQYgGAZAGBg&sclient=gws-wiz-serp|statistical data quality]] - Google Suche * [[https://stats.oarc.ucla.edu/stata/faq/how-can-i-see-the-number-of-missing-values-and-patterns-of-missing-values-in-my-data-file/|How can I see the number of missing values and patterns of missing values in my data file?]] * Stata FAQ * [[https://dzone.com/refcardz/understanding-data-quality|Understanding Data Quality]] by Sibanjan Das * maybe not usable for us? * [[https://www.montecarlodata.com/blog-data-quality-testing/|Data Quality Testing: 7 Essential Tests]] by Tim Osborn * https://www.keboola.com/blog/data-quality-checks * Kai Habermehl * https://www.mathematik.tu-darmstadt.de/optimierung/arbeitsgruppe_optimierung/personen_1/former_staff_members/maxmustermann_8.en.jsp * AI data quality * [[https://www.google.com/search?channel=fs&client=ubuntu-sn&q=ai+data+quality+tools|AI data quality tools]] - a Google search * FuE * [[https://www.bundesfinanzministerium.de/Web/DE/Themen/Steuern/Steuerliche_Themengebiete/Forschungszulage/forschungszulage.html|Steuerliche Förderung von Forschung und Entwicklung]] * Statistics and Java * [[https://www.oreilly.com/library/view/mastering-java-for/9781782174271/116ba2e3-a8b1-4d21-8e3c-734aeafc7822.xhtml|Mastering Java for Data Science]] by Alexey Grigorev * Statistics Libs * [[https://commons.apache.org/proper/commons-math/userguide/stat.html|Apache Math]] * https://github.com/jethronap/jstat * Misc * [[https://dev.to/habeebcycle/performing-basic-stats-in-java-8-5dfl|Performing basic stats in Java 8]] * https://stats.stackexchange.com/questions/37466/open-source-java-library-for-statistics-at-the-level-offered-by-a-graduate-stati * R * https://www.r-project.org/about.html * Java and R * https://www.baeldung.com/java-r-integration * https://stackoverflow.com/questions/10319067/how-do-you-run-an-r-program-from-java * AI * z.B. Code Interpreter von OpenAI