====== Datachecker ====== Ein [[Lieb-ib]] projekt. Plausibilisierungssoftware zur Prüfung von Messdaten. Based on following document: ''S:\Entwicklung\Plausibilitätsprogramm\2024-01-22-Plausibilisierungssoftware - Teil Lücken und Ausreißer.pptx'' Git repo: ssh://git@78.47.83.54:/srv/git/sparktest.git heliumpackages Git repo: git@78.47.83.54:/srv/git/heliumpackages.git See also: * [[Datachecker meetings]] * [[Datachecker performance]] ===== Teil 2. Lücken und Ausreißer ===== ==== Lücken: Datenlücken (Fall A) ==== * Datenlücken, die bspw. aufgrund der Ausfällen entstanden sind. * Die Arten der Datenlücken: * "große" Zeitabstände * "falsche" Messwerte * Wert bleibt hängen * Analyse auf Zeiträume mit gleich bleibenden Werten * Wert ist leer * Wert befindet sich außerhalb von einem "validen" Bereich * => Ausreißer * Häufigkeitsverteilung der Zeitdifferenzen * wie genau? * Vorgehensweise beim Auffinden von Datenlücken * Bestimmen des Zeitabstands * Häufigkeitsverteilung * Daten mit Kennung für Beginn/Ende der Lücke versehen * Statistische Auswertung * wie? ==== Lücken: Datenlücken (Fall B) ==== * Vorgehensweise beim Auffinden von Datenlücken * es wird nach gleich bleibenden Werten über einen längeren Zeitraum gesucht ===== Chosen way to go ===== * we will use as basis open source solutions: * at first based on [[Apache Spark]] * implement following functionalities: * show gaps (Lücken) statistics * **+** count of gaps statistics * **+** diff desc / asc * **+** count desc / asc * **+** percentage of gaps * possibility to define "what is a gap" (diff > X, diff = X, diff < X) * The test data can be fetched from "Oberes Mettertal" project * find out where are gaps (or maybe ask Benjamin / Hr.Lieb) * show wrong data ("falsche" Daten) * der Wert ist über längere Zeit "hängen geblieben" * outliers (Ausreisser) * later (for UI) use [[Apache Zeppelin]] * NOT [[Apache NiFi]] * because Zeppelin seems * to be more convenient for our purposes * to be simpler ====== Spec ====== [[Datachecker Spec]] * Misc notes * Start with a simple UI to display our data. * the user should see data as tables AND as graphs. * displaying tables are possible by [[Apache Zeppelin]] * the graphs implementation can be made with built-in (in Zeppelin) JavaScript charting library "NVD3" * it should be possible to see "uncorrected" and "corrected" data. ====== Misc ====== [[Open Source Data Quality Tools]] [[Charting libraries]] === Protokolle === * Protokolle liegen unter: * ''/home/vkalaschnikow/Desktop/buero/Projekte/RÜB-Protokolle/'' (Linux) * ''S:\Projekte\RÜB-Protokolle'' (Windows) === Single Point Outliers Examples === * ***** Calw_wsbe_holz.csv -> * no single point outliers * **x** Calw_wsbe_wimno.csv -> only 1 outlier * 2023-11-13 12:08:41;wsbe_wimno;0,82 * **-** Gomaringen_wsbe_mittel.csv * manuell wurden keine Einzelausreisser korrigiert * **-** Gomaringen_wsbe_wittel.csv * 2023-04-30 12:10:37;wsbe_wittel;1,41 * 2023-04-30 16:52:36;wsbe_wittel;1,39 * 2023-05-01 17:39:06;wsbe_wittel;2,02 * 2023-05-09 19:42:40;wsbe_wittel;1,93 * 2023-05-09 20:04:42;wsbe_wittel;1,92 * 2023-05-14 18:25:16;wsbe_wittel;0,27 * 2023-05-15 09:53:57;wsbe_wittel;0,36 * 2023-05-15 14:37:41;wsbe_wittel;0,38 * 2023-05-15 15:02:53;wsbe_wittel;0,4 * 2023-05-15 16:01:57;wsbe_wittel;0,45 * 2023-05-20 10:53:17;wsbe_wittel;1,82 * 2023-07-13 06:15:25;wsbe_wittel;0,28 * 2023-07-14 09:11:16;wsbe_wittel;0,46 * 2023-07-16 01:52:06;wsbe_wittel;0,4 * 2023-08-04 17:05:41;wsbe_wittel;0,71 * 2023-08-19 16:56:40;wsbe_wittel;0 * 2023-09-15 16:56:41;wsbe_wittel;0 * 2023-10-07 20:02:23;wsbe_wittel;0 * ... * 2023-10-07 23:48:25;wsbe_wittel;0 * 2023-10-08 00:03:22;wsbe_wittel;0 * 2023-10-08 01:24:22;wsbe_wittel;0 * ... and many more points nearby of 0 ... * **-** Leonberg_wszu_rueb26.csv * 2023-03-21 07:16:00;wszu_rueb26;0,93 * **x** RÜB 4 Glashüttenweg wsbe_rueb4 2022.csv * no single point outliers * **-** RÜB Flacht Süd wsbe_flachtsued 2023.csv * 2023-04-11 15:22:44;wsbe_flachtsued;411,11 * 2023-04-17 10:24:33;wsbe_flachtsued;411,01 * 2023-12-20 04:55:01;wsbe_flachtsued;409,99 * **-** RÜB Porsche wsbe_porsche 2023.csv * 2023-02-03 00:27:01;wsbe_porsche;2,97 * 2023-10-07 05:25:33;wsbe_porsche;0,92 === Block outliers examples === * Calw_wsbe_holz.csv -> [[Calw_wsbe_holz]] * Calw RÜB KA Holzbronn * 564 KB * Einstau : > 0,30 m / Überlauf : > 2,08 m * Einstaustatistik für Mai -> korrekt * **+** Problem mit ''2023-05-24 13:02:28;wsbe_holz;0,45'' * sollte nicht valide sein * gelöst mit dem zweiten Lauf * Calw_wsbe_wimno.csv (Wimberg Nord) -> 61 outliers (only 1 single point?) * Calw RÜB Wimberg Nord * 110 MB * Einstau : > 0,90 m / Überlauf (KÜ) : > 5,53 m / Überlauf (BÜ) : > 5,78 m * the most outliers are in November * Gomaringen_wsbe_mittel.csv (Mittelbruckgraben) * Gomaringen RÜB 544 Mittelbruckgraben * 19 MB * Einstau : > 0,35 m / Überlauf : > 2,69 m * Gomaringen_wsbe_wittel.csv (Wittelsäcker)-> [[Gomaringen_wsbe_wittel]] * Gomaringen RÜB 901 Wittelsäcker * 17,9 MB * Einstau : > 0,20 m / Überlauf : > 1,98 m * Leonberg_wszu_rueb26.csv (Gartenstadt Ost) * Leonberg RÜB 26 Gartenstadt Ost 2023 * 18,8 MB * Einstau : > 0,70 m / Überlauf : > 1,40 m * RÜB 4 Glashüttenweg wsbe_rueb4 2022.csv * Freudenstadt RÜB 4 Glashütte * 18,5 MB * Einstau : > 0,80 m / Überlauf : > 3,10 m / (für 2023: Überlauf : > 3,09 m) * RÜB Flacht Süd wsbe_flachtsued 2023.csv -> [[Weissach_wsbe_flachtsued]] * Weissach RÜB Flacht Süd * 8,3 MB * Einstau : > 410,20 mNN / Überlauf (BÜ) : > 411,65 m / Überlauf (KÜ) : > 411,73 m * **>** remove invalid values * like ''2023-01-15 08:35:28;wsbe_porsche;;'' * is not relevant for "Weissach_wsbe_flachtsued" => LATER * RÜB Porsche wsbe_porsche 2023.csv (Weissach) -> [[Weissach_wsbe_porsche]] * Weissach RÜB Porsche 2023 * 1,5 MB * Einstau : > 0,20 m / Überlauf : > 2,66 m * **-** remove invalid values * like ''2023-01-15 08:35:28;wsbe_porsche;;'' ===== Meetings ===== [[Datachecker Meetings]]