Differences

This shows you the differences between two versions of the page.

--- datachecker [2024/06/25 10:27] – kalaschnikow
+++ datachecker [2024/06/27 12:14] (current) – [Misc] kalaschnikow
@@ Line 1: / Line 1: @@
+====== Datachecker ======
+Ein [[Lieb-ib]] projekt.
+Plausibilisierungssoftware zur Prüfung von Messdaten.
+Based on following document: ''S:\Entwicklung\Plausibilitätsprogramm\2024-01-22-Plausibilisierungssoftware - Teil Lücken und Ausreißer.pptx''
+Git repo: <code>ssh://git@78.47.83.54:/srv/git/sparktest.git</code>
+heliumpackages Git repo: <code>git@78.47.83.54:/srv/git/heliumpackages.git</code>
+See also:
+  * [[Datachecker meetings]]
+  * [[Datachecker performance]]
+===== Teil 2. Lücken und Ausreißer =====
+==== Lücken: Datenlücken (Fall A) ====
+  * Datenlücken, die bspw. aufgrund der Ausfällen entstanden sind.
+  * Die Arten der Datenlücken:
+    * "große" Zeitabstände
+    * "falsche" Messwerte
+      * Wert bleibt hängen
+        * Analyse auf Zeiträume mit gleich bleibenden Werten
+      * Wert ist leer
+      * Wert befindet sich außerhalb von einem "validen" Bereich
+        * => Ausreißer
+  * Häufigkeitsverteilung der Zeitdifferenzen
+    * wie genau?
+  * Vorgehensweise beim Auffinden von Datenlücken
+    * Bestimmen des Zeitabstands
+    * Häufigkeitsverteilung
+    * Daten mit Kennung für Beginn/Ende der Lücke versehen
+    * Statistische Auswertung
+      * wie?
+==== Lücken: Datenlücken (Fall B) ====
+  * Vorgehensweise beim Auffinden von Datenlücken
+    * es wird nach gleich bleibenden Werten über einen längeren Zeitraum gesucht
+===== Chosen way to go =====
+  * we will use as basis open source solutions:
+    * at first based on [[Apache Spark]]
+      * implement following functionalities:
+        * show gaps (Lücken) statistics
+          * **+** count of gaps statistics
+            * **+** diff desc / asc
+            * **+** count desc / asc
+            * **+** percentage of gaps
+          * possibility to define "what is a gap" (diff > X, diff = X, diff < X)
+          * The test data can be fetched from "Oberes Mettertal" project
+            * find out where are gaps (or maybe ask Benjamin / Hr.Lieb)
+        * show wrong data ("falsche" Daten)
+          * der Wert ist über längere Zeit "hängen geblieben"
+        * outliers (Ausreisser)
+    * later (for UI) use [[Apache Zeppelin]]
+      * NOT [[Apache NiFi]]
+        * because Zeppelin seems
+          * to be more convenient for our purposes
+          * to be simpler
+====== Spec ======
+[[Datachecker Spec]]
+  * Misc notes
+    * Start with a simple UI to display our data.
+      * the user should see data as tables AND as graphs.
+        * displaying tables are possible by [[Apache Zeppelin]]
+        * the graphs implementation can be made with built-in (in Zeppelin) JavaScript charting library "NVD3"
+      * it should be possible to see "uncorrected" and "corrected" data.
+====== Misc ======
+[[Open Source Data Quality Tools]]
+[[Charting libraries]]
+=== Protokolle ===
+  * Protokolle liegen unter:
+    * ''/home/vkalaschnikow/Desktop/buero/Projekte/RÜB-Protokolle/'' (Linux)
+    * ''S:\Projekte\RÜB-Protokolle'' (Windows)
+=== Single Point Outliers Examples ===
+  * ***** Calw_wsbe_holz.csv ->
+    * no single point outliers
+  * **x** Calw_wsbe_wimno.csv -> only 1 outlier
+    * 2023-11-13 12:08:41;wsbe_wimno;0,82
+  * **-** Gomaringen_wsbe_mittel.csv
+    * manuell wurden keine Einzelausreisser korrigiert
+  * **-** Gomaringen_wsbe_wittel.csv
+    * 2023-04-30 12:10:37;wsbe_wittel;1,41
+    * 2023-04-30 16:52:36;wsbe_wittel;1,39
+    * 2023-05-01 17:39:06;wsbe_wittel;2,02
+    * 2023-05-09 19:42:40;wsbe_wittel;1,93
+    * 2023-05-09 20:04:42;wsbe_wittel;1,92
+    * 2023-05-14 18:25:16;wsbe_wittel;0,27
+    * 2023-05-15 09:53:57;wsbe_wittel;0,36
+    * 2023-05-15 14:37:41;wsbe_wittel;0,38
+    * 2023-05-15 15:02:53;wsbe_wittel;0,4
+    * 2023-05-15 16:01:57;wsbe_wittel;0,45
+    * 2023-05-20 10:53:17;wsbe_wittel;1,82
+    * 2023-07-13 06:15:25;wsbe_wittel;0,28
+    * 2023-07-14 09:11:16;wsbe_wittel;0,46
+    * 2023-07-16 01:52:06;wsbe_wittel;0,4
+    * 2023-08-04 17:05:41;wsbe_wittel;0,71
+    * 2023-08-19 16:56:40;wsbe_wittel;0
+    * 2023-09-15 16:56:41;wsbe_wittel;0
+    * 2023-10-07 20:02:23;wsbe_wittel;0
+    * ...
+    * 2023-10-07 23:48:25;wsbe_wittel;0
+    * 2023-10-08 00:03:22;wsbe_wittel;0
+    * 2023-10-08 01:24:22;wsbe_wittel;0
+    * ... and many more points nearby of 0 ...
+  * **-** Leonberg_wszu_rueb26.csv
+    * 2023-03-21 07:16:00;wszu_rueb26;0,93
+  * **x** RÜB 4 Glashüttenweg wsbe_rueb4 2022.csv
+    * no single point outliers
+  * **-** RÜB Flacht Süd wsbe_flachtsued 2023.csv
+    * 2023-04-11 15:22:44;wsbe_flachtsued;411,11
+    * 2023-04-17 10:24:33;wsbe_flachtsued;411,01
+    * 2023-12-20 04:55:01;wsbe_flachtsued;409,99
+  * **-** RÜB Porsche wsbe_porsche 2023.csv
+    * 2023-02-03 00:27:01;wsbe_porsche;2,97
+    * 2023-10-07 05:25:33;wsbe_porsche;0,92
+=== Block outliers examples ===
+  * Calw_wsbe_holz.csv -> [[Calw_wsbe_holz]]
+    * Calw RÜB KA Holzbronn
+    * 564 KB
+    * Einstau : > 0,30 m /  Überlauf : > 2,08 m
+    * Einstaustatistik für Mai -> korrekt
+    * **+** Problem mit ''2023-05-24 13:02:28;wsbe_holz;0,45''
+      * sollte nicht valide sein
+        * gelöst mit dem zweiten Lauf
+  * Calw_wsbe_wimno.csv (Wimberg Nord) -> 61 outliers (only 1 single point?)
+    * Calw RÜB Wimberg Nord
+    * 110 MB
+    * Einstau : > 0,90 m /  Überlauf (KÜ) : > 5,53 m /  Überlauf (BÜ) : > 5,78 m
+    * the most outliers are in November
+  * Gomaringen_wsbe_mittel.csv (Mittelbruckgraben)
+    * Gomaringen RÜB 544 Mittelbruckgraben
+    * 19 MB
+    * Einstau : > 0,35 m /  Überlauf : > 2,69 m
+  * Gomaringen_wsbe_wittel.csv (Wittelsäcker)-> [[Gomaringen_wsbe_wittel]]
+    * Gomaringen RÜB 901 Wittelsäcker
+    * 17,9 MB
+    * Einstau : > 0,20 m /  Überlauf : > 1,98 m
+  * Leonberg_wszu_rueb26.csv (Gartenstadt Ost)
+    * Leonberg RÜB 26 Gartenstadt Ost 2023
+    * 18,8 MB
+    * Einstau : > 0,70 m /  Überlauf : > 1,40 m
+  * RÜB 4 Glashüttenweg wsbe_rueb4 2022.csv
+    * Freudenstadt RÜB 4 Glashütte
+    * 18,5 MB
+    * Einstau : > 0,80 m /  Überlauf : > 3,10 m /  (für 2023: Überlauf : > 3,09 m)
+  * RÜB Flacht Süd wsbe_flachtsued 2023.csv -> [[Weissach_wsbe_flachtsued]]
+    * Weissach RÜB Flacht Süd
+    * 8,3 MB
+    * Einstau : > 410,20 mNN /  Überlauf (BÜ) : > 411,65 m / Überlauf (KÜ) : > 411,73 m
+    * **>** remove invalid values
+      * like ''2023-01-15 08:35:28;wsbe_porsche;;''
+      * is not relevant for "Weissach_wsbe_flachtsued" => LATER
+  * RÜB Porsche wsbe_porsche 2023.csv (Weissach) -> [[Weissach_wsbe_porsche]]
+    * Weissach RÜB Porsche 2023
+    * 1,5 MB
+    * Einstau : > 0,20 m /  Überlauf : > 2,66 m
+    * **-** remove invalid values
+      * like ''2023-01-15 08:35:28;wsbe_porsche;;''
+===== Meetings =====
+[[Datachecker Meetings]]