Ein Lieb-ib projekt.

Plausibilisierungssoftware zur Prüfung von Messdaten.

Based on following document: S:\Entwicklung\Plausibilitätsprogramm\2024-01-22-Plausibilisierungssoftware - Teil Lücken und Ausreißer.pptx

Git repo:

ssh://git@78.47.83.54:/srv/git/sparktest.git

heliumpackages Git repo:

git@78.47.83.54:/srv/git/heliumpackages.git

See also:

• Datachecker meetings
• Datachecker performance

• Datenlücken, die bspw. aufgrund der Ausfällen entstanden sind.

• Die Arten der Datenlücken:
  • “große” Zeitabstände
  • “falsche” Messwerte
    • Wert bleibt hängen
      • Analyse auf Zeiträume mit gleich bleibenden Werten
    • Wert ist leer
    • Wert befindet sich außerhalb von einem “validen” Bereich
      • ⇒ Ausreißer

• Häufigkeitsverteilung der Zeitdifferenzen
  • wie genau?

• Vorgehensweise beim Auffinden von Datenlücken
  • Bestimmen des Zeitabstands
  • Häufigkeitsverteilung
  • Daten mit Kennung für Beginn/Ende der Lücke versehen
  • Statistische Auswertung
    • wie?

• Vorgehensweise beim Auffinden von Datenlücken
  • es wird nach gleich bleibenden Werten über einen längeren Zeitraum gesucht

• we will use as basis open source solutions:
  • at first based on Apache Spark
    • implement following functionalities:
      • show gaps (Lücken) statistics
        • + count of gaps statistics
          • + diff desc / asc
          • + count desc / asc
          • + percentage of gaps
        • possibility to define “what is a gap” (diff > X, diff = X, diff < X)
        • The test data can be fetched from “Oberes Mettertal” project
          • find out where are gaps (or maybe ask Benjamin / Hr.Lieb)
      • show wrong data (“falsche” Daten)
        • der Wert ist über längere Zeit “hängen geblieben”
      • outliers (Ausreisser)
  • later (for UI) use Apache Zeppelin
    • NOT Apache NiFi
      • because Zeppelin seems
        • to be more convenient for our purposes
        • to be simpler

Datachecker Spec

• Misc notes
  • Start with a simple UI to display our data.
    • the user should see data as tables AND as graphs.
      • displaying tables are possible by Apache Zeppelin
      • the graphs implementation can be made with built-in (in Zeppelin) JavaScript charting library “NVD3”
    • it should be possible to see “uncorrected” and “corrected” data.

Open Source Data Quality Tools

Charting libraries

• Protokolle liegen unter:
  • /home/vkalaschnikow/Desktop/buero/Projekte/RÜB-Protokolle/ (Linux)
  • S:\Projekte\RÜB-Protokolle (Windows)

• ***** Calw_wsbe_holz.csv →
  • no single point outliers
• x Calw_wsbe_wimno.csv → only 1 outlier
  • 2023-11-13 12:08:41;wsbe_wimno;0,82
• - Gomaringen_wsbe_mittel.csv
  • manuell wurden keine Einzelausreisser korrigiert
• - Gomaringen_wsbe_wittel.csv
  • 2023-04-30 12:10:37;wsbe_wittel;1,41
  • 2023-04-30 16:52:36;wsbe_wittel;1,39
  • 2023-05-01 17:39:06;wsbe_wittel;2,02
  • 2023-05-09 19:42:40;wsbe_wittel;1,93
  • 2023-05-09 20:04:42;wsbe_wittel;1,92
  • 2023-05-14 18:25:16;wsbe_wittel;0,27
  • 2023-05-15 09:53:57;wsbe_wittel;0,36
  • 2023-05-15 14:37:41;wsbe_wittel;0,38
  • 2023-05-15 15:02:53;wsbe_wittel;0,4
  • 2023-05-15 16:01:57;wsbe_wittel;0,45
  • 2023-05-20 10:53:17;wsbe_wittel;1,82
  • 2023-07-13 06:15:25;wsbe_wittel;0,28
  • 2023-07-14 09:11:16;wsbe_wittel;0,46
  • 2023-07-16 01:52:06;wsbe_wittel;0,4
  • 2023-08-04 17:05:41;wsbe_wittel;0,71
  • 2023-08-19 16:56:40;wsbe_wittel;0
  • 2023-09-15 16:56:41;wsbe_wittel;0
  • 2023-10-07 20:02:23;wsbe_wittel;0
  • …
  • 2023-10-07 23:48:25;wsbe_wittel;0
  • 2023-10-08 00:03:22;wsbe_wittel;0
  • 2023-10-08 01:24:22;wsbe_wittel;0
  • … and many more points nearby of 0 …
• - Leonberg_wszu_rueb26.csv
  • 2023-03-21 07:16:00;wszu_rueb26;0,93
• x RÜB 4 Glashüttenweg wsbe_rueb4 2022.csv
  • no single point outliers
• - RÜB Flacht Süd wsbe_flachtsued 2023.csv
  • 2023-04-11 15:22:44;wsbe_flachtsued;411,11
  • 2023-04-17 10:24:33;wsbe_flachtsued;411,01
  • 2023-12-20 04:55:01;wsbe_flachtsued;409,99
• - RÜB Porsche wsbe_porsche 2023.csv
  • 2023-02-03 00:27:01;wsbe_porsche;2,97
  • 2023-10-07 05:25:33;wsbe_porsche;0,92

• Calw_wsbe_holz.csv → Calw_wsbe_holz
  • Calw RÜB KA Holzbronn
  • 564 KB
  • Einstau : > 0,30 m / Überlauf : > 2,08 m
  • Einstaustatistik für Mai → korrekt
  • + Problem mit 2023-05-24 13:02:28;wsbe_holz;0,45
    • sollte nicht valide sein
      • gelöst mit dem zweiten Lauf
• Calw_wsbe_wimno.csv (Wimberg Nord) → 61 outliers (only 1 single point?)
  • Calw RÜB Wimberg Nord
  • 110 MB
  • Einstau : > 0,90 m / Überlauf (KÜ) : > 5,53 m / Überlauf (BÜ) : > 5,78 m
  • the most outliers are in November
• Gomaringen_wsbe_mittel.csv (Mittelbruckgraben)
  • Gomaringen RÜB 544 Mittelbruckgraben
  • 19 MB
  • Einstau : > 0,35 m / Überlauf : > 2,69 m
• Gomaringen_wsbe_wittel.csv (Wittelsäcker)→ Gomaringen_wsbe_wittel
  • Gomaringen RÜB 901 Wittelsäcker
  • 17,9 MB
  • Einstau : > 0,20 m / Überlauf : > 1,98 m
• Leonberg_wszu_rueb26.csv (Gartenstadt Ost)
  • Leonberg RÜB 26 Gartenstadt Ost 2023
  • 18,8 MB
  • Einstau : > 0,70 m / Überlauf : > 1,40 m
• RÜB 4 Glashüttenweg wsbe_rueb4 2022.csv
  • Freudenstadt RÜB 4 Glashütte
  • 18,5 MB
  • Einstau : > 0,80 m / Überlauf : > 3,10 m / (für 2023: Überlauf : > 3,09 m)
• RÜB Flacht Süd wsbe_flachtsued 2023.csv → Weissach_wsbe_flachtsued
  • Weissach RÜB Flacht Süd
  • 8,3 MB
  • Einstau : > 410,20 mNN / Überlauf (BÜ) : > 411,65 m / Überlauf (KÜ) : > 411,73 m
  • > remove invalid values
    • like 2023-01-15 08:35:28;wsbe_porsche;;
    • is not relevant for “Weissach_wsbe_flachtsued” ⇒ LATER

• RÜB Porsche wsbe_porsche 2023.csv (Weissach) → Weissach_wsbe_porsche
  • Weissach RÜB Porsche 2023
  • 1,5 MB
  • Einstau : > 0,20 m / Überlauf : > 2,66 m
  • - remove invalid values
    • like 2023-01-15 08:35:28;wsbe_porsche;;

Datachecker Meetings