Datachecker
- Teil 2. Lücken und Ausreißer
  - Lücken: Datenlücken (Fall A)
  - Lücken: Datenlücken (Fall B)
- Chosen way to go
Spec
Misc
- Meetings

Datachecker

Ein Lieb-ib projekt.

Plausibilisierungssoftware zur Prüfung von Messdaten.

Based on following document: S:\Entwicklung\Plausibilitätsprogramm\2024-01-22-Plausibilisierungssoftware - Teil Lücken und Ausreißer.pptx

Git repo:

ssh://git@78.47.83.54:/srv/git/sparktest.git

heliumpackages Git repo:

git@78.47.83.54:/srv/git/heliumpackages.git

Teil 2. Lücken und Ausreißer

Lücken: Datenlücken (Fall A)

Datenlücken, die bspw. aufgrund der Ausfällen entstanden sind.

Die Arten der Datenlücken:
- “große” Zeitabstände
- “falsche” Messwerte
  - Wert bleibt hängen
    - Analyse auf Zeiträume mit gleich bleibenden Werten
  - Wert ist leer
  - Wert befindet sich außerhalb von einem “validen” Bereich
    - ⇒ Ausreißer

Häufigkeitsverteilung der Zeitdifferenzen
- wie genau?

Vorgehensweise beim Auffinden von Datenlücken
- Bestimmen des Zeitabstands
- Häufigkeitsverteilung
- Daten mit Kennung für Beginn/Ende der Lücke versehen
- Statistische Auswertung
  - wie?

Lücken: Datenlücken (Fall B)

Vorgehensweise beim Auffinden von Datenlücken
- es wird nach gleich bleibenden Werten über einen längeren Zeitraum gesucht

Chosen way to go

we will use as basis open source solutions:
- at first based on Apache Spark
  - implement following functionalities:
    - show gaps (Lücken) statistics
      - + count of gaps statistics
        
        + diff desc / asc
        
        + count desc / asc
        
        + percentage of gaps
      - possibility to define “what is a gap” (diff > X, diff = X, diff < X)
      - The test data can be fetched from “Oberes Mettertal” project
        
        find out where are gaps (or maybe ask Benjamin / Hr.Lieb)
    - show wrong data (“falsche” Daten)
      - der Wert ist über längere Zeit “hängen geblieben”
    - outliers (Ausreisser)
- later (for UI) use Apache Zeppelin
  - NOT Apache NiFi
    - because Zeppelin seems
      - to be more convenient for our purposes
      - to be simpler

Spec

Datachecker Spec

Misc notes
- Start with a simple UI to display our data.
  - the user should see data as tables AND as graphs.
    - displaying tables are possible by Apache Zeppelin
    - the graphs implementation can be made with built-in (in Zeppelin) JavaScript charting library “NVD3”
  - it should be possible to see “uncorrected” and “corrected” data.

Misc

Open Source Data Quality Tools

Charting libraries

Protokolle

Protokolle liegen unter:
- /home/vkalaschnikow/Desktop/buero/Projekte/RÜB-Protokolle/ (Linux)
- S:\Projekte\RÜB-Protokolle (Windows)

Single Point Outliers Examples

***** Calw_wsbe_holz.csv →
- no single point outliers
x Calw_wsbe_wimno.csv → only 1 outlier
- 2023-11-13 12:08:41;wsbe_wimno;0,82
- Gomaringen_wsbe_mittel.csv
- manuell wurden keine Einzelausreisser korrigiert
- Gomaringen_wsbe_wittel.csv
- 2023-04-30 12:10:37;wsbe_wittel;1,41
- 2023-04-30 16:52:36;wsbe_wittel;1,39
- 2023-05-01 17:39:06;wsbe_wittel;2,02
- 2023-05-09 19:42:40;wsbe_wittel;1,93
- 2023-05-09 20:04:42;wsbe_wittel;1,92
- 2023-05-14 18:25:16;wsbe_wittel;0,27
- 2023-05-15 09:53:57;wsbe_wittel;0,36
- 2023-05-15 14:37:41;wsbe_wittel;0,38
- 2023-05-15 15:02:53;wsbe_wittel;0,4
- 2023-05-15 16:01:57;wsbe_wittel;0,45
- 2023-05-20 10:53:17;wsbe_wittel;1,82
- 2023-07-13 06:15:25;wsbe_wittel;0,28
- 2023-07-14 09:11:16;wsbe_wittel;0,46
- 2023-07-16 01:52:06;wsbe_wittel;0,4
- 2023-08-04 17:05:41;wsbe_wittel;0,71
- 2023-08-19 16:56:40;wsbe_wittel;0
- 2023-09-15 16:56:41;wsbe_wittel;0
- 2023-10-07 20:02:23;wsbe_wittel;0
- …
- 2023-10-07 23:48:25;wsbe_wittel;0
- 2023-10-08 00:03:22;wsbe_wittel;0
- 2023-10-08 01:24:22;wsbe_wittel;0
- … and many more points nearby of 0 …
- Leonberg_wszu_rueb26.csv
- 2023-03-21 07:16:00;wszu_rueb26;0,93
x RÜB 4 Glashüttenweg wsbe_rueb4 2022.csv
- no single point outliers
- RÜB Flacht Süd wsbe_flachtsued 2023.csv
- 2023-04-11 15:22:44;wsbe_flachtsued;411,11
- 2023-04-17 10:24:33;wsbe_flachtsued;411,01
- 2023-12-20 04:55:01;wsbe_flachtsued;409,99
- RÜB Porsche wsbe_porsche 2023.csv
- 2023-02-03 00:27:01;wsbe_porsche;2,97
- 2023-10-07 05:25:33;wsbe_porsche;0,92

Block outliers examples

Calw_wsbe_holz.csv → Calw_wsbe_holz
- Calw RÜB KA Holzbronn
- 564 KB
- Einstau : > 0,30 m / Überlauf : > 2,08 m
- Einstaustatistik für Mai → korrekt
- + Problem mit 2023-05-24 13:02:28;wsbe_holz;0,45
  - sollte nicht valide sein
    - gelöst mit dem zweiten Lauf
Calw_wsbe_wimno.csv (Wimberg Nord) → 61 outliers (only 1 single point?)
- Calw RÜB Wimberg Nord
- 110 MB
- Einstau : > 0,90 m / Überlauf (KÜ) : > 5,53 m / Überlauf (BÜ) : > 5,78 m
- the most outliers are in November
Gomaringen_wsbe_mittel.csv (Mittelbruckgraben)
- Gomaringen RÜB 544 Mittelbruckgraben
- 19 MB
- Einstau : > 0,35 m / Überlauf : > 2,69 m
Gomaringen_wsbe_wittel.csv (Wittelsäcker)→ Gomaringen_wsbe_wittel
- Gomaringen RÜB 901 Wittelsäcker
- 17,9 MB
- Einstau : > 0,20 m / Überlauf : > 1,98 m
Leonberg_wszu_rueb26.csv (Gartenstadt Ost)
- Leonberg RÜB 26 Gartenstadt Ost 2023
- 18,8 MB
- Einstau : > 0,70 m / Überlauf : > 1,40 m
RÜB 4 Glashüttenweg wsbe_rueb4 2022.csv
- Freudenstadt RÜB 4 Glashütte
- 18,5 MB
- Einstau : > 0,80 m / Überlauf : > 3,10 m / (für 2023: Überlauf : > 3,09 m)
RÜB Flacht Süd wsbe_flachtsued 2023.csv → Weissach_wsbe_flachtsued
- Weissach RÜB Flacht Süd
- 8,3 MB
- Einstau : > 410,20 mNN / Überlauf (BÜ) : > 411,65 m / Überlauf (KÜ) : > 411,73 m
- > remove invalid values
  - like 2023-01-15 08:35:28;wsbe_porsche;;
  - is not relevant for “Weissach_wsbe_flachtsued” ⇒ LATER

RÜB Porsche wsbe_porsche 2023.csv (Weissach) → Weissach_wsbe_porsche
- Weissach RÜB Porsche 2023
- 1,5 MB
- Einstau : > 0,20 m / Überlauf : > 2,66 m
- - remove invalid values
  - like 2023-01-15 08:35:28;wsbe_porsche;;

Meetings

Datachecker Meetings

Table of Contents