User Tools

Site Tools


datachecker_performance

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
datachecker_performance [2024/06/12 10:14] – [Datachecker performance] kalaschnikowdatachecker_performance [2024/06/17 16:25] (current) – [Tests of SinglePointOutliersCleaner] kalaschnikow
Line 1: Line 1:
 +====== Datachecker performance ======
 +
 +[[Datachecker]] project
 +
 +
 +===== Tests =====
 +
 +==== Tests of SinglePointOutliersCleaner ====
 +
 +  * eine Jahresdatei aus Freudenstadt - 525602 Sätze (1066 -> invalid)
 +    * bounded (Window size is only 1 record)
 +      * ca. 1 Minute
 +
 +==== Tests of BlockOutlierCleaner ====
 +  * eine "Monatsdatei" aus Freudenstadt - 44640 Sätze
 +          * unbounded 
 +            * ca. 10 Minuten
 +  * eine Datei aus Daten von 2 Monaten aus Freudenstadt - 87841 Sätze
 +    * dauerte ca. 30 Minuten
 +  * eine Jahresdatei aus Freudenstadt - 525602 Sätze (also ca. 500 mal mehr als meine Test-Datei mit 1262 Sätzen)
 +    * unbounded
 +      * von mir nach einer Stunde abgebrochen
 +    * window buffer size = 1000 (ca. 1 Tag)
 +      * ca. 2 Minuten (zu Hause)
 +      * ca. 4 Minuten (im Geschäft)
 +    * window buffer size = 5000 (ca. 3 Tage)
 +      * ca. 10 Minuten (zu Hause)
 +      * ca. 20 Minuten (im Geschäft)
 +    * window buffer size = 10000 (ca. 1 Woche)
 +      * ca. 20 Minuten (zu Hause)
 +