Track inklusive verarbeiteter Daten löschen

Hilfe / Support Portal & Datenverarbeitung
#1

Hi,

ich habe momentan ein Portal testweise installiert und laufen. Wenn ich einen Track hochlade, wird der ja verarbeitet und erscheint dann unter „Map“ mit Messpunkten und dazugehörigen eingefärbten Straßen. Ich habe jetzt einige Testtracks hochgeladen, die keine wahren Messungen mit Autos enthalten. Wenn ich den Track im Portal lösche, ist er dort zwar weg, aber unter „Map“ erscheinen die verarbeiteten Daten immer noch. Wie werde ich sie dort auch los?

Danke, Klaus

#2

Es ist gut möglich, dass das dein Browsercache ist. Die API sendet ziemlich „krasse“ Cache Header auf den Kacheln, ich glaube mit einer Woche Laufzeit. Die sind eben sehr teuer zu berechnen.

Ansonsten, schau mal in die PostgreSQL in der overtaking_events Tabelle (oder singular?), da sollten keine events mehr drin sein. Das läuft über foreignkey constraints und sollte daher gar nicht gehen, dass der Track weg ist aber die events noch da.

1 „Gefällt mir“
#3

Sind noch da in „overtaking_events“, obwohl das nicht möglich sein sollte.

> select * from track;
 id |   slug   |         created_at         |         updated_at         |          title           | processing_status |    processing_queued_at    |        processed_at        | processing_log | customized_title | description | public | uploaded_by_user_agent |          original_file_name          |                                                        original_file_hash                                                        | author_id |     recorded_at     |   recorded_until    | duration |      length      | segments | num_events | num_measurements | num_valid 
----+----------+----------------------------+----------------------------+--------------------------+-------------------+----------------------------+----------------------------+----------------+------------------+-------------+--------+------------------------+--------------------------------------+----------------------------------------------------------------------------------------------------------------------------------+-----------+---------------------+---------------------+----------+------------------+----------+------------+------------------+-----------
  5 | 15vow42k | 2022-02-23 07:57:43.305726 | 2022-02-23 07:57:53.248753 | 2022 02 19T13 26 20 e8a7 | complete          | 2022-02-23 07:57:43.309104 | 2022-02-23 07:57:53.24778  |                | f                |             | f      | OBS/v0.11-dev          | 2022-02-19T13.26.20-e8a7.obsdata.csv | c35b3f9a548f92113496362566b930e537ab03d74f7897e2630365b2ba4c19f24cf4508d836989220b720b5453bb8eb5ffeaadcf58dcf51dde05a9cfe42149fd |         1 | 2022-02-19 13:36:00 | 2022-02-19 13:43:20 |      440 |  2494.7947793029 |        1 |          0 |              442 |       442
  6 | u6u1azgz | 2022-02-23 07:57:48.632185 | 2022-02-23 07:57:57.621017 | 2022 02 19T14 06 06 e8a7 | complete          | 2022-02-23 07:57:48.636037 | 2022-02-23 07:57:57.62001  |                | f                |             | f      | OBS/v0.11-dev          | 2022-02-19T14.06.06-e8a7.obsdata.csv | 97b993c338702afde96d8b8539e6a314aaca6561dffe26043ada37cd8f91b02b3df4f8a0ff40057974075b39879c6097a16edbb16f12c0e1c68f97cecbe46746 |         1 | 2022-02-19 14:07:30 | 2022-02-19 14:22:49 |      919 | 5076.03824625201 |        1 |          1 |              921 |       915
  7 | nz3haso0 | 2022-02-23 07:57:51.748814 | 2022-02-23 07:57:58.110542 | 2022 02 19T21 36 10 e8a7 | complete          | 2022-02-23 07:57:51.751907 | 2022-02-23 07:57:58.109535 |                | f                |             | f      | OBS/v0.11-dev          | 2022-02-19T21.36.10-e8a7.obsdata.csv | 0875f7c7f3c1591c0c887aa69d4b485b050ff9720fb2c9a139e25d6117a1b7cb227c83aa208bbb8b540b58a1dcceba88303a3c6dee9cbc906fb095a703c38bbe |         1 | 2022-02-19 21:47:28 | 2022-02-19 21:48:35 |       67 | 242.014274394845 |        1 |          0 |               69 |        69
  8 | guln39if | 2022-02-23 07:57:58.266225 | 2022-02-23 07:58:15.761305 | 2022 02 15T06 57 44 e8a7 | complete          | 2022-02-23 07:57:58.270491 | 2022-02-23 07:58:15.760566 |                | f                |             | f      | OBS/v0.11-dev          | 2022-02-15T06.57.44-e8a7.obsdata.csv | 70c60606317d71b0245dd19da547116c81d5d0c25c79eba89528e581c9ea09a6c33955c1a05c43b69ec7921513d1edff4cfaec373470f86cc8bb2b18821cabed |         1 | 2022-02-15 07:00:24 | 2022-02-22 07:25:38 |     1512 |  7995.7210244007 |        2 |          0 |             1515 |      1514
  9 | b5nxgt11 | 2022-02-23 07:58:04.435172 | 2022-02-23 07:58:23.214589 | 2022 02 22T16 24 47 e8a7 | complete          | 2022-02-23 07:58:04.439446 | 2022-02-23 07:58:23.213828 |                | f                |             | f      | OBS/v0.11-dev          | 2022-02-22T16.24.47-e8a7.obsdata.csv | 340d495ddd6feccba5eae5c82ccbd939e987d0062df648502e04f4265a478455dc415bb97c3a795839e84a7f364deb96fbe61549403713f432d836cdba66755f |         1 | 2022-02-22 16:28:17 | 2022-02-22 16:52:01 |     1423 | 6893.00112603985 |        2 |          0 |             1425 |      1419
  4 | 3smbm09c | 2022-02-23 07:57:39.322453 | 2022-02-23 07:57:51.895537 | 2022 02 18T15 59 46 e8a7 | complete          | 2022-02-23 07:57:39.328121 | 2022-02-23 07:57:51.894764 |                | f                |             | f      | OBS/v0.11-dev          | 2022-02-18T15.59.46-e8a7.obsdata.csv | aebeda3309a4d70b8ca47470bc9a3455b3888da2c1480814d79632d935a8d6bc9ecc3e71586a3db581611ccaeb9458c064c4ac4ee9da1afd19b5045d7f2e2084 |         1 | 2022-02-18 16:05:50 | 2022-02-18 16:50:39 |     2689 | 952.934605331642 |        1 |          0 |             2691 |      2690
 10 | at2ry0dr | 2022-02-23 09:15:36.80508  | 2022-02-23 09:15:43.494226 | 2022 02 12T15 59 40 e8a7 | complete          | 2022-02-23 09:15:36.811071 | 2022-02-23 09:15:43.49328  |                | f                |             | f      | OBS/v0.11-dev          | 2022-02-12T15.59.40-e8a7.obsdata.csv | 1644a476b97272955ddf3e864f8ae2ca5808a246e7ff91cedc1244ba7817e7d538e56a35ac02ce92e3c43850120479d6fde8abb0c68047b8e13fe43c0d129e42 |         1 | 2022-02-12 16:00:43 | 2022-02-12 16:23:04 |     1340 | 1386.15741911266 |        2 |          0 |             1342 |      1342
(7 rows)



select * from overtaking_event;
 id | track_id |                             hex_hash                             |  way_id   | direction_reversed |                      geometry                      |     latitude     |    longitude     |        time         | distance_overtaker | distance_stationary |      course      |      speed       
----+----------+------------------------------------------------------------------+-----------+--------------------+----------------------------------------------------+------------------+------------------+---------------------+--------------------+---------------------+------------------+------------------
  4 |        6 | 44f38dc677ec8def79fdde735b4cf60233c3c7e16c5c06241e44de9a189c5130 |   4301261 | t                  | 0101000020E6100000606E9C15BAA920409558B84C39804840 | 49.0017486477019 | 8.33149783644257 | 2022-02-19 14:14:56 |               2.18 |                     | 5.35977523318069 | 5.41666666666667
  2 |          | a10d9c223178bec63fa8456633d113018dc7ccf09e6c9b7ab32a7e829eb9a1f3 | 431948806 | f                  | 0101000020E610000046E80C3103B620405B498677147F4840 |       48.9928121 |        8.3554931 | 2022-02-09 11:41:48 |               1.04 |                     |                0 |                0
  3 |          | fcb568fb7926fbed7fc3adee7919595a2fff782566d7183e3304004704fc9d30 |  30760540 | f                  | 0101000020E610000004748E0352B520400821A633387F4840 | 48.9939026414086 | 8.35414134134226 | 2022-02-17 18:28:34 |                0.5 |                     | 5.57929384531735 | 4.91666666666667
(3 rows)


SELECT con.*
       FROM pg_catalog.pg_constraint con
            INNER JOIN pg_catalog.pg_class rel
                       ON rel.oid = con.conrelid
            INNER JOIN pg_catalog.pg_namespace nsp
                       ON nsp.oid = connamespace
       WHERE nsp.nspname = 'public'
             AND rel.relname = 'overtaking_event';
			 
            conname             | connamespace | contype | condeferrable | condeferred | convalidated | conrelid | contypid | conindid | confrelid | confupdtype | confdeltype | confmatchtype | conislocal | coninhcount | connoinherit | conkey | confkey | conpfeqop | conppeqop | conffeqop | conexclop | conbin | consrc 
--------------------------------+--------------+---------+---------------+-------------+--------------+----------+----------+----------+-----------+-------------+-------------+---------------+------------+-------------+--------------+--------+---------+-----------+-----------+-----------+-----------+--------+--------
 overtaking_event_pkey          |         2200 | p       | f             | f           | t            |    26444 |        0 |    26451 |         0 |             |             |               | t          |           0 | t            | {1}    |         |           |           |           |           |        | 
 overtaking_event_track_id_fkey |         2200 | f       | f             | f           | t            |    26444 |        0 |    26434 |     26422 | a           | c           | s             | t          |           0 | t            | {2}    | {1}     | {96}      | {96}      | {96}      |           |        | 
(2 rows)
1 „Gefällt mir“
#4

Event 4 wundert mich nicht, denn Track 6 ist ja da.

Die anderen 2 sind komisch. Die track_id sollte nicht NULL sein.

Vielleciht haben wir die cascades falsch konfiguiert: Cascades — SQLAlchemy 1.4 Documentation Sqlalchemy implementiert ON DELETE CASCADE selbst für DBMS die das nicht können. Evtl nutzen wir das versehentlich, und etwas ist schief gegangen? Sollte man mal investigieren…

#5

Ich habe die beiden anderen jetzt händisch gelöscht. Browser-Cache ist tatsächlich aggressiv, aber die Daten sind weg. Habe einen Issue angelegt: https://github.com/openbikesensor/portal/issues/206
Danke für die Hilfe.

3 „Gefällt mir“
#6

Ich kann den Bug bestätigen.

#7

Ich habe ein MR erstellt: