Aktualisierung der Zuordnung von Messwerten zu OSM

[drooembueddel]

Hey,

mir ist aufgefallen, dass es (im Portal Berlin Brandenburg) aktuell Messwerte gibt, die eine Way-ID haben, welche im aktuellen OSM-Datensatz (nicht mehr) existiert. Ich denke das liegt daran, dass der Messwert auf das OSM-Netz gematched wurde, als es noch einen Way mit der ID gab, dieser Way aber seitdem gelöscht wurde.
Ich gehe davon aus, dass das matchen direkt beim Upload der Daten passiert? Und wenn ich es richtig verstanden habe, kann ein solches matchen für die gesamte Datenbank nachträglich nochmals durchgeführt werden (z.B. um eine verbesserte Methode des matching anzuwenden und idealerweise mehr Messwerte zu erhalten, die den richtigen Straßen zugeordnet sind).

Meine eigentliche Frage: Kann ich irgendwo sehen, wann diese Berechnung das letzte mal durchgeführt wurde?

VG

[simse]

Hi,
du kannst dir im „internen Bereich“ (osm-Anmeldung nötig) auch die historischen OSM Daten (OSH) herunterladen:

https://osm-internal.download.geofabrik.de/europe/germany/brandenburg.html

Alternativ könntest du auch mit dem Stand vom OSM-Netz arbeiten, was beim Einrichten des Portals genutzt wurde (vermutlich Juni 2022, das weiß @renemk genau). Dann fehlen dir allerdings die Infos die seither in OSM ergänzt wurden.
Das Mapmaching findet beim Upload in das Portal statt mit dem OSM-Netz was damals auf den Server gepackt wurde. Meines Wissens wird das Mapmatching bei einem Portal-Update (z.B. von 0.7.0 auf 0.8.0, was vermutlich in Bälde ansteht) nochmal wiederholt mit einem entsprechenden neuen OSM-Netz. Dann könntest du dir die Arbeit auch sparen.

Ich hoffe das hilft erst mal etwas weiter.

Schöne Grüße
Simon

[opatut]

Meine eigentliche Frage: Kann ich irgendwo sehen, wann diese Berechnung das letzte mal durchgeführt wurde?

Das kannst du genau sehen, wenn du Zugang zur PostgreSQL-Datenbank hast, in der Tracks-Tabelle gibt es die Spalte processed_at. In der Weboberfläche wird dieses Datum aber nicht angezeig.

Es gibt auch keinen Aufschluss darüber, wie alt die OSM-Informationen sind, die beim Verarbeiten des Tracks verwendet wurden, da der:die Admin diese ja von Hand aktualisieren muss. Aber du weißt dann zumindest wie alt die Informationen mindestens sind.

Trick: Wenn du einen einzelnen Track neu importieren möchtest, kannst du die Sichtbarkeit umstellen (zum Beispiel öffentlich und dann wieder privat schalten, oder eben andersrum, je nachdem was du am Ende haben möchtest). Wenn du das machst wird der Track neu importiert. In der kommenden Version 0.8.0 gibt es dafür auch im Bulk-Edit Modus einen „Reprocess“ Knopf, um einige oder alle deiner eigenen Tracks neu verarbeiten zu lassen.

LG Paul

LG Paul

[drooembueddel]

Hey,
danke für eure Rückmeldung. Auch für den Hinweis, dass das Matching mit einer lokalen OSM-Kopie gemacht wird.
Dass die Messwerte jetzt aktuell rausfallen ist für mich gerade nicht so relevant - ich fand eher die Frage interessant, wie oft das über einen gewissen Zeitraum passiert und welche Auswirkungen das auf eine Arbeit mit den Daten haben würde (auch wenn eine Stichprobe von n=1 bedingt aussagekräftig ist ).

Wenn @renemk noch weiß welchen Stand das Netz hatte, würde ich mich also sehr freuen

Danke und Viele Grüße

[gluap]

In der gerade releasedten portalversion 0.8.0 können auch die Straßenstatistiken exportiert werden. Und da sind dann auch die way-ids mit den zugehörigen Geometrien drin so wie sie das Portal für die Auswertung verwendet hat. Das war übrigens ein Featurewunsch aus Brandenburg .

Das kann man auf obs.adfc-hessen.de unter „export“ ausprobieren (weil wir das dort testweise ausgerollt haben, Upgrade des zentralen Portals auf portal.openbikesensor.org folgt demnächst).

Gern kann ich mich mit @renemk kurzschließen ob er da unterstützung für Brandenburg für braucht.

[renemk]

Hej,
die OSM-Daten des Brandenburger Portals stammen von Anfang Juli des vergangenen Jahres @drooembueddel.
@gluap & @opatut Besten Dank für die Arbeit an der neuen Version und für die gute Dokumentation. Das Update sollte ich hinbekommen. Anderenfalls melde ich mich nochmal.
Eine Rückfrage da die Tracks eh erneut verarbeitet werden: Ist es sinnvoll vor dem Upgrade einen erneuten und aktuellen OSM Import durchzuführen oder würdet ihr hierzu ein anderes Verfahren empfehlen bzw. davon ganz abraten?
LG René

[drooembueddel]

Super, vielen herzlichen Dank!

[gluap]

Wegen dem reimport sollten wir uns nach dem Import unterhalten. Es gibt eine neue Importpipeline, die auch auf schwachbrüstigeren VMs ohne großen Aufwand den Import der ganzen Deutschlandkarte ermöglicht. Um das möglichst einfach zu machen, müssen wir aber noch vorkonvertierte Karten bereit stellen. Alternativ ist der Prozess hier dokumentiert:
portal/docs/osm-import.md at main · openbikesensor/portal · GitHub. Die Idee ist „Transform data“ auf einem starkbrüstigen Rechner (Desktop oder Laptop) durchzuführen und nur den „Import“ schritt auf der VM. Wir bereiten uns drauf vor, die deutschlandkarte vortransformiert zum Download anzubieten, das ist aber noch nicht fertig. Dann müsste man nur noch importieren.

[simse]

Vielen Dank an der Stelle nochmal an alle Beteiligten, besonders @gluap, @opatut und @renemk!

Kleine Anmerkung zum Brandenburg-Portal:
Wir hatten uns damals entschieden nur das OSM-Netz für Berlin-Brandenburg (BBB) zu verwenden (ich glaube wegen möglichen Performancefragen und weil wir dachten, dass es besser ist möglichst lokal zu bleiben).
Wenn Tracks nun außerhalb von BBB hochgeladen werden, können diese entsprechend nicht dem OSM-Netz gematcht werden. Davon sind aktuell nur wenige (~200) Überholevents betroffen.
Hier ein Beispiel aus Leipzig
Aufgrund der neuen, effizienteren Pipeline und weil man sowieso nochmal ans OSM-Netz ran muss, würde ich vorschlagen nun auch gesamte Deutschland-OSM-Netz zu nutzen, sofern dies für den Server-Admin (@renemk) nicht zu aufwendig ist.