Einstiegsdaten für die Datenanalyse

Hier findet ihr einen Testdatensatz mit fast 2000 Überholevents aus der Region Darmstadt-Dieburg (können unter Windows z.B. mit 7zip geöffnet werden, unter Linux mit tar -Jxf extrahiert werden.)

Edit auf @opatut s Anregung hin: Ihr dürft die Daten unter der CC0 Lizenz verwenden. Ab der zweiten Version die ich hochlade, werde ich (falls ich das tue) Versionsnummern vergeben.

Ganz ohne Einarbeitung helfen die Daten natürlich noch nix - für einen Start in die Auswertung braucht es also noch die OpenBikeSensor-Scripts.

Quickstart: Mit folgender Kommandoabfolge kann ich eine erste Auswertung erzeugen (Vorraussetzung: git, python, curl, bash oder ähnliche shell).

# fetch the script
git clone https://github.com/openbikesensor/OpenBikeSensor-Scripts.git
# create virtual environment to not mess up global python packages and install scripts
python3 -m venv venv; venv/bin/pip install -e OpenBikeSensor-Scripts
# copy the html stuff to local directory and go there
popd; mkdir local; cp -r OpenBikeSensor-Scripts/visualization local; pushd local
# download example data
curl -O https://xn--grgen-jua.name/datadump.tar.xz
# unpack example data
tar -Jxf datadump.tar.xz
# make subdirectory for analysis results
# analyze data (can take long, may need to run several times if it aborts with errors)
../venv/bin/obs-face -ACV -i datadump --output-geojson-roads visualization/json/roads.json --output-geojson-measurements visualization/json/measurements.json -b .
# run local web server
pushd visualization ; ../venv/bin/python3 -m http.server --bind localhost 5000
# now browse to http://localhost:5000 and zoom the measurements or roads map to somewhere near Darmstadt (30km south of Frankfurt am Main)

Da die Tracks sich über fast 300 Tiles und 1944 events erstrecken, dauert die Auswertung etwas (20 - 30 Minuten bei mir).

Alternativ können die Daten natürlich auch zum Testen in ein selbstaufgesetztes Portal hochgeladen werden. Oder wenn eine schnellere Auswertung gewünscht ist, kann ein Verzeichnis mit nur ein paar der .csv Dateien aus dem datadump verzeichnis angelegt und ausgewertet werden.

Zum Hintergrund: Als ich angefangen habe, das Portal für den ADFC Darmstadt aufzusetzen, hatten wir noch keine OBSe und keine Daten. Ich habe deshalb mit einem einzelnen Track aus dem damals noch aktiven Slack experimentiert. Aber eigentlich möchte man das Portal und die Datenauswertung ja gern anspielen, bevor das Gerät am Rad hängt - Gerade wenn man als Initiative auch ein Portal betreibt oder wenn man als „Datenbegeisterter“ an den Visualisierungsskripten arbeiten will. Die Rohdaten sind aber sensitive personenbezogene Daten, deshalb kam man bisher nicht leicht an einen Beispieldatensatz. Zusammen mit ein paar freiwilligen habe ich nun einen Beispieldatensatz zusammen, mit dem am Beispiel von Darmstadt auf echten Daten experimentiert werden kann. Ich habe von allen darin enthaltenen Fahrern die Einwilligung bekommen, dass es für sie OK ist, diese Daten zu veröffentlichen, um Einsteigern eine Basis für die Auswertung zu geben.

4 „Gefällt mir“

Danke dir @gluap und den anderen Freiwilligen, die hier ihren kompletten Datensatz veröffentlichen :heart:

Magst du noch eine Lizenz dranhängen? :wink: Und vielleicht den Dateinamen um eine Versionsnummer oder ein Datum erweitern, falls es irgendwann mal ein Update von dir/euch gibt :slight_smile:

1 „Gefällt mir“

Hi, blöde frage aber bei mir schnallt´s „-e OpenBikeSensor-Scripts“ nicht (Siehe Screenshot) Git clone hat noch funktioniert :pinching_hand:

Könnte ich die Visualisierung nicht einfach auch mithilfe von Google Collab machen ?
Mease

Die Skripte machen viel mehr als nur Datenpunkte auf eine Karte zu malen. Da ist eine Menge Logik drin, um fehlerhaftes GPS zu korrigieren und sauber zu aggregieren. Das kannst du gern nachbauen wo und wie du willst, aber müsstest es halt nachbauen. Ein Google-Produkt wird die Community um den OpenBikeSensor wohl nicht einsetzen…

das OpenBikeSensor-Scripts sollte auf dein Repository verweisen, in das du zuvor mit git clone die Skripte heruntergeladen hast. Wenn du da bereits drin bist, geht auch pip install -e .. Wenn es anders heißt eben der andere Name. Wenn -e nicht erkannt wird, liegts vermutlich an der pip-Version, welche hast du?

1 „Gefällt mir“

Warte, bist du auf Windows? Obige Kommandoabfolg geht von einer sh/bash-Ähnlichen shell aus, vermutlich funktioniert im Windows Command Prompt das Semikolon anders. Probier mal, jedes Kommando an den Semikolons zu teilen und einfach nacheinander auszuführen:

python3 -m venv venv
venv/bin/pip install -e OpenBikeSensor-Scripts

Ob der Rest unter Windows funktioniert, kann ich dir aber nicht sagen, das hab ich nie probiert. popd, pushd, cp -r, cd, curl, tar werden vermutlich alle nicht funktionieren und müssen durch die Betriebssystemspezifische Alternativen ersetzt werden. Eventuell kannst du auch dieses ominöse „Subsystem for Linux“ oder wie das heißt verwenden, vielleicht macht das dein Leben einfacher.

1 „Gefällt mir“

pip vers 21.2.4

Hey vielen Dank, made my day!
Ja an dieses Subsystem werde ich mich jetzt wagen. Kann mir aber durchaus vorstellen dass mit Docker hinzubekommen.

Bezgl. Google verstehe ich den Einwand dass des nicht die Optimale Lösung ist . Ich mein halt fürs Üben zum Umgang mit den Daten für jeden Python Begabten ist es vl. einfacher ein Gefühl dafür zu bekommen.

Danke dir für die rasche Hilfe!

1 „Gefällt mir“

Also die ganzen Kommandos kann man auch irgendwie anders machen, tar runterladen und mit 7zip entpacken, von Hand Verzeichnisse erstellen und Dinge verschieben… das „Skript“ von @gluap wahr wohl mehr als Referenz gedacht. Ich denke, wenn du nachvollziehen kannst was die einzelnen Schritte sind, kann es auch mit Windows cmd.exe klappen, die Python Skripte halt von dort auszuführen und den Rest mit Explorer und Co. zu lösen.

Die Dokumentation des obs-face Kommando ist übrigens hier: https://github.com/openbikesensor/OpenBikeSensor-Scripts/blob/main/docs/obs-face.md Da steht auch wohin welche Dateien sollen und so. Vielleicht kannst du dich daran langhangeln, wenn das Shell Skript zu kryptisch ist, das erklärt etwas generischer was nötig ist. Nur wie du den Aufruf richtig machst, das musst du evtl selbst rausfinden.

Aktuell geht nach „INFO annotating datasets“ nichts weiter…oder wie lange hat das bei euch gedauert ? (Siehe Screenshot 1)

Danke nochmal für den Hinweis mit dem Ubuntu-Terminal unter Windows. Musste noch den „E: Unable to locate package python3-pip“ Fehler beheben.

Konnte bisher zwar die Kartenansicht zum laufen bringen, allerdings (noch) ohne den Daten…

Danke im Voraus

Je nach Rechner, Internet, und Auslastung des Overpass Servers, kann das ganze schon echt lange dauern. Schau mal ob deine CPU Last hoch geht. Das wäre zu erwarten, dass zumindest ab und zu, wenn die Kacheln heruntergeladen sind, die Rechenlast ansteigt.

Du kannst mehr Ausgaben bekommen mit --verbose (oder -v) Flag… glaube ich :wink:

Um das abzukürzen kannst du ja einen Teil der Dateien woanders hin schieben, und nur so 5-10 übrig lassen, und dann mal schauen ob es innerhalb wengier Minuten durchläuft.

1 „Gefällt mir“

Super danke, hat funktioniert :partying_face:

1 „Gefällt mir“

4 Beiträge wurden in ein neues Thema verschoben: Road Segments werden nicht angezeigt