Wie setze ich mein eigenes Portal auf?

Ich würde sehr gerne ein Portal für Wien aufbauen aber dazu wäre Know-how notwendig, dass ihr ja schon zu haben scheint… gibts da nicht Infos wie das zu bewerkstelligen wäre? Ich persönlich bin da kein Experte dafür könnte ich aber eventuell in meinem Umfeld Profis finden die mich unterstützen. Wie komme ich an all dieses Wissen? Wo steht das bei euch?
Ich meine das Ernst und nicht provokant! Aber ich bin lernfähig und begierig mich da einzuarbeiten!
Ganz liebe Grüße von einem Neugierigen :hatching_chick::grin:

Hallo @pepponia , schön dass du das machen möchtest. Ich habe deinen Beitrag mal in sein eigenes Thema verschoben, damit er leichter zu finden ist und sich nicht mit dem anderen Thema vermischt :wink:

Prinzipiell gibt es einiges „Vorwissen“, das nötig ist, um ein Portal semi-öffentlich zu betreiben. Vieles von diesem Vorwissen setzen wir in den Anleitungen einfach voraus. Das machen wir nicht nur, weil wir nicht die Kapazitäten haben, alle Grundlagen des IT-Betriebs zu erklären, sondern auch, weil es einfach viel zu viele Varianten und Details gibt, die jede:r in seiner/ihrer Installation unterschiedlich machen möchte. Das liegt in der Natur der Dinge, denn jede:r hat ja auch andere Anforderungen und Erfahrung. Last but not least können wir gar nicht alles Wissen abdecken, was für einen sicheren und zuverlässigen Betrieb einer solchen Software notwendig ist – und da es sich um sensible personenbezogenen Daten handelt, ist ein gewisses Maß an Sicherheit sehr wichtig. Darum sagen wir: Ein Portal für andere Personen zu betreiben, sollte auf jeden Fall von Leuten „vom Fach“ gemacht werden. Eine Einsteigeranleitung stünde dem sehr entgegen.

Dennoch möchte ich hier einige Hinweise geben, wo denn Informationen zum Betrieb der Software zu finden sind, und welche Fertigkeiten mensch mitbringen sollte:

  • Du brauchst einen Linux Server mit Remotezugriff (SSH), den du entsprechend sichern kannst
  • Darauf laufen 3-4 Dienste:
    • Die Portalsoftware
    • Eine PostgreSQL-Datenbank
    • Ein Keycloak Server (für Logins) – optional, ein externer openid-connect Dienst geht auch
    • Ein HTTP-Server, konfiguriert als Reverse Proxy (mit TLS) – z. B. nginx, apache oder traefik
  • Wir empfehlen die Benutzung von Docker, um die Software (Portal, PostgreSQL, Keycloak) zu betreiben, denn dafür haben wir alles vorbereitet, und die Installation (nicht aber Konfiguration oder Betrieb) wird wesentlich einfacher
  • Die Verwaltung der Datenbank ist in den Anleitungen (s. u.) beschrieben, hierfür sollte aber Grundwissen zu SQL-Datenbanken, und wie mensch damit umgeht, vorhanden sein
  • Standard-Verfahren zur Sicherung des Servers: Firewall, Log-Analysen, Backups, … uvm

Wir haben zwei getrennte Anleitungen für den Betrieb der Portalsoftware:

  • Die README im Repository beschreibt, wie du eine Entwicklungs-Installation machst, um auf deinem eigenen Rechner an der Weiterentwicklung des Portals mitzuwirken.
  • Im deployment Verzeichnis im Repository gibt es eine Anleitung, wie beispielweise mit Docker und Traefik (in Docker) ein Portal für den Produktionsbetrieb installiert werden kann. Einige Abschnitte referenzieren auf die README Anleitung, da sie sich nicht groß unterscheiden.

Ein Portal zu betreiben ist natürlich mehr, als nur die erste Installation. Hinzu kommen Verantwortung für das Handeln mit den Daten, und natürlich der laufende Betrieb: Updates einspielen, Backups machen, Fehler suchen und beheben, und Backups einspielen, sollte etwas größeres kaputt gehen. Dazu natürlich noch der Support der Nutzenden und die Miete bzw. Bereitstellung der Ressourcen. Falls du für Teile die technischen Aufgaben dir entsprechend fähige Leute finden kannst, gibt es für dich, @pepponia, ja immer noch genug anderes zu tun, um ein Portal im Endeffekt zu betreiben. So etwas macht mensch am besten im Team :+1:

Ich hoffe, das hilft dir, den Aufwand und die benötigten Fähigkeiten abzuschätzen. Ich würde mich freuen, wenn ihr euch zusammen findet und ein Portal für Wien (oder ganz AT) aufsetzen und betreiben würdet. Für weitere Fragen stehe ich natürlich gern zur Verfügung – oder wir können das auch locker im Montagsmeeting besprechen :slight_smile:

LG Paul

5 „Gefällt mir“

Ich bin gerade dabei ein Tutorial zu schreiben, wie man ein Portal zum Laufen bekommt.

3 „Gefällt mir“

Das wäre soooooo toll!! Danke
Denn ein OBS ohne Portal ist ein zahnloser Löwe :muscle::wink::sunglasses:

Lieber Paul, herzlichen Dank für deine ausführliche Antwort. Ich habe mich sehr über die Informationen gefreut und werde mich so rasch als möglich an die Arbeit machen um ein Team zu finden und mich weiter schlau zu machen. Es ist nicht selbstverständlich, dass du dir die Mühe gemacht hast mir als „Laien“ zu helfen. Hast du übrigens schon mehrmals gemacht! :grinning_face_with_smiling_eyes::sunglasses::pray::nerd_face:

1 „Gefällt mir“

@boldt , sag mal, willst Du Deine Mühen (das Tutorial) nicht auch hier als WIKI einhängen? Es kann jedes mitlesen und Vorschläge machen. Was denkst Du?

Wäre es nicht vielleicht sinnvoll als einen Weg zu erläutern, wie man den Keycloak von openbikesensor.org als openid-connect Dienst benutzen kann?

Den Vorteil sehe ich darin, dass nicht so technisch versierte Menschen sich dann auch hier im Forum ohne weitere Registrierung einloggen können.

1 „Gefällt mir“

Den Vorschlag hatte ich auch schon mal gemacht. Es gab dagegen Vorbehalte, erinnere mich aber nicht mehr an welche genau. Vielleicht kann @opatut nochmal darauf eingehen.

Das zentralisiert personenbezogene Daten (name, email, loginverhalten) in einem einzelnen Dienst, den wir im Moment aus der Community heraus betreiben. Außerdem können Portalbetreiber:innen ihren Nutzer:innen nicht bei Login-Problemen helfen und müssen an uns verweisen. Insgesamt ein komplizierteres Konstrukt, als eine getrennte Keycloak (oder andere OpenID-Connect) Installation aufzusetzen.

Was gibt es für Requirements, um ein Portal zu betreiben?
Was für Leistungsdaten sollte ein Server mindestens haben, was wäre empfehlenswert?
Wie sehr steigen die Anforderungen, wenn mehr Daten dazu kommen?

Ich würde anfangen mit 4G RAM und 2 Kernen, 40 GB SSD (Hetzner CX21 zum Beispiel). Am besten wählst du eine Option, die bei Bedarf größer wachsen kann (VServer). Die Datenverarbeitung passiert ja nur sporadisch, daher ist da nicht viel Bedarf für, aber die großen Mengen OpenStreetMap Daten zu verarbeiten ist auf einem etwas großzügig ausgestatteten System natürlich immer bequemer. Wenn du da geduldig bist geht auch ein schwächeres System. Nur an Festplatte sollte es nicht mangeln, wenn du dann anfängst Backups vorzuhalten und so weiter wirds schnell viele GB.

Rechne mit 10-20 MB pro Track und 3-5GB Daten für die OSM-Daten. Plus Rohdaten, plus cache, plus Freiraum zum importieren und exportieren ist 40GB ein guter Anfangspunkt, nach oben natürlich offen anhand der Anzahl deiner User. Niemand hat bisher für mehr als 50 Leute ein Portal betrieben, da gibt es dann keine Erfahrungswerte mehr.

PS: Ich schreibe gerade ein Kompletttutorial zum Aufsetzen des Portals auf einer Hetzner Cloud VM mit Ubuntu 20.12, um mal eine Abfolge zu haben an der sich neue Portalbetreiber:innen entlanghangeln können. Kommt in den nächsten Tagen irgendwo hier im Forum :wink:

5 „Gefällt mir“

Das bauen der Docker-Images braucht etwas RAM. Ich glaube 2 GB passen gerade so.

Ich habe auch schon (lokal) ein Tutorial für ein Digitalocean-Droplet begonnen, basierend auf meinem PR. Auch das wollte ich zeitnah vollenden.

1 „Gefällt mir“

Gibts schon das Kompletttutorial? :blush:

1 „Gefällt mir“

Am Ende sah mein Tutorial nicht sehr anders aus als die Production-Doku. Entsprechend habe ich diverse Dinge optimiert und alles hier eingearbeitet:

Danke alles ok. Hatte ich noch nicht im Brennpunkt :nerd_face:

1 „Gefällt mir“

Falls irgendwas unklar ist, immer gerne melden. Ich habe schon einige Portale (beim Schrieben der Doku) von Null aufgesetzt.

Moin Paul, @opatut ,
wir beginnen nun mit dem Bau unserer Sensoren und fragen uns wo wir die Daten hochladen sollten. Hast Du einen aktuellen Stand zum Hetzner Server? Ist das ein Kombination aus Aufsetzen des CX 21 und dann Docker-Install von Dennis @boldt ?

Lokale Docker habe ich bereits laufen, allerdings noch nicht in der Cloud aufgesetzt. Bevor ich einen Vertrag bei Hetzner abschließe und es dann doch nicht klappt, würde ich das gerne vorher einmal durchlesen und ggf. auf meiner VM durchspielen.

Ich verifiziere auch gerne Deine Anleitung und ergänze/verbessere diese oder gebe konstruktives Feedback.

Danke Dir!
Grüße
Markus

Ich kann empfehlen, ein paar Cent in die Hand zu nehmen und die Installation auf einer Wegwerf-Cloud-Instanz zu testen, bevor man einen Server mietet. Dafür eignen sich z.B. Droplets bei DigitalOcean. Die kosten pro Stunde wenige Cent.

  • Droplet erstellen
  • Als Image Marketplace → Docker (dann hat man ein vorinstalliertes Docker9
  • CPU: Regular with SSD mit 2GB RAM (liegt im Moment bei $0.015 /hour)

Hast Du einen aktuellen Stand zum Hetzner Server? Ist das ein Kombination aus Aufsetzen des CX 21 und dann Docker-Install von Dennis @boldt ?

Ja also die Anleitung habe ich verworfen, weil sie quasi nur eine Empfehlung zur Server-Auswahl bei Hetzner war, ein kurzer Hinweis darauf dass man sich so einen VM-Server etwas absichern sollte (SSH Daemon gut&sicher konfigurieren, Firewall installieren, …) und dann nur noch der Link zur Deployment-Doku von @boldt.

Ich habe ein komplettes Setup mal auf einer CX21 gemacht, das hat geklappt und gereicht und war auch nicht gerade langsam. Würde ich als Start empfehlen. Upgrade geht ja auch. @boldt, Hetzner Cloud rechnet auch Minuten (Stunden?) basiert ab, bis zu einem monatlichen Limit. DigitalOcean ist von den Features also vergleichbar, vermutlich etwas günstiger, nur leider einer US Firma :wink:

Bevor ich einen Vertrag bei Hetzner abschließe und es dann doch nicht klappt, würde ich das gerne vorher einmal durchlesen und ggf. auf meiner VM durchspielen.

Der Vertrag an sich kostet erstmal nichts, erst wenn du Server anlegst wollen sie Geld haben, und zwar nach Nutzungsdauer, s.o – bei cloud.hetzner.com gibt’s keine Mindestvertragslaufzeit. Ich glaube sie buchen einen Euro ab um die Bankverbindung zu testen oder so, aber das war’s dann.

N’Abend, wir bauen grad :wink: muss mir Eure Antworten dann in Ruhe durchlesen. Heute kam eine Werbung für den Strato V20 Server rein für 7€/Monat. Wäre das eine Alternative?

Danke Euch!!

Grüße
Markus