Liveblog: How Starlink works in our corporate network in Germany
Für einen (weniger technischen) Bericht darüber, wie wir überhaupt zu Starlink gekommen sind, bitte hier entlang:
Wie funktioniert Starlink
Starlink macht möglich, was lange für unmöglich gehalten wurde: Schnelles Satelliten-Internet mit niedrigen Latenzen und hohen Bandbreiten überall auf der Welt. Ursprünglich für die ländliche Bevölkerung ausgerichtet stillt Starlink auch in der Digitalisierungswüste Deutschland Schmerzen, die von heimischen Netzbetreibern hervorgerufen werden. Aber wie macht SpaceX, der Anbieter von Starlink, das eigentlich?
Die Antwort ist grob gesagt eine sehr hohe Anzahl niedrig fliegender Satelliten. Durch die niedrigen Umlaufbahnen ist die Entfernung zwischen Endbenutzer:in und Satellit gering, was schnelle Ping-Zeiten begünstigt. Iridium z.B., der “alte Hase” im Satelliten-Kommunikationsgeschäft hat Satelliten in 780km Höhe. SpaceX lässt seine Satelliten im Low Earth Orbit von 328 bis 614km fliegen (zum Zeitpunkt dieses Blog-Beitrages und somit des ersten Beta-Tests befinden sich die meisten Satelliten in einem Zielorbit von 550km Bahnhöhe). Netter Nebeneffekt ist die Tatsache, dass nicht mehr funktionsfähige Satelliten in die Erdatmosphäre abgesenkt werden können, wo sie verglühen. Damit wird Weltraumschrott vermieden.
Durch die hohe Anzahl von Satelliten wird auch eine schnelle Bandbreite ermöglicht. Während Iridium 75 Satelliten betreibt, sollen es bei SpaceX bis zu 42.000 werden (zum Zeitpunkt dieses Blog-Beitrags befinden sich bereits 1.265 Satelliten im All). Und der aktuelle Stand ist sogar noch der “langsamere”: Wenn die Satelliten anfangen untereinander mit Laser-Beams zu kommunizieren (was für alle ab 2022 gestarteten Satelliten geplant ist), werden noch schnelle Geschwindigkeiten im Gigabit-Geschwindigkeitsbereich ermöglicht. Derzeit funken allerdings noch alle Satelliten mit den Bodenstationen.
Es gibt diverse Websites, die die aktuellen Positionen von den Starlink Satelliten anzeigen können, z.B satellitemap.space:
Lieferung & Hardware
Am 23.02.2021 haben wir Starlink bestellt, am 19.03.2021 wurde die Hardware verschickt. Wie von Elon Musk gewohnt, geht SpaceX keine gewöhnlichen Wege: Der Versand erfolgt direkt aus Long Beach, CA USA und ist innerhalb eines Tages nach einer Tortur mit DHL und dem deutschen Zoll nach einer Woche bei uns vor Ort.
In dem Paket befindet sich die Satellitenschüssel (aka. Dishy McFlatface), ein Mount für die Schüssel, ein Router und die PoE Stromversorgung. Die einmaligen Kosten für die Hardware liegen hier etwa bei 500€ plus Versand, obwohl SpaceX laut mehreren Berichten etwa $2500 für die Herstellung bezahlt.
Dishy wird mit etwa 100 Watt über die PoE Stromversorgung betrieben und ist mehr als nur eine Antenne. Laut ersten Teardown-Berichten enthält es neben dem eigentlichen Array aus unterschiedlich ausgerichteten Empfängern ebenfalls einen ARM Prozessor für die Firmware und die Steuerung der Schüssel. Sie kann damit autonom betrieben werden und direkt mit jeder Art von Ethernet-Endgerät verbunden werden. Der beigelegte Router kann auf Wunsch internes Netzwerk-Routing und die Bereitstellung eines WLAN-Netzes übernehmen. Er wird aber nicht benötigt, um das Satelliten-Internet zu nutzen. Dishy selbst funktioniert als DHCP-Server, mit dem das Endgerät an der Schüssel ein IP-Lease erhält.
Aufbau
Das Aufstellen von Dishy gestaltet sich einfach. Die Starlink App, verfügbar im Google Play Store und Apple App Store, unterstützt die Suche nach einem passenden Aufstellort mithilfe von AR. Die einzige Voraussetzung: freie Sicht auf den Himmel ohne Hindernisse im 100° Sichtfeld.
Anschließend muss Dishy aufgestellt und mit dem PoE Adapter an dem 30m langen, fest verbauten Kabel an den Strom geschlossen werden. Wir haben zunächst den mitgelieferten Router angeschlossen und alles über die App eingerichtet.
Die Einrichtung über die App war im Vergleich zu anderen Internet-Anbietern kinderleicht und kann auch von nicht technikaffinen Menschen durchgeführt werden. Die Antenne selbst ist bereits konfiguriert, so dass man hier im Prinzip nur ein WLAN-Namen und -Passwort vergibt. Während der Einrichtung hat sich McFlatface automatisch in die optimale Position gebracht.
Erste Messergebnisse und Erfahrungen
Die ersten Messungen erfüllen unsere Erwartungen. Nach einigen Testläufen erreichen wir sogar höhere Werte als bisher im Internet gemeldet:
Ein Ping von 18ms und ein Download von 181 Mbit/s ist überraschend gut.
Die externe IP-Adresse, die wir zugewiesen bekommen, stammt aus dem 188.95.145.0/24 Netz, heißt "STARLINK-MC-FRA2-IPV4" und ist in den IP Datenbanken in Frankfurt registriert. Das lässt schon einmal darauf tippen, dass wir entweder direkt über eine Ground Station in Frankfurt kommunizieren oder die Ground Station in Frankreich ein direktes Peering nach Frankfurt hat.
Die sicherlich größte Einschränkung von Starlink im Unternehmensumfeld ist derzeit das Carrier-Grade-NAT. Wie aus dem Mobilfunk bekannt bekommen wir also keine IPv4-Adresse (nicht mal eine dynamische) von Dishy, sondern teilen uns eine IP-Adresse mit anderen Kunden. Das erschwert es, sich direkt mit dem Office-Internet zu verbinden, wie z.B. bei der Nutzung eines VPNs. IPv6 wird außerdem aktuell nicht unterstützt. SpaceX scheint IPv6-Support allerdings derzeit zu testen und vermutlich in Zukunft ausrollen.
Nun kann man über VPN-Verbindungen ins Büro geteilter Meinung sein. Gerade klassische Point-To-Site-Verbindungen sind aus unserer Sicht mittlerweile überholt. Wir präferieren den Zero-Trust-Ansatz, da er deutlich sicherer ist. Aber für die verbleibenden Services, die wir lieber über eine abgesicherte Verbindung benutzen, gibt es dank Wireguard auch Peer-To-Peer VPNs – und dank Lösungen wie Tailscale sind diese auch im Firmenkontext gut nutzbar. Trotzdem fühlt es sich auch nicht richtig an, keine feste (oder dynamische) IP-Adresse mehr zu haben.
Gerade auch im Bereich VoIP werden wir hier unsere Erfahrungen ergänzen sobald sie vorliegen. Wir sind gespannt, wie gut das klappt.
Integration in unser Netzwerk
Wie im anderen Starlink-Artikel beschrieben, eignet sich Starlink bislang noch nicht als “primäres Internet”. Wo wir aber bereits jetzt große Hoffnungen haben ist die Verwendung von Starlink als Backup für unsere Internet-Verbindung.
Unsere Netzwerk besteht derzeit neben den Internet-Modems vollständig aus UniFi-Komponenten: Im Hauptnetzwerk haben wir das UniFi USG Pro, fünf UniFi Managed Switche (3 x 48 Port, 2 x 8 Port) sowie 8 aktive Access Points. Die UniFi Controller Software läuft in einer VM auf unserem Server im Büro. In einem Backup Network betreiben wir außerdem eine USG 3P, 1 Switch und 3 Mesh Access Points um im Fall eines Zusammenbruchs des Hauptnetzwerks unsere Kolleg:innen weiterhin mit einer Internetverbindung zu versorgen. Die UniFi Controller Software des Backup Netzwerks wird auf einem Mac Mini ausgeführt.
Das Hauptnetzwerk wird durch eine Vodafone Kabelleitung (↓ ca. 1000 MBit/s ↑ ca. 50 MBit/s) sowie eine Telekom DSL-Leitung (↓ ca. 50 MBit/s ↑ ca. 10 MBit/s) gespeist. Das Backup-Netzwerk wird durch ein Telekom LTE-Modem gespeist (↓ ca. 100 MBit/s), welches im Ausfall eine LTE Tagesflat bucht.
Um Starlink in einem möglichst realen Office-Szenario zu testen, bilden wir für die nächsten Wochen unser Netzwerk weitestgehend nach.
Hierzu verwenden wir eine UniFi USG Pro, sowie zwei UniFi Access Points. Ein Raspberry PI betreibt die UniFi Controller Software und führt automatisch Tests für die Langzeitmessungen durch. Wir brauchen daher den mitgelieferten Starlink-Router nicht. Stattdessen schließen wir den “Power Brick” direkt an unseren Switch an, welcher die Daten via eines dedizierten VLANs an unsere USG Pro weitergibt. Über ein zweites VLAN verteilen wir das “Starlink Internet” an die zwei APs. So können auch unsere Mitarbeiter:innen schon das "Internet aus dem Weltraum", wie sie es beim Aufbau liebevoll genannt haben, testen.
Langzeitmessungen
Um später eine Entscheidung über den Einsatz von Starlink treffen zu können, sammeln wir kontinuierlich Metriken. Wir nutzen hierfür das Tool Telegraf, welches wir als Docker Container auf dem Raspberry PI im Starlink Netzwerk laufen lassen. Der Agent führt regelmäßig Befehle wie Speedtests, Pings, DNS queries etc. aus und pusht diese in die Influxdata Cloud.
Ein entsprechendes Dockerfile und eine Telegraf Konfiguration findest du in diesem Gist.
Aus diesen Daten generieren wir dann unser Dashboard:
Hier lässt sich nach etwa 24h bereits sehen, dass Starlink konstant eine ordentliche Bandbreite zur Verfügung stellt. Teilweise erreichen wir aber auch Download-Geschwindigkeiten von über 200 Mbit/s, was uns sehr positiv überrascht. Es gibt allerdings teilweise auch Ausreißer in den Ping- und DNS-Anfragen. Das macht sich auch bemerkbar, wenn man Starlink vom Laptop aus nutzt. Es gibt hin und wieder Verbindungsabbrüche (teilweise einmal pro Stunde für 1-3 Minuten), die zwar nicht besonders lange dauern, aber störend z.B. bei Videotelefonie sind. Das sollte aber lediglich an der derzeitigen Satellitenkonstellation liegen und sich in Zukunft bessern.
Wie sich Starlink auf Dauer schlägt, werden wir die nächsten Wochen beobachten. Diesen Abschnitt aktualisieren wir ebenfalls, wenn wir mehr Daten vorliegen haben.
(Zwischen)-Fazit
Die ersten Testergebnisse sind sehr vielversprechend. Das Internet ist nutzbar und erreicht gute Geschwindigkeiten, teilweise über unseren Erwartungen. Die gelegentlichen Verbindungsabbrüche machen Starlink jedoch noch nicht zum vollwertigen Ersatz anderer ISPs. Da aber bisher "nur" ca. 1.300 der geplanten 42.000 Satelliten bereitstehen, können wir davon ausgehen, dass es diese Abbrüche bald nicht mehr geben wird.
Ein abschließenden Fazit werden wir in den nächsten Wochen ziehen. Für den ersten Testlauf sind wir aber bereits sehr zufrieden mit unserem neuen Kollegen “Dishy McFlatface” auf der Dachterrasse.
Bist du wie wir an neuen Technologien interessiert?
Wir bei Zweitag suchen immer nach neugierigen Menschen, mit denen wir etwas richtig Cooles auf die Beine stellen können. Wir haben Spaß am gemeinsamen Ausdenken, Ausprobieren, Umsetzen, Optimieren oder Verwerfen und daraus Lernen.
Wenn du Cloud-, Netzwerk- oder Ops-erfahren bist und Lust hast, in einem Umfeld mit Spaß an der Sache an unterschiedlichsten Projekten zu arbeiten, schau doch mal auf unserer Karriereseite vorbei.
