Pulsar-Datenpumpe für isolierte Umgebungen

Aufgabenstellung

In komplexen Systemlandschaften mit mehreren voneinander getrennten Apache-Pulsar-Instanzen kann die Anforderung entstehen, bestimmte Topics selektiv und unidirektional zwischen Umgebungen zu replizieren – etwa bei strengen Netzwerk- oder Sicherheitsrichtlinien.

Da die integrierte Geo-Replikation von Pulsar in solchen Szenarien nur eingeschränkt nutzbar ist (z. B. bei stark segmentierten Firewalls oder fest definierten Kommunikationspfaden), wurde eine spezialisierte, leichtgewichtige Lösung konzipiert und umgesetzt.

Lösungsansatz

Ich habe eine Pulsar-Datenpumpe in Go entwickelt, die Nachrichten performant und zuverlässig zwischen den Umgebungen überträgt:

• Gezielte Unidirektionalität – Replikation ausgewählter Topics von Produktion über Staging bis Test
• Hohe Performance & Skalierbarkeit – Verarbeitung von hunderttausenden Nachrichten pro Sekunde mit effizientem Batching
• Robuste Architektur – stabiler Betrieb selbst bei Netzwerklatenzen oder kurzzeitigen Ausfällen
• Monitoring & Observability – Integration eines Prometheus-Metrikendpunkts für transparente Überwachung und Alarmierung
• Produktionsreife Umsetzung – ressourcenschonend, wartungsfreundlich und für den 24/7-Betrieb ausgelegt

Steckbrief

• Branche: Industriebetrieb
• Zeitraum: 2024
• Technologien
  • Apache Pulsar
  • Go (Custom Datenpumpe)
  • Prometheus / Monitoring
  • TLS / Firewall-separierte Umgebungen

Die Lösung gewährleistet eine zuverlässige Datenversorgung zwischen isolierten Pulsar-Instanzen und ermöglicht so zum Beispiel die kontrollierte Weitergabe produktiver Streams in Staging- und Testumgebungen. Das Go-basierte Tool hat sich als robuste, nachhaltige Ergänzung zur bestehenden Pulsar-Architektur etabliert.