• Zuhause
  • Artikel
  • Peak-Vorbereitungen: Eine Geschichte von Tech im Vorfeld von Weihnachten…
Veröffentlicht am 04-03-2019

Peak-Vorbereitungen: Eine Geschichte von Tech im Vorfeld von Weihnachten…

Es ist wahrscheinlich am besten, mit etwas Hintergrundwissen darüber zu beginnen, was "Peak" für unsere Teams hier in der Notontheighstreet bedeutet. Die Vorweihnachtszeit ist unsere größte und verkehrsreichste Zeit des Jahres. Es erfordert monatelange Planung und einen gewaltigen Aufwand, der funktional übergreifend ist, so dass aus technischer Sicht viel Druck herrscht. Wir sind ein E-Commerce-Unternehmen, daher müssen wir sicherstellen, dass die Website weiterhin funktioniert und so gut wie möglich funktioniert.

Wir hatten in der Vergangenheit einige ziemlich große technische Probleme, die sich folglich stark auf unsere Leistung in der Spitze auswirkten. Vor ein paar Jahren, am Black Friday, hatten wir unsere Anzeige während eines Werbefaktors von X Factor geschaltet, was zu einem enormen Anstieg des Traffic auf der Website führte. Unsere Infrastruktur wurde jedoch nicht auf die richtigen Stufen skaliert, was zu einem kurzen Ausfall führte. Wir mussten vermeiden, dass solche Dinge noch einmal passieren, und letztendlich wollten wir, dass der Rest des Unternehmens mehr Vertrauen in uns als Team hat. Daher musste von unserer Seite viel getan werden.

Im Juli 2018 wurde ich von unserem amtierenden CTO gefragt, ob ich die Verantwortung für die Vorbereitung der Vorbereitungen und die Verwaltung der technischen Anforderungen für Peak übernehmen möchte. Ich hatte so etwas noch nie gemacht. In Anbetracht dessen, was in den vergangenen Jahren passiert war, herrschte ein enormer Druck - ich wusste ganz genau, dass der Erfolg oder Misserfolg von Peak jetzt auf meinen Schultern lag. Viele Dinge könnten schief gehen, aber ich wusste auch, welche fantastische Gelegenheit dies bieten würde. Ich würde nicht nur selbst so viel lernen, sondern es wäre auch eine großartige Gelegenheit für mich, mit Menschen aus allen Bereichen der Branche zusammenzuarbeiten. Menschen, mit denen ich sonst vielleicht nicht zusammen gearbeitet hätte. Meine erste Priorität bestand darin, ein großartiges Tech-Peak-Team aufzubauen. Ich wandte mich an die Leute in jedem Team, um zu sehen, wer daran interessiert wäre, einen Beitrag zu leisten.

Nachdem das Tech-Peak-Team an Ort und Stelle war, begannen wir mit dem Blick auf das, was zuvor geschehen war, und erstellten dann gemeinsam das Gesamtdiagramm für NOTHS und präsentierten es dem gesamten Tech-Team.

Allgemeines NOTHS-Architekturdiagramm

Wir erstellten dann einen Plan für jeden Monat, richteten einen speziellen Slack-Kanal ein, richteten wöchentliche Stand-Ups ein (die sich dann täglich zum Höhepunkt näherten) und starteten die Kommunikationskanäle.

… Was waren die Highlights?

Das Beste war für mich das Gefühl einer teamübergreifenden Zusammenarbeit. Ich nahm an den täglichen Weihnachts-Stand-Ups teil, die Tech vertraten, mit Vertretern aus anderen Bereichen des Geschäfts, um zu diskutieren und gemeinsam die Höhepunkte zu planen. Wir hatten auch eine "Emergency Christmas WhatsApp-Gruppe", eine Gruppennachrichtenkette, die eingerichtet wurde, um alle Probleme während des gesamten Gipfels zu thematisieren. Was habe ich gelernt? Es war großartig zu sehen, was sich hinter Weihnachten hinter den Kulissen abspielt, um sicherzustellen, dass Peak Trading ein Erfolg wird. Zu sehen, wie jedes Team dazu beiträgt und zusammenarbeitet, war wirklich genial.

Eine andere Sache, die gut funktioniert hat, war die Kommunikation, die wir mit dem Rest des Tech-Teams hatten, um ihnen volle Transparenz darüber zu geben, wie die Dinge laufen und was geschehen muss. Ich stellte sicher, dass Tech die tägliche Prognose des erwarteten Verkehrs, des TTV, der Anzahl der Unique User und der Checkouts usw. sichtbar machte, sodass wir entsprechend planen konnten. Ich stellte auch sicher, dass das Team alle wichtigen Veranstaltungsdaten, Dinge wie TV-Sponsoren, Popup-Shop-Termine und alle wichtigen Marketingstrategien, die zu einer Verkehrszunahme führen können, kennt. So konnten wir unsere Infrastruktur entsprechend skalieren. Ich hielt das Team auch in Bezug auf unsere Leistung im Verhältnis zum Ziel und zum Vorjahr auf dem Laufenden, sodass wir jeden Tag alles nachverfolgen konnten.

Wir haben mit den technischen Vorbereitungen begonnen, indem wir alle während des Peaks 2017 festgestellten Probleme überprüft haben. Außerdem haben wir eine Auswirkungs- und Risikoanalyse aller Tech-Services für Peak durchgeführt und welche Maßnahmen erforderlich waren, um die Stabilität des Services zu gewährleisten.

Zu den wichtigsten Aspekten der Peakvorbereitung gehören Lasttests, bei denen Sie die Systemleistung unter simulierter Belastung testen. Wir haben viel Wert auf Lasttests gelegt, was ich hervorheben möchte, weil es einen großen Unterschied gemacht hat. In den vergangenen Jahren wurde die Vorbereitung auf den Gipfel so kurzfristig durchgeführt, dass die Teams nie wirklich Zeit hatten, Engpässe rechtzeitig zu beheben. Letztes Jahr haben wir uns jedoch die Zeit genommen, alle Engpässe zu beheben, die sich letztendlich auf den Höhepunkt des Erfolgs ausgewirkt haben.

Ein Beispiel waren Engpässe bei Anfragen, die bei 160.000 U / min (Requests pro Minute) begrenzt wurden. Der von Nginx verwendete Lastausgleichsalgorithmus verursachte eine ungleichmäßige Verteilung des Datenverkehrs auf die Anwendungscontainer. Dies führte dazu, dass Container überlastet und ungesund wurden (langsam reagierend), wodurch sie nicht mehr in Rotation versetzt wurden und alle Nginx-Instanzen die Konfiguration neu geladenen. Nachdem sie aus der Rotation genommen wurden, wurden sie wiederhergestellt und wieder hinzugefügt, was dazu führte, dass alle Nginx-Instanzen ihre Konfiguration erneut laden. Dies wurde durch ein Upgrade von Nginx und die Verwendung des neuen Lastausgleichs-Algorithmus "Power of Two" behoben, der eine gleichmäßigere Verteilung auf Container ermöglichte.

Eines der Ergebnisse des Belastungstests

Ein weiteres Beispiel für einen Engpass, der hervorgehoben werden soll, ist das ältere Benutzeranmeldungsproblem, das während des Lasttests festgestellt wurde. Das Benutzeridentitätsteam hat wirklich hart gearbeitet und das Problem behoben. Es gelang ihnen, die Zeit, die ein älterer Benutzer für die Anmeldung benötigte, von 20 Sekunden auf <500 Millisekunden zeitlich zu reduzieren.

Unser Ziel für peak war es, ab Peak 2017 + 10% des Verkehrsprofils bewältigen zu können. Nach ausgiebigen 70 Lasttests zeigten die Ergebnisse, dass wir für die Last bereit sind. Wir haben es sogar geschafft, dass unsere Infrastruktur das Doppelte des Verkehrsaufkommens in der Spitze von 2017 übertrifft.

Das Training war ein weiterer wichtiger Aspekt unserer Aktivitäten, um sicherzustellen, dass alle auf dem neuesten Stand waren und wussten, was zu tun war. Wir haben Runbooks für jeden Service erstellt, sodass die Bereitschaftsmitarbeiter wissen, was bei Problemen zu tun ist. Außerdem haben wir uns mit der Überprüfung und Einrichtung von Alarmen für jeden einzelnen Service beschäftigt und Überwachungs-Dashboards für alle wichtigen Services und Kundenreisen erstellt, die wir kurz vor dem Peak überwachen wollten. Wir haben einen Spitzenkalender erstellt, um die Verfügbarkeit der Ingenieure sichtbar zu machen und Urlaubserwartungen zu steuern. Das Beste an meinem Spitzenteam war, dass jedes Mitglied verschiedene Aspekte der Arbeit übernahm und mit äußerster Aufrichtigkeit abschloss.

Und wie ist es gelaufen?

Es ist sehr wichtig, ein gutes Team zu haben, das dieselbe Vision hat und darauf hinarbeitet. Ich muss sagen, dass jedes Mitglied des Peak-Teams unglaublich motiviert war, sehr gut miteinander gearbeitet hat und bereit war, alles zu tun, um das Ziel zu erreichen.

Wir waren im Oktober letzten Jahres fertig. Wir haben unsere Infrastruktur Ende November skaliert, das Geschehen genau verfolgt und nach Weihnachten heruntergefahren. Ich kann mit Stolz sagen, dass wir keine technischen Probleme hatten, die sich auf TTV negativ auswirkten, und dass der Höchststand 2018 ein großer Erfolg war. Es war ein Triumph für das Tech-Team, das so eng mit dem Rest des Geschäfts zusammenarbeitete, und ich hoffe wirklich, dass es viele Gipfel wie dieses geben wird!

Das weihnachtliche Stand-Up-Crossfunktions-Team in Schwarz am Black Friday!

Siehe auch

Was maschinelles Lernen für Workflow bedeutetWie haben sie es getan? Eileens Übergang von der Forschung zur Healthcare TechDie Ursprünge der Workflow-SoftwareDie Securities and Exchange Commission bittet das Gericht, das Mobiltelefon von Elon MuskVon: someguy@somebigcorp.com%0AFrom: page2me@msn.comRufen Sie + 1888–809–7444 an, um Support für Ihre AOL-Nummer für technischen Support zu erhalten