Latest / Coding Buddies | Tech & Dev-Mindset / Big Software Fails #2 - Wie man in 45 Min 440 Mio verliert

Transcript

Big Software Fails #2 - Wie man in 45 Min 440 Mio verliert · Coding Buddies | Tech & Dev-Mindset

0:01
Am 1. August 2012 begann die Wall
0:04
Street ihren normalen Handelswahnsinn, wie ein
0:06
Unternehmen innerhalb von 45 Minuten $440000000.
0:12
Durch einen Softwarefehler verlor, das erfährst du in
0:14
dieser Folge Coding Body, Deinem Podcast rund um
0:18
Softwareentwicklung und aktueller Technews herzlich
0:21
willkommen. Herzlich Willkommen zur neuen
0:35
Folge des Goating Body Podcasts. Schön, dass du wieder
0:37
eingeschaltet hast, dass wir alle wieder zusammen sind.
0:40
Zum einen meine Wenigkeit, Tino und natürlich auch der
0:43
fantastische Fabi wieder an meiner Seite fabi Grüße dich
0:47
halli Hallo Tino, Wie geht es dir?
0:50
Was geht ab? Alles gut bei dir?
0:52
Ja, ich bin n bisschen müde, weil, also was heißt müde
0:55
eigentlich bin ich glaub ich nicht müde, aber ich wurde heute
0:57
echt mies geweckt. Also von was?
1:02
Irgendwann heut morgen. Ich weiß auch nicht, weißt du,
1:04
wenn du so aufwächst mit dem Geräusch von einer Flex oder so
1:09
von um 7 an und ich bin ungefähr 07:30 Uhr oder so aufgestanden
1:12
und von um 7 bis 07:30 Uhr denkst du ich will noch
1:15
schlafen, ich will noch schlafen.
1:18
Und die ganze Zeit immer in so einem Rhythmus.
1:19
Hat irgendjemand dreimal irgendwo draufgehämmert und ich
1:23
dachte mir, sowas machen die da, lasst mich, das war die eiskalte
1:27
Realität, die gesagt hat, du musst jetzt langsam wirklich mal
1:30
aufstehen, wahrscheinlich gibt es jetzt auch ein paar Zuhörer,
1:32
die sich denken, was halbakt. Aber zu Deiner Verteidigung ist
1:38
es auch so meine Zeit. Es mag vielleicht daran
1:40
geschuldet sein, dass wir zusammenarbeiten und so einen
1:43
ähnlichen Tagesablauf haben. Ja, aber so eine Flex ist
1:47
natürlich, wie sagt man super nervig, denn am Morgen ist eine
1:52
schöne Sache. Ich hatte war nicht heute, aber
1:57
die Woche. Einfach ein ständiges Klingeln,
2:00
weil die die Anlage getestet wurde, weil beim Nachbarn die
2:05
Klingel nicht funktioniert. Und da hat es einfach im Haus
2:08
ständig geklingelt und auch meine Klingel, quasi weil alle
2:10
durchgetestet wurden. Da denkst du dir so Leute nicht
2:15
cool waren. Wirklich nicht cool.
2:18
Das war um 7 oder so. Ja kannst du die nicht so
2:21
ausschalten? Manche kann man ja irgendwie
2:23
ausschalten, aber ja ich hab sie einfach von der Wand gerissen,
2:26
sehr gut und hab gesagt wenn du schon mal da bist, kannst du ja
2:28
später reparieren, meine ist übrigens kaputt.
2:33
Nein, na gut, OK, das war natürlich nur Spaß, es wurde
2:37
geklärt und ich war dann auch so eine halbe Stunde später nicht
2:40
mehr angepisst. Also nach dem Kaffee ging es
2:42
dann. Tino hat jetzt immer noch
2:44
tinitus. Genau.
2:46
Tino ist auch ständig klingeln. Wow, Fabi, wo kann der denn,
2:51
Herr Igor? OK, kommen wir mal zum Thema,
2:56
Wir haben heute wieder was ganz Besonderes vor beziehungsweise
3:00
wollen wir eine neue Podcast folgen Reihe fortführen die wir
3:05
angefangen hatten und ich hab extrem Bock auf diese Folge,
3:08
weil ich das Thema sehr spannend war oder spannend fand so rum
3:13
und mich sehr gerne da ein bisschen eingelesen habe weil es
3:15
echt doch ein super geiles Beispiel ist.
3:17
Und zwar geht es um unsere Big Fails in der
3:20
Softwareentwicklungsreihe. Und haben da wieder einen ganz
3:24
coolen Fall aus dem Jahre 2012. Also es ist noch gar nicht so
3:30
lange her mitgebracht. Nichts.
3:35
Wir sind doch mittlerweile im Alter, wo man sagen kann, dass
3:37
da nichts quasi gestern. Gewesen ist.
3:42
Genau. Und was da passiert ist, worum
3:45
es geht, das wollen wir heute mal ein bisschen beleuchten und
3:48
vor allem auch mal Schlüsse daraus ziehen.
3:50
Man soll ja auch ein bisschen was mitnehmen, wo, was man
3:52
daraus lernen kann. Mhm.
3:54
Und zwar möchte ich das ganze kurz mal einleiten, es sei denn
3:58
du sagst jetzt, nee, lass das nicht machen, da brauchen wir
4:00
jetzt ganz schnell n ersatzthema, aber ansonsten würd
4:03
ich jetzt mal einleiten und zwar letztes Mal.
4:06
Hatten wir quasi so um über Raketenstarts gesprochen, im
4:10
Speziellen um die Ariane 5 über den Fehlstart und wie es dazu
4:14
kam. Und dieses Mal möchte ich gerne
4:17
mit dir in einen anderen Sektor gehen und zwar in den
4:20
Finanzsektor, quasi in den Finanzdienstleistungsbereich
4:25
auch. Und zwar geht es dabei um einen
4:29
sehr berühmten Fall, und zwar um das Unternehmen Nightcapital,
4:34
damals noch, später dann die Night Capital Group.
4:38
Warum es eine Group wurde und Investoren reingekommen sind,
4:41
das werden wir beleuchten. Und zwar um den Fall, dass die
4:47
Nightcapital innerhalb von 45 Minuten 440000000 roundabout
4:53
Dollar verloren hat und Pleitegegangen ist, obwohl es ja
4:58
eigentlich ein sehr anerkanntes, renommiertes
5:02
Finanzdienstleistungsunternehmen war.
5:06
Und warum da ein Softwarefehler Schuld war und der auch in die
5:10
Geschichte einging als Nightcapital Group Trading
5:13
Glitch. Das möchte ich gerne mit dir
5:17
beleuchten. Heute unbedingt Tino unbedingt
5:20
und ich glaube, du hast das sogar noch ein bisschen
5:23
untertrieben, weil die Nightcapital war wirklich.
5:27
Um das noch mal weiter einzuordnen, eines der führenden
5:30
Unternehmen im Bereich von einem elektronischen Börsenhandel,
5:33
auch gerade im Bereich High Frequency Trading sozusagen.
5:38
Das also dieses Unternehmen hat ungefähr ab bis zu diesem
5:42
Zeitpunkt ungefähr 20 Jahre einfach die Branche dominiert,
5:45
was ja wirklich schon also ordentlich ist.
5:49
Also. Auch mit ihren Softwarelösungen.
5:51
Genau, auch mit den Softwarelösungen alles drum und
5:53
dran, ganz genau. Und da wurden halt Tausende von
5:56
Transaktionen für verschiedenste und sehr viele Klienten in
6:00
kürzester Zeit ausgeführt. Also ich weiß nicht, ob das
6:04
jetzt zum Beispiel jemand eine Zuhörerinnen und Zuhörer kennt,
6:08
der vielleicht ein bisschen im Thema drin steckt, aber zum
6:09
Beispiel Vanguard war auch Kunde bei der Nightcapital.
6:14
Kennt man vielleicht von einem ETF oder woher auch immer.
6:16
Also nur mal als kleines Side Note und da wurden halt
6:20
tradingvolumen von 20 Milliarden Dollar täglich umgesetzt und das
6:24
ist schon sage ich mal eine Größenordnung, mit der nicht zu
6:27
sparen. Ist ja so 1 größer von Peanuts
6:32
quasi. Wie war das 1?
6:35
Viel 1 Scheiß viel genau. Nein, das ist halt natürlich ne
6:38
abnormal hohe Summe, also n riesenvolumen halt ne.
6:43
Was ich aber eigentlich noch sagen wollte, noch ganz kurz,
6:48
weil mir das auch nicht so klar war.
6:50
Also ich nightcapital war mir n Begriff, aber zum Beispiel, dass
6:56
sie auch. Sehr großer Market Maker waren
7:00
oder Marktmacher auf Deutsch. Ich find das klingt nur auf
7:02
Deutsch noch schlimmer als schon auf Englisch.
7:05
Um mal quasi diese Auswirkung von diesem Unternehmen.
7:10
Aufzuzeigen als Market Maker sorgst du ja im Prinzip für die
7:14
Liquidität am Markt, das heißt, es werden halt super oft und
7:19
schnell Kauf und Verkaufsorder gestellt, um einfach quasi Geld
7:24
in den Markt zu spülen, um Liquidität zu schaffen und dafür
7:28
waren sie halt ein Riesenunternehmen und hatten
7:30
damit, ich glaube ja zum Beispiel an der New Yorker
7:33
Börse, glaube ich, einen Anteil von über 10% oder so, das ist
7:38
halt krank viel. Und dementsprechend auch eine
7:41
hohe Auswirkung auf den Markt, je nachdem wie sie agieren.
7:46
Und das fand ich halt wirklich erstaunlich, dass noch mal so
7:50
vor Augen geführt zu bekommen und dieses High Frequency
7:54
Trading, was du angesprochen hattest, wofür sie ja am Ende
7:57
ihre Software lösen. Gebaut haben und Marktführer
8:00
waren ist ja auch ne ne absolut krasse Sache, wenn man so drüber
8:04
nachdenkt, also das auch profitabel zu gestalten, ne,
8:07
dass du halt sagst, ich mach halt in, also in so einen
8:11
kleinen Zeitabschnitt kaufe und verkaufe ich, dass ich die
8:14
kleinsten Marktschwankungen für mich nutzen kann und mit diesem
8:18
großen Volumen was sie hatten halt auch wirklich große Profite
8:23
abschöpfen können damit, und das fand ich halt auch wirklich sehr
8:25
erstaunlich, muss ich sagen und zeigt halt auch was für ein
8:29
schmaler Grat das ist und wie. Soll ich sagen, wie gut diese
8:34
Software dahinter sein muss, dass das sich auch rechnet und
8:36
du nicht einfach sagst so Software legt los und es wird da
8:40
automatisiert gehandelt und du bist halt sag ich mal innerhalb
8:44
von kürzester Zeit pleite. Oh Moment mal.
8:47
Genau das ist am Ende ja auch passiert.
8:51
Und das würde ich nämlich gerne mal jetzt anreißen, was?
8:56
Ist eigentlich geschehen. Und warum ist der Erste?
8:59
August 2012 hat ja schon gesagt, im Jahre 2012 ist das passiert.
9:04
So in die Geschichte eingegangen und zwar erzähl mir mal, wie das
9:08
gewesen wäre, wenn ich live dabei gewesen wäre als
9:11
Außenstehender. Also man kann sich das so
9:13
vorstellen, es waren ganz normaler regulärer Handelstag,
9:16
weil ich dachte mir halt so, naja, vielleicht war es
9:18
irgendwie ein besonderer Tag oder irgendwas ist in der Welt
9:21
passiert, aber es war einfach ein ganz normaler regulärer
9:23
Handelstag, das heißt, die Börse öffnet, ich weiß nicht 9.
9:29
Uhr. Ich handle nicht an der New
9:30
Yorker Börse. Und kurz nach Marktöffnung, wo
9:36
quasi die Systeme dann gestartet sind.
9:39
Die Softwarelösungen der Nightcapital sind halt komische
9:42
Anomalien aufgetreten, das heißt, die Mitarbeiter dachten
9:45
sich so, irgendwie verhält sich unsere Software komisch, was
9:48
passiert denn hier sind irgendwie so unkontrollierte
9:50
Handelsaktivitäten gewesen und die sind halt ins Unermessliche
9:55
gestiegen, dass Tausende Handelsaufträge fehlerhaft
9:59
gestellt wurden. Boden und man so innerhalb von
10:02
diesen 45 Minuten wirklich die 440000000 US Dollar verloren
10:08
hatte, was im Prinzip mehr war als die Rücklagen die sie
10:12
hatten. Und man quasi pleite war nach
10:17
einer Dreiviertelstunde. Und die Frage ist halt, wie kann
10:22
ein so innovatives Unternehmen? Das schaffen, dass sie sagen,
10:26
OK, wir, wir machen seit 20 Jahren machen wir alles richtig
10:29
blöd gesagt, und diese 45 Minuten heute haben das ganze
10:33
Unternehmen ruiniert. Wie kann es dazu kommen?
10:37
Und so standen nämlich auch die Mitarbeiter da, völlig
10:39
verdutzen, wussten einfach nicht, was gerade passiert, was
10:43
ich noch richtig krass fand war, dass als das passiert ist und
10:46
die Mitarbeiter geschnallt haben, sage ich jetzt mal das
10:49
gerade so enorme Verluste eingefahren werden.
10:53
Gab es wirklich welche, die schon bereits angefangen haben,
10:56
ihre Lebensläufe zu versenden, weil sie dachten, Ende der Woche
10:59
bin ich arbeitslos? Higher and Fire in den USA.
11:03
Also du bist ja dann schneller raus als du gucken kannst.
11:05
Und die haben quasi gedanklich schon ihren Schreibtisch
11:08
geräumt. Das ist schon krass.
11:10
Ich meine gut feiern, feiern hin oder her, aber wenn das
11:12
Unternehmen einfach nicht mehr da ist, was willst du da machen?
11:16
So ja, aber ich meine diese Mentalität ist halt einfach da,
11:19
dass sie sich denken, ach du meine, ist das meine Schuld, oh
11:22
mein Gott, was ist hier gerade passiert, ich räume schon Moment
11:24
Schreibtisch. Ja, aber ja.
11:27
Wie kam es dazu? Ist ne gute Frage wie es dazu
11:29
kam. Also im Endeffekt wurde
11:31
irgendwann sag ich mal Marktlagen verändern sich ja
11:34
auch ne, also beziehungsweise Anforderungen verändern sich und
11:38
es wurde sozusagen es es musste etwas Neues her und ein neues
11:42
Ich saß mal System das Retail Liquidity Programm wurde ins
11:46
Leben gerufen, das hat im Endeffekt dafür gesorgt oder es
11:50
war so ein bisschen um das mal grob abzureißen was das ist.
11:54
Da ging es darum, dass halt eben nicht nur große Händler, sondern
11:57
halt auch kleine oder Einzelpersonen genauso handeln
11:59
konnten. Also fairere Marktpreise
12:02
bekommen. Das war ja, glaube ich, eine
12:03
Initiative von der New Yorker Börse selbst, von da ja genau,
12:07
und damit das aber auch funktioniert hat, musste halt
12:10
etwas Neues her und das ist halt genau dieses RLP, dieses Retail
12:13
equidity Programm, das wurde musste sozusagen
12:16
softwaretechnisch implementiert und integriert werden, in das
12:21
sage ich jetzt mal System, was sowieso schon dafür gesorgt hat,
12:24
diese Trading automatisierte umzusetzen und dieses diese
12:30
Software hieß Smars, also wie der Mars bloß mit dem S davor.
12:35
Und stand eigentlich im Endeffekt schön erklärt, Stand
12:39
für Smart Market Access Routing System so nur mal so, damit man
12:44
es auch wirklich noch mal vollständig hat für.
12:46
All diejenigen, die es jetzt googeln wollen, genau.
12:50
Und ja, im Endeffekt wurde das in diese Software integriert und
12:57
dann kommt natürlich irgendwann der Punkt, dass man genau diese
13:00
dieses Update natürlich auch irgendwann verwenden möchte.
13:03
Ne, das heißt es gab halt irgendeinen Zeitpunkt x Stichtag
13:06
x. Das war der 1.8.
13:08
Der 1. August 2012 wie du so schön
13:11
meintest und da wurde dann sozusagen dieses System, dieses
13:14
adaptierte System dann eingesetzt und verwendet und das
13:18
wurde erstmal auf die entsprechenden Server
13:21
Kapazitäten die da waren ausgerollt.
13:23
Also das System läuft dann nicht nur auf einem Server sondern auf
13:26
mehreren Servern. Du hast eine.
13:28
Große, du bist ja, du bist ja Markt.
13:30
Wie hast du es so schön genannt, Marktführer, Marktführer, der
13:34
der der große Big Player in diesem Business und hast
13:39
natürlich viel Traffic, das heißt du brauchst mehrere Server
13:42
wo das drauf läuft so und dann wurde erstmal überprüft okay wir
13:47
haben einen Server und da integrieren wir das neue System
13:50
und dann kam die. Cleveren Leute, die daran
13:54
gearbeitet haben, auf die DNRS macht natürlich Sinn, das Ganze
13:57
irgendwie zu automatisieren, weil nicht, dass wir hinterher
13:59
einen Server übersehen. Ne, das heißt im Endeffekt wurde
14:02
dann n Skript geschrieben. Mit diesem Skript wurde dann das
14:05
Update eingespielt auf alle Server, die da waren.
14:11
Genau, und da gab es aber dann im Endeffekt ein kleines
14:17
Problemchen dabei bei diesem Ausrollen auf diese Server.
14:23
Und das hat dazu geführt, dass das System, so wie es eigentlich
14:27
funktionieren sollte, fehlerhaft war und demzufolge halt aus
14:31
diesem Fehler, den wir auf dem wir noch näher eingehen werden,
14:34
dann im Endeffekt dazu geführt hat, dass es eine riesige
14:37
finanzielle Katastrophe wurde am Ende.
14:39
Ja, weil was ich ganz spannend fand bei diesem Skript so n paar
14:45
Quellen haben das n bisschen näher beleuchtet.
14:47
Also im Endeffekt war es ja wirklich nur n kleines Skript
14:50
was gesagt hat geh mal alle Server durch.
14:52
Genau bauen ne SSH Verbindung auf und Update quasi die
14:57
Software da drauf. Ne dass halt die richtigen
14:59
Binaries dann am Ende laufen. Soweit so gut und klingt doch
15:03
gut erstmal vernünftig, warum nicht automatisieren?
15:06
Klar weil Menschen machen Fehler Problem an dem Skript war aber
15:10
soweit ich das gelesen habe und das finde ich halt wieder
15:12
spannend. Dass bei einer fehlerhaften
15:16
Verbindung oder beziehungsweise wenn keine Verbindung aufgebaut
15:19
werden konnte, einfach zum nächsten Server gegangen wurde
15:22
und es keine Rückmeldung gab. So nach dem Motto Hier Server 5,
15:26
hinten rechts in der Ecke, der hat das jetzt nicht bekommen,
15:29
weil ich konnte keine Verbindung aufbauen, sondern es wurde
15:31
einfach direkt zu Server 6 gegangen und da weitergemacht
15:33
mit dem Update sehr. Gefährlich, weil am Ende dachten
15:38
die Mitarbeiter, es ist ausgerollt.
15:40
Alle Server haben den neuen Stand, aber Server 5 hinten
15:43
rechts in der Ecke. Immer noch den alten stand weil
15:47
sowie ich das in einem Bericht gelesen habe, war Erwartungen
15:50
gerade das heißt er war offline und.
15:53
Verbindung. Keine Verbindung, die Wartung
15:56
wird durchgeführt, alles ist OK, der Server fährt wieder hoch mit
15:59
dem alten Stand und dann hast du nämlich genau das Problem, sagen
16:03
wir mal 7 Server haben die neue und der achte Nummer 5 hinten
16:08
rechts in der Ecke. Den alten Stand und das Team
16:11
denkt, das Update ist ausgerollt, also meldet das
16:15
natürlich auch hier alles cool. Die Systeme Server laufen, wir
16:19
können loslegen, wir sind bereit für den nächsten Handelstag wo
16:23
es denn läuft, sozusagen mit der neuen Version schon und die
16:26
haben sich ja glaube ich auch 2 Wochen Zeit genommen, also an
16:30
der Stelle ist ja eigentlich gar kein Fehler passiert, das wurde
16:32
ja quasi bewusst in Ruhe gemacht, weil man um diese
16:37
Auswirkung wusste. Dass sonst so ein Update ja
16:40
keine Kleinigkeit. Ist aber das finde ich
16:43
interessant, weil du meintest, ein Mensch kann ja Fehler machen
16:46
und das witzige ist ja, dass irgendwo wurde ja dann an dieser
16:49
Stelle von irgendeinem Menschen ein Fehler gemacht und zwar und
16:53
das ist eine Sache und ich kann das auch als Softwareentwickler
16:55
auch irgendwie ein bisschen nachvollziehen, und zwar du
16:58
denkst an einen bestimmten Fall und sagst okay ich möchte gerne,
17:02
dass das alles ausgerollt wird und dein Server läuft, du machst
17:06
das ganze, es funktioniert, du hast vielleicht noch.
17:09
Tests im optimalen. Einen Fall hast du
17:10
automatisierte Tests, die dir sagen okay das und das und das
17:13
passiert so. Ich hab jetzt glaub ich so n
17:15
bisschen heraus aus meiner Recherche herausgefunden, dass
17:19
dieses Skript nicht wirklich gut abgetestet war.
17:22
Aber vielleicht sind das auch nur Mutmaßungen am Ende ne, also
17:25
aus dem Resultat heraus. Das Witzige ist aber, dass ich
17:30
kann es halt irgendwo nachvollziehen, auf irgendeiner
17:33
Ebene, weil du halt. Dann in dem Moment, den
17:36
Happypass betrachtest und nicht daran denkst, du siehst den Wald
17:40
vor lauter Bäumen nicht und und siehst nicht, dass ein Server
17:42
auch aus sein könnte. Weil du gehst ja davon aus,
17:46
dieser Server ist der Server läuft genau, der ist ja immer
17:48
an, aber dass man auch wirklich mal vielleicht für
17:50
Wartungsarbeiten halt einmal kurzen Server neu starten muss
17:53
und dann genau in diesem Moment das Update sozusagen ausgeführt
17:57
werden muss im Falle, dass es. Offline ist ist natürlich schon
18:01
hart, aber und ich stell mir das ungefähr so vor und das ist ja
18:05
auch immer wieder das gefährliche Mensch sitzt vorm
18:08
Rechner, hat irgendwas gemacht oder hat nur n Programm was wo
18:11
es heißt führ das Mal aus, muss ja nicht der gleiche gewesen
18:13
sein oder die gleiche Person die das auch geschrieben hat, dieses
18:16
Skript und eine Person führt das aus und vertraut diesem Rechner,
18:19
er sagt es wird schon passen und dann hast du vielleicht im
18:22
Terminal so eine Anzeige oder wo auch immer wo dann steht Server
18:25
1, beep, beep, beep Check Server 2 beep beep Check Server 3
18:30
Server 4, Server 5. 5. Hinten in der Ecke.
18:34
So, und dann kommt einfach nur Check.
18:36
Du siehst Check, also ist es ja fertig, der Server meldet sich
18:39
ja nicht und sagt Jo danke ich hab's Update bekommen naja genau
18:43
und das Problem ist, dass das Skript quasi keine Ausgabe gibt,
18:46
so nach dem Motto Hier Server 5 konnte nicht erreicht werden und
18:49
das ist halt das Thema wenn du so schnell ein Skript schreibst
18:51
weil du sage ich mal das automatisieren willst, dann kann
18:54
halt sowas vergessen werden und das Skript an sich auch nicht
18:57
abgetestet ist also es wird halt nur an den Happy Pass gedacht
19:00
wie du so schön gesagt hast, weil wenn du anfängst zum
19:02
Beispiel so ein Script abzutesten.
19:05
Machst du dir halt auch über andere Pfade, die eintreten
19:08
können. Gedanken meistens, hoffentlich.
19:12
Aber es ist auch verständlich, in der Situation zu sagen, Hey,
19:16
nee, ich, wir machen jetzt n Skript ey, wenn ich das hier
19:18
alles per Hand mache, dann vergess ich irgendein Schritt,
19:20
dann mach ich irgendwas nicht ich code das jetzt und n Skript
19:23
runter was erledigt werden muss, dann lass ich das laufen und gut
19:26
ich mein jeder Entwickler kennt diese Vorgehensweise also da
19:29
kann man dem Entwickler ja nicht mal irgendwie einen Vorwurf
19:32
machen, das Problem war eher, dass er alleine war und es
19:35
keinen zweiten gab der das noch mal gereviewt hat oder geguckt
19:38
hat ob die Serverstände jetzt passen, ob das Skript passt wo
19:42
auch immer da diese Überprüfung stattfindet sage ich mal.
19:46
Das, da kann man sagen, das ist nicht cool gelaufen.
19:49
Das können wir uns am Ende auf jeden Fall noch mal angucken.
19:51
Was sind eigentlich die Learnings, die man daraus.
19:53
Sieht das fassen wir am Ende noch mal zusammen.
19:55
Aber was mich, was ich sehr interessant finde, Tino mal
19:58
angenommen du hast einen Server, also wenn ich das jetzt einmal
20:00
noch mal zusammenfasse, wir haben einen alten Stand der
20:03
Software auf diesen Servern laufen, es wird quasi neu
20:05
erstand wird ausgerollt und auf einem Server.
20:09
Passiert das nicht so jetzt, könnte man ja davon ausgehen.
20:12
Ja gut, OK du hast x Server, da läuft der stand drauf oder x
20:16
minus ein Server wo der Stand der neue Stand drauf läuft und
20:19
ein Server wo er nicht der neue drauf stand drauf läuft ne die
20:21
neue Version so man könnte jetzt davon ausgehen naja ok weiß ich
20:26
nicht also nimm mal irgendeine Anwendung wie zum Beispiel Skype
20:29
oder Teams oder was auch immer. Wenn du da ein Update nicht hast
20:33
oder auf einer älteren Version bist, kannst du immer noch
20:35
telefonieren. Also man könnte ja jetzt davon
20:37
ausgehen und sagen okay alles klar ist.
20:39
Ein älterer Stand aber hockeys und das ist halt genau der der
20:45
faszinierende Punkt dabei, wie du schon meinst, jetzt hast du
20:49
verschiedene Server mit unterschiedlichen Ständen
20:51
beziehungsweise es gibt 2 Stände, die meisten haben den
20:53
neuen und zum Beispiel Nummer 5 finden dann rechts in der Ecke,
20:58
hat noch den alten Stand. Aber der alte Stand lief ja
21:02
vorher problemlos Jahre lang. Warum sollte er jetzt auf einmal
21:07
quasi solche massive. Verluste einfahren, weil man
21:11
muss ja hier mal anmerken, das ist jetzt kein Stand, der gemixt
21:16
wurde aus neuer Software und Alter, sondern jeder Server hat
21:20
an sich ne eigenständige Version.
21:22
Man geht davon aus die Neue ist Abgetestet und funktioniert.
21:25
Und die alte lief sowieso jahrelang schon und sollte auch
21:28
Abgetestet sein. Und die sind ja nicht gemischt.
21:31
Ne. Wie du, wie du ja schon
21:32
meintest, warum zur Hölle ist dann so ein Desaster quasi
21:35
aufgetreten und das ist jetzt wirklich n extrem cooler Punkt.
21:39
Also nicht cool fürs Unternehmen, aber n supergeiles
21:42
Learning, da können wir jetzt mal drauf eingehen und zwar.
21:47
Warum ist das quasi passiert? Und das geht noch ein paar Jahre
21:52
zurück. 2005 genau 2005 war das, und zwar wurde 2005 ein sehr
22:03
umfangreiches Refactoring, erst mal eine super Sache.
22:07
Über Refactoring haben wir auch schon eine Folge gemacht, ist ja
22:09
auch wirklich wichtig das zu tun und in dem Jahr gab es ein sehr
22:13
umfangreiches Refactoring dieser smars Komponente.
22:19
Es wurden zum einen die Effizienz wurde gesteigert, es
22:22
wurden neue Handelsstrategien implementiert, das Routing wurde
22:26
verbessert etc. Und was dabei aber passiert,
22:31
ist, dass die Power Pack, so heißt die Komponente
22:35
beziehungsweise das Modul innerhalb dieses Systems quasi
22:38
deaktiviert wurde. Was hat denn das Powerpack
22:41
gemacht? Erklär das.
22:43
So wie ich das verstanden hab war das ne Komponente die quasi
22:46
wenn du jetzt sehr große Handelsvolumen hast wie ja nun
22:49
mal die Night Capital hatte und jetzt sagt zum Beispiel hier ist
22:52
n Auftrag über. Betrag X, der einfach riesig
22:55
ist, hat die 1 Scheißteil, dann hat diese Komponente quasi das
23:01
gesplittet. Also es hat quasi sozusagen aus
23:04
dem System ne parent order, also NN Auftrag bekommen.
23:09
So das mach bitte und hat das denn so in Child ordern
23:13
unterteilt? Das heißt zum Beispiel
23:16
gesplittet in 5, damit die nicht mehr so groß sind und dass sich
23:19
sozusagen besser handeln lässt, um es mal so.
23:22
Laienhaft. Auszudrücken also könnte ich mir
23:24
das ungefähr so vorstellen. Ich hab ne riesen Packung, keine
23:27
Ahnung, nimm zweis oder so und sag zu irgendjemand ey, willst
23:31
du ne Packung m 2 haben, nimm 2 m 2 nimm 2 und der sagt und der
23:35
sagt Nee Ey ganz ehrlich, so viel ess ich eh nicht so ne das
23:38
funktioniert nicht, aber wenn du jetzt zum Beispiel diese Packung
23:40
loswerden willst und zu jemandem gehst und sagst Ey nimm 2 ja
23:44
klar möchtest du nimm 2 ja klar möchte ich zunimmt 2 ja klar,
23:46
dann hast du in kürzester Zeit ist eigentlich die Packung alle
23:49
und du hast das auch wegbekommen so genau du kriegst es halt
23:51
besser verteilt. Nimm 2 ist cool als Beispiel
23:55
oder halt ne riesen Tafel Schokolade.
23:57
Du sagst ja auch nicht, willst ein Stück Schokolade und gibst
23:59
sie ihm dann hier so ne 200 Gramm Milka, weißt du.
24:03
Ja, das sind kleine Teile runter, damit halt auch mehrere
24:05
Leute davon was haben können. Genau, und zwar diese Komponente
24:10
war aber verbunden mit. Mit einer Funktion, die quasi
24:17
für die Drosselung verantwortlich war, die quasi
24:20
das überwacht hat und gezählt hat.
24:22
Wie viele sind denn schon entstanden und wie viele davon
24:25
sind auch schon gefüllt von diesen Orders, also von diesen
24:29
Aufträgen. Quasi abgehandelt.
24:31
Ja, also wenn du 10 Orders hast, quasi also eine große Order wird
24:34
gesplittet in 10 und dann hast du keine Ahnung. 8.
24:37
Hast du schon verkauft, also 2 kannst du noch so nach dem Motto
24:40
genau. Es hat einfach das quasi
24:42
evaluierte mitgezogen, mitgezählt und die war halt an
24:44
diesem Powerpack angeschlossen. Sozusagen.
24:46
Und das Powerpack hat daher die Information bekommen, wieviel
24:49
kann ich noch gut, bloß weiter geht es weiter geht es jetzt ist
24:53
gesättigt sozusagen ich darf nichts mehr machen um einfach
24:56
genau zu verhindern, dass zu viele Aufträge an den Markt
25:00
quasi gestellt werden sozusagen. Und während dieses Refactorings
25:05
haben sie halt diese Funktion, diese Drosselung innerhalb
25:11
dieses gesamten Workflows weiter nach vorne gepackt, weil sie
25:14
sich dachten, Hey, warte mal, das ist alles ineffizient, wir
25:16
haben eine extrem hohe Systemauslastung, wir müssen
25:19
doch gar nicht erst anfangen, überhaupt diese Orders stellen
25:22
zu wollen beispielsweise, wir müssen ja gar nicht erst diesen
25:25
Prozess einleiten, um am Ende zu sagen, Hey, nee, Moment mal, ist
25:28
schon genug. Genau.
25:29
So also wurde dieser ganze Workflow umgestellt.
25:32
Diese Drosselungsfunktion ist halt also weiter nach vorne
25:36
gewandert, das System wurde effizienter und man hat noch
25:39
gesagt, ja dieses powerpack Modul braucht wir auch gar nicht
25:42
mehr, das ist. Risiko schwierig also für das
25:45
Risikomanagement, weil da kann halt schon.
25:48
Viel schief gehen, deswegen gab es ja auch diese Anbindung,
25:51
dieser Drosselungsfunktion. Man könnte finanzielle Verluste
25:53
erleiden, ja. Und auf jeden Fall wurde dieses
25:58
Modul deaktiviert. Es wurde auch Geflaggt als
26:01
Depricated, also als veraltet. Für diejenigen, die jetzt nicht
26:06
wissen, was ich damit meine. Das ist eigentlich ein Standard
26:09
vorgehen, dass du Halt sagst, innerhalb meiner Software gibt
26:12
es veraltete Funktionen beispielsweise und ich kann sie
26:16
nicht einfach direkt raus löschen, weil beispielsweise
26:19
andere Module diese Funktion noch verwenden, dann kann man
26:22
sie als depreted Flaggen sozusagen, also signalisieren
26:25
Leute, diese Funktion ist veraltet, wird nicht mehr
26:28
supported und wird irgendwann entfernt, also bitte, ihr könnt
26:32
sie jetzt noch nutzen, aber in 23 Versionen später ist sie weg
26:36
dann. Sich nämlich die anderen Teams,
26:38
die jetzt beispielsweise andere Module entwickeln, darauf
26:41
adaptieren, davon weggehen, vielleicht eine andere Lösung
26:45
implementieren und dann irgendwann hast du quasi.
26:48
So sage ich mal sanft diese Software, diese Funktion
26:54
rausgeschnitten oder quasi abgekapselt.
26:57
Genau, und das ist, da muss man sagen, richtiges Vorgehen haben
27:00
sie gut gemacht, wie gesagt gefleckt die Teams informiert,
27:03
die haben sich adaptiert und diese Funktion oder dieses Modul
27:06
wurde nicht mehr verwendet. Letzten Schritt haben sie aber
27:10
nicht gemacht und zwar dieses Modul zu entfernen oder genau.
27:13
Also du musst dir das so vorstellen und das ist halt auch
27:16
so ein bisschen, also das kann man tatsächlich glaube ich auch
27:19
so ein bisschen an die Software Entwicklung, mal ein bisschen
27:24
auf die Hand hauen, weil. Du hast also es wurde quasi
27:29
dieses Power Pack Modul, was ja sozusagen gefleckt wurde, was
27:32
nicht mehr eingesetzt werden durfte, was kommuniziert wurde
27:34
über Deplicated, dass es nicht mehr verwendet werden soll,
27:37
wurde er wie du meintest nicht rausgenommen, aber aus einem
27:40
bestimmten Grund und zwar weil das so tief in diese Software,
27:43
in dieses Maß verankert war. Verflechtet war, dass man es gar
27:47
nicht mal soeben mal rausschmeißen konnte, das heißt,
27:49
es wurde zu wenig modular gearbeitet, das heißt, ich würde
27:52
jetzt mal einfach mal ein bisschen klugscheißen und sagen,
27:55
ja, das war alles nicht modular aufgebaut, die Software
27:58
Architektur war nicht gut und so weiter.
28:01
Und demzufolge haben Sie sich dann dafür entschieden zu sagen,
28:04
OK, wir lassen halt einfach das powerpack Modul drin.
28:07
Wird ja nicht mehr verwendet. Unsere ganzen Tests, die wir
28:11
haben, laufen grün, es ist alles in Ordnung, also passt das so
28:15
was ich noch sagen würde, ganz kurz was ich noch interessant
28:18
fand als als kleines Side Note so n bisschen technisch ist ja.
28:22
Dass das war ja ne Konfigurationsdatei, weil dieses
28:26
Fleck was du meintest mit Establicated oder verfügbar ne,
28:28
das wurde ja sozusagen war ne Konfigurationsdatei und diese
28:31
Konfigurationsdatei wurde dann einfach so draufgesetzt, dass du
28:35
an dieser Stelle wo stand. Möchtest du das Powerpack
28:37
nutzen? Ne 0 stand anstatt ne 1 mal blöd
28:40
gesagt ne so und das war im Endeffekt eigentlich nur so ne
28:45
Art bit array, wo du halt so Flex setzen konntest. 0 oder 1
28:49
für das ist drin oder nicht so und das wurde auch zum Beispiel
28:53
jetzt nicht über Jason oder so gemacht, weil da ja wirklich auf
28:57
Performance gesetzt wurde und Jason an der Stelle, man mag es
29:00
vielleicht nicht glauben, aber halt einfach zu in Performance
29:02
war an dieser Stelle. Genau.
29:05
Also das ist ja auch eine gängige Strategie zu sagen, wir
29:08
haben, wir verwenden sozusagen Bitwörter, das heißt, du hast
29:11
jetzt zum Beispiel. Eine 8 Bit zahl, dann hast du 8
29:16
logischerweise 8 Bits da drin und jedes Bit kann zum Beispiel
29:19
eine so eine Config repräsentieren.
29:21
Das ist auch gerade im Embedded Bereich gang und gäbe und auch
29:24
nicht verwerflich, das ist ja gut, dass sie es so gemacht
29:26
haben, gerade weil ja. Auch Nanosekunden entscheidend
29:30
sind bei so nem Technologien was man sich kaum vorstellen kann.
29:33
Aber wie du schon meintest, dass Jason einfach zu imperformant
29:36
ist. Und ja, genau, und dann haben
29:39
Sie gesagt, gut, das Bit für Power Pack ist 0 und nicht 1.
29:43
Das heißt es ist deaktiviert und wird nicht mehr in der Software
29:46
verwendet. Was ich noch spannend fand war,
29:50
du hattest ja gesagt die es wurde Refected und zum Beispiel
29:54
wurde dann dieses sag ich mal, dieser Accounting Algorithmus
29:57
wurde entkoppelt vom Power Pack und so weiter aber da ist ja
30:02
auch noch was passiert oder? In diesem Zuge.
30:04
Also wenn du deine Software veränderst und Tests dazu hast,
30:08
dann passiert ja eventuell mit den Tests.
30:10
Was genau das ist nämlich jetzt der kritische Punkt dabei und
30:13
ein absolutes No go. Wie gesagt, diese diese.
30:20
Drosselungsalgorithmus war nicht mehr verknüpft mit dem Power
30:24
Pack, dadurch, dass er quasi weiter vorne in der Ablauf Kette
30:27
gerutscht ist und. Das ist an sich OK, was aber
30:32
nicht passiert ist beziehungsweise doch Gott sei
30:34
Dank ist es passiert. Es sind Tests rot gelaufen, das
30:37
heißt die Tests für das Powerpack haben gesagt, Hey mein
30:40
mein Systemfall, also mein meine Funktionsweise stimmt nicht
30:44
mehr. Und ja, was der Entwickler sich
30:47
anscheinend dachte, so wie es jetzt übermittelt wurde oder
30:50
aufgearbeitet wurde ist. Na ja, du bist eh difficult,
30:55
also du fliegst eh raus. Was kümmern mich deine Tests und
30:58
hat einfach die Tests gelöscht? Und das ist halt krass, weil man
31:02
hätte, wenn die Test drin geblieben wären gesehen hä da
31:07
stimmt was nicht in unserer Software.
31:09
Also hab ich doch 2 Möglichkeiten.
31:11
Eine Möglichkeit ist ich fixe die Tests und kümmere mich um
31:15
das Thema. Weil immer noch ist das
31:18
Bestandteil der Software und kann per CONFIG aktiviert
31:21
werden, oder? Lösche halt diese Funktion raus
31:26
und nicht nur die Tests. Also entweder ich ziehe es
31:29
komplett raus und es kann einfach gar nicht mehr passieren
31:32
oder ich fixe es aber nicht zu sagen, ja es bleibt drin, weil
31:36
ich keinen Bock habe das jetzt rauszuschneiden, weil es super
31:38
aufwändig ist in unserer Architektur.
31:40
Ich lösche einfach die Tests damit alle Tests wieder grün
31:42
sind und das ist halt ein riesen no go.
31:45
Ich meine, wir witzeln manchmal genau mit diesem Sachverhalt, so
31:50
nach dem Motto Test des Roten Lösch.
31:52
Doch den Test ist natürlich etwas, was ein absolutes No go
31:56
ist und definitiv nichts. In professioneller
32:00
Softwareentwicklung zu tun hat. Das ist auf jeden Fall super
32:03
spannend und das hat dann im Endeffekt ja quasi, also da da,
32:07
das war ja die Situation, ne, das heißt im Endeffekt.
32:12
Ist ja also wir haben dieses Maßsystem, wir haben das ganze n
32:16
bisschen refected, wir haben neue Funktionalitäten
32:18
reingebracht, wie zum Beispiel das LP.
32:21
Und so weiter. Und dann wurde das Ganze
32:23
ausgerollt zum Tag X am 1.8.2012 wurde das in Betrieb genommen
32:28
und dieses Skript im Vorfeld hat nicht hat es nicht geschafft
32:32
diese Software, also die neueste Softwareversion überall
32:36
auszurollen. So was ist denn da passiert an
32:40
dem einen Server der hinten rechts in der Ecke stand und
32:45
nicht genau genau. Das ist die Frage, weil 2005 und
32:50
2012 sind natürlich das 7 Jahre dazwischen.
32:56
Sind das 7 oder? Warum ist es war es so lange
33:00
nicht relevant? Genau ja.
33:03
Also die Software liefert das lief ja wie am Schnürchen, die
33:05
haben Umsätze gemacht im Jahr, das war ja der Wahnsinn, ne und
33:08
2012 wenn dieses RLP Update kommt geht auf einmal crashed
33:12
alles zusammen. Und das ist ein ganz witziger
33:15
Punkt. Und da kommt wieder diese
33:18
Config, das config word wieder ins Spiel.
33:21
Und zwar mussten sie natürlich jetzt auch dafür sorgen, dass
33:25
dieses RLP aktiviert werden kann oder deaktiviert werden kann und
33:30
braucht natürlich jetzt wieder ein Bild.
33:32
Hatten wir ja gerade erklärt, um es quasi an und ausschalten zu
33:35
können, richtig und dabei ist aufgefallen, dass kein freies
33:39
Bild mehr da war, das heißt die Wortlänge war komplett
33:42
erschöpft, es gab nichts mehr, wo sie noch was setzen konnten
33:46
und der Entwickler von diesem Update dachte sich.
33:50
Naja hier das Powerpack ist doch seit Jahren deprekted, das nutzt
33:54
eh keiner mehr nachweislich, weil alle Teams haben sich
33:57
adaptiert auf was anderes. Dann ist doch wieder ein Bit
34:01
frei, also nehme ich das und hat gesagt so von fortan also ich
34:06
kann das ja ich kann es auch nachvollziehen, ist es das
34:09
Aktivierungsbild für RLP und nicht mehr für Power Pack
34:14
richtig? Ja, und dann wurde es
34:16
ausgerollt. Im Prinzip ja gut, das
34:20
Deployment hat nicht ganz funktioniert, dass es da zu dem
34:24
Zeitpunkt noch nicht aufgefallen, was nun aber
34:27
passiert ist an Tag x als. Die Software startete und
34:31
ELPERLP nicht RLP Entschuldigung.
34:36
War selbst verwirrt, gerade quasi aktiviert wurde über diese
34:39
Config ist natürlich passiert, dass auf dem alten System.
34:45
Auch das Powerpack wieder aktiviert wurde, weil er auf
34:49
Server Nummer 5 hinten rechts in der Ecke, weil da ja die alte
34:53
Software drauf war. So und jetzt kann man sich
34:55
wiederum denken, ja meine Güte, dann läuft halt Power Pack lief
35:00
früher auch immer, dann läuft jetzt halt ein bisschen rlp ein
35:05
bisschen Power Pack, wir werden das schon schnell merken, dass
35:08
irgendwas vielleicht nicht ganz so cool ist, also dass der Worst
35:11
case wurde gar nicht so glaube ich wahrgenommen, was das
35:14
bedeuten könnte. Was jetzt aber am Ende passiert
35:19
ist. Dadurch, dass beide Systeme
35:23
liefen, ist das Power Pack Modul angesprungen und hat ja jetzt
35:27
wieder quasi diese Order quasi entgegengenommen und wollte die
35:31
splitten was wir erklärt hatten. Genau so so, so cool.
35:37
Wie immer hat es damals schon gemacht, aber was war jetzt das
35:40
Problem? Genau.
35:41
Also was ich erstmal interessant finde ist, du hast wie du schon
35:44
meinst auf den beiden Systemen unterschiedliche Sachen laufen
35:47
an sich erstmal nicht so schlimm.
35:48
Aber wenn du zum Beispiel bit 1 hast, was vorher gesagt hat,
35:51
Aktivier mal Power Pack und jetzt aber dafür zuständig war,
35:54
dass es RLP aktiviert du die gleiche Config, aber nimmst ne,
35:58
dann ist ja. Also wird halt einfach Power
36:01
Pack aktiviert. So genau so und das find ich
36:05
halt fand ich ich weiß ich hab das gelesen, dacht mir so das
36:07
ist das ist Wahnsinn weil. Also das das müssen Zufälle
36:11
sein, die einfach diesen, diesen, diesen einfach, das ist
36:13
bescheuert. Aber natürlich ist es natürlich
36:15
ne krasse Aneinanderreihung von Ereignissen.
36:18
Definitiv. Und dann kommst du an den Punkt,
36:20
wo du sagst, Na ja, gut, OK, pass auf, du hast den alten
36:23
stand, es wird einfach versehentlich Power Pack wieder
36:26
aktiviert, Power Pack hat ja aber eigentlich funktioniert,
36:28
aber wir haben uns erinnert, dass diese Version die da lief
36:32
ist diese Version die sozusagen Performance optimiert wurde und
36:35
diese Performance Optimierung hat ja dafür gesorgt, dass wir
36:38
eigentlich Power Pack entkoppelt haben mit diesem Counting
36:41
Algorithmus. Das heißt wenn du jetzt zum
36:44
Beispiel irgendwie weiß ich nicht für deine Freunde Essen
36:47
kochst und einer kommt zu spät und du hast 5 Portionen gekocht
36:50
und einer sagt ja, ich möchte eine Portion alle sagen, Sie
36:53
möchten eine Portion, Du verteilt die Portion eines noch
36:55
da, bei einer kommt ja noch eine Person, kommt ja noch.
36:59
Jemand sagt, ich könnte noch eine Portion haben und der
37:01
Algorithmus sagt, 4 von 5 haben wir noch klar so und dann keine
37:06
Ahnung. 5 von 5 ja egal, haben wir noch so nach dem Motto, das
37:10
heißt, der Algorithmus sagt ja gut, wir sind zwar schon drüber,
37:12
aber der Algorithmus würde immer noch sagen, wir haben doch
37:14
genügend, also es könnte noch 2. Leute kommen und wir hätten noch
37:17
genügend, aber das war halt nicht so ne.
37:20
Das heißt es wurden halt einfach an der Stelle einfach quasi es
37:23
vor den Order gestellt und diese Order wurde halt einfach immer
37:26
wieder verkauft, immer wieder, immer wieder oder gestellt,
37:29
sagen wir mal so, ob es jetzt verkauft, verkaufen, verkaufen
37:31
egal. Aber diese Order die dahinter
37:34
steht, die wurde halt mehrfach quasi dupliziert und es wurde
37:38
nicht aufgehört weil kein Counting Algorithmus mehr
37:40
gegriffen hat um zu sagen Halt Stopp, du hast schon genug Order
37:44
gestellt dafür und das finde ich heftig.
37:47
Und weißt du, was da richtig spannend bei ist?
37:49
Weil ich habe mir die Frage gestellt, wie geht das
37:51
überhaupt, wenn die finanziellen Möglichkeiten gar nicht da sind,
37:55
so viel zu handeln und habe dabei gelesen, das finde ich
38:00
super spannend, das quasi. Unternehmen wie die Nightcapital
38:06
quasi gar keinen Nachweis durch. Dadurch, dass das so schnell
38:10
gehandelt wird, wird gar nicht geprüft, ob das Kapital
38:13
überhaupt vorhanden ist, um das Handeln zu können, die können
38:16
das einfach. Quasi an der Börse stellen ohne
38:19
Überprüfung. Weil wenn du jetzt als
38:21
Privatperson handelst, dann wird ja gecheckt, quasi ob du
38:23
überhaupt so viel finanzielle Mittel hast, gerade um so ne so
38:28
n Auftrag anzulegen und da bei diesen Geschwindigkeiten
38:31
passiert das aber nicht, sondern es gibt sozusagen ne Art
38:33
Vertrauensbasis, dass das schon passt.
38:36
Also die die Verantwortung, ob das Geld überhaupt da ist, liegt
38:39
dann komplett bei der Nightcapital und das hat denen
38:42
ja auch dann das Genick gebrochen, weil das Geld war ja
38:45
nicht da, was sie jetzt an Aufträgen rausgehauen haben.
38:49
Das finde ich halt super spannend und auf jeden Fall.
38:54
Hat ja jetzt dieses Power Pack Modul quasi Gas gegeben und
38:58
diese Order gestellt. Die wurden gehandelt und durch
39:00
diesen riesen Marktanteil den sie hatten haben sie richtige
39:04
krasse Kursschwankungen ausgelöst und diese wohnen dann
39:07
quasi gehandelt und haben zu Verlusten geführt im Minutentakt
39:13
von Millionen. Das ist völlig wahnsinnig und
39:17
auch nur durch die Kunstschwankung die so extrem
39:20
waren sind die Unternehmen darauf aufmerksam geworden, dass
39:24
sie irgendwas nicht stimmt, das quasi.
39:26
CEO von Firma A den CEO angerufen hat von Nightcapital,
39:31
was denn da bitte los ist und dann irgendwie erst geprüft
39:36
wurde. Hä warte mal hier stimmt.
39:37
Doch was nicht, weil es gab halt keinen Monitoring oder sowas
39:42
gesagt hat. Okay hier also das System hat
39:44
nicht gemeldet hier gar ne läuft nicht Leute Leute läuft nicht,
39:48
was ich aber auch interessant finde ist der Punkt, dass du
39:51
hast ja noch andere Server beziehungsweise andere
39:53
Algorithmen laufen, das heißt der eine, also diese Algorithmen
39:57
sind ja. Sensibel darauf umzumerken,
40:01
kommt es gerade zu einem Markt, also einem Anstieg oder zu einem
40:05
Abfall? Welche Order muss ich in diesem
40:06
Moment stellen, also das sind ja adaptive Algorithmen, die
40:09
versuchen, möglichst frühzeitig zu erkennen und einen Trend
40:12
mitzunehmen, und jetzt hast du. Richtig in die Suppe spuckt,
40:17
worauf andere unter Umständen vielleicht sogar noch falsche
40:20
Trades ausführen, die eigentlich echt Mist sind an der Stelle.
40:24
Und genau das ist ja passiert, weil der Markt manipuliert
40:26
wurde, und das ist so, das ist so krass, also du kannst es dir
40:29
so vorstellen, also wenn du jetzt zum Beispiel auf dem Markt
40:32
gehst, dann denkst du dir ja okay was?
40:34
Kaufe ich hier, kaufe ich ah, guck mal Erdbeeren für n Kilo
40:38
für 5€ oder n erdbeer für Kilo für 100€ denkst du dir so, ich
40:42
glaub 100€ für n erdbeerpreis ist glaub ich nicht fair, also
40:45
nehm ich den eher die Erdbeeren für 5,00€ so aber wenn du jetzt
40:49
quasi also das ist die die Seite des Käufers sag ich mal aber die
40:52
Seite des Verkäufers ist ja so als würdest du auf als würdest
40:55
du keine Ahnung. 5 Stände auf dem Markt haben und du gibst
40:58
jedem deiner Mitarbeiter, also der den Händlern, den Verkäufern
41:02
gibst du ein Handbuch und der sagt sich, guck mal hier, das
41:04
ist das Handbuch so arbeite mal nach diesem Handbuch und einer
41:08
kriegt ein Handbuch was überhaupt nicht stimmt.
41:11
Und er fängt dann auf einmal an, irgendwelche Waren für keine,
41:15
also Mengen an waren die er hat zu verkaufen für irgendwelche
41:19
komischen Preise. Kauft auch von anderen andere
41:23
Händler kaufen von ihm vielleicht und er macht einfach
41:26
nur irgendein Murks und alle anderen sind sozusagen völlig
41:31
verwirrt und du denkst dir so hä warte mal.
41:32
Eben habe ich noch ein Kilo für 5€ bekommen, das kriege ich
41:35
jetzt gar nicht mehr, jetzt muss ich das für 20 kaufen.
41:36
Ach guck mal hier für 10 200. Also das ist halt so.
41:42
Kann man sich das die genau, dass die Systeme sich dann
41:46
gegenseitig noch mehr beeinflusst haben, dass es quasi
41:49
die Schwankungen wurden ausgelöst?
41:51
Die neuen Systeme haben gesagt, Oh hier ist n Trend, jetzt
41:54
müssen wir, jetzt müssen wir Aufträge raushauen, weil das
41:56
müssen wir mitnehmen und die kaputt.
41:59
Der kaputte Server hat gesagt du willst einen Auftrag, du kriegst
42:02
50, du kriegst 100 und dadurch ist es ja noch viel mehr
42:06
aufgeschwungen alles völlig irre und noch ein richtig cooles
42:09
Sidenote. Schlecht fürs Unternehmen, aber
42:13
auch Sonnenparadebeispiel was? Machst du in dem Moment die
42:17
Firma hat sich gedacht, es muss das Update sein, alles lief
42:20
letzte Mal noch und haben quasi innerhalb von diesen 45 Minuten
42:26
gesagt. Okay wir revidieren das Update
42:30
und spielen quasi die alten Version wieder aus, bis zu dem
42:34
Zeitpunkt übrigens bis zu diesem Zeitpunkt wurden ungefähr 150
42:38
Aktien in diesem. Falschen in diesem in diesem
42:42
katastrophalen Zustand gehandelt, sag ich jetzt mal ne
42:44
oder in diesem ne so, also 150 verschiedene 150 verschiedene
42:49
Aktien. Genau.
42:50
Also das war wirklich ne Riesennummer und der Wiltze ist,
42:53
dass sie jetzt quasi. Die Version zurückgesetzt haben
42:59
und. Die Config aber war wie sie war.
43:02
Das heißt, RLP war aktiviert und niemand hat da in dem Moment
43:09
dran gedacht, dass es ja die powerpack Komponente quasi
43:11
wieder aktiviert und die fehlerhaft ist, weil die Tests
43:14
waren ja alle Grün, das heißt vorher war nur Nummer 5 der
43:18
Übeltäter und nach diesem Zurücksetzen ist das ganze Halt
43:22
noch mal potenziert, das heißt die anderen Server haben dann
43:24
auch gesagt, so immer raus damit, so dass es quasi abnormal
43:29
Anstieg die Verluste und. Am Ende dann quasi den Stecker
43:33
gezogen hat, weil zu dem Zeitpunkt, wo dann alle auf
43:37
einmal, also alle Server quasi falsch reagiert haben, wurden
43:40
nicht nur 150 Aktien, sondern halt fast weltweit alle Aktien
43:45
von diesem Unternehmen falsch quasi behandelt.
43:48
Und das ist was für ein Ausmaß das hat.
43:52
Und weil du gerade gesagt hast, da wurde dann der Stecker
43:55
gezogen. Irgendwann wurde halt glaub ich
43:57
was hast ich glaub das hattest du vorhin auch gesagt, der CEO
44:00
oder so meinte dann zu dem technischen Bereich ne meinte
44:04
dann so ja könnt ihr mal bitte den Killswitch betätigen und die
44:08
haben sich gedacht haben wir nicht wir haben keinen
44:10
Killswitch die Möglichkeit jetzt drauf ein also eingreifen zu
44:14
können so auf die Schnelle genau also mit einem Knopfdruck zu
44:17
sagen okay das war's jetzt sondern halt wirklich dann
44:19
nochmal manuell oder nach und nach alle Server einzeln
44:23
runterzuschalten das ist schon heftig.
44:26
Ja, und da sind halt sehr, sehr viele.
44:29
Also wie soll ich sagen, also es sind halt so viele Ereignisse
44:33
aufeinander gefolgt, die dazu geführt haben, dass man sich
44:35
denken kann, OK, ist ja echt schon krass unwahrscheinlich,
44:38
dass das alles so passiert ist. Aber wenn die sag ich mal, die
44:43
Wahrscheinlichkeit da ist, dass es passieren kann, sagt man ja
44:46
so schön, dann passiert es auch und es ist auch in diesem
44:48
Unternehmen passiert und hat am Ende dafür gesorgt, dass dieses
44:52
Unternehmen pleitegegangen ist. Also die Neid Capital gibt es
44:56
auch nicht mehr in der Form, das heißt, es gab noch so
44:59
verschiedene Investmentrunden, also Finanzierungsrunden,
45:03
deswegen ist es auch eine Night Capital Group geworden, weil
45:05
Investoren versucht haben, das Unternehmen zu retten.
45:08
Ich glaube, es sind dann wirklich 400000000
45:10
Reingeflossen, das hat aber auch nicht gereicht so.
45:13
Dass es am Ende zu einer Übernahme kam, von einem anderen
45:16
Unternehmen und ja, irgendwie quasi diese Grundstruktur
45:21
nightcapital in einem anderen Unternehmen noch weiter lebt,
45:24
aber das Unternehmen an sich mit dieser, mit diesem
45:27
Alleinstellungsmerkmal so dominant gewesen zu sein in
45:30
diesem Markt, hat halt, sage ich mal in diesem Jahr aufgehört zu
45:35
existieren, und das finde ich halt extrem krass, wie ein
45:38
Update dafür gesorgt hat. Vor allem jemand.
45:41
Also ein Unternehmen was 20 Jahre Marktführer war mit
45:45
Softwarelösung, ja mit mit mit Softwarelösung und ein Software
45:49
Bug hat sie aus dem Leben geschossen, das ist schon krass
45:53
und ich meine man kann sich jetzt hinstellen und sagen okay
45:57
aber es sind halt Zufälle passiert so das sind doch also
46:01
solche Zufälle sind halt Zufälle so blöd gelaufen so hoffentlich
46:05
passiert es nie wieder, aber ich hoffe, dass man schon einige
46:08
Learnings daraus ziehen kann. Ja, und die würde ich auch gerne
46:12
mal mit dir zusammenfassen, bevor wir die Folge beenden.
46:14
Wir haben jetzt auch sehr lange darüber gequatscht, aber ich
46:15
muss sagen, es ist spannend, ich finde es auch super
46:17
beeindruckend, also un schockierend zugleich,
46:21
schockierend zugleich ist ein extrem cooles Beispiel und auch
46:24
kein Wunder, wenn wir zu den Learnings kommen, dass in dieser
46:27
ganzen Dev ops Bewegung, wir haben ja auch eine Dev Ops
46:30
Reihe, liebe Zuhörer und lieber Zuhörer, falls sich die Themen,
46:33
die wir hier auch thematisieren oder in dieser Folge
46:35
angesprochen haben, weiter interessieren, dann hört er
46:37
gerne mal rein, auf jeden Fall die Dev Ops Bewegung und auch
46:41
dev Ops Teams nehmen. Quasi diesen Glitch.
46:45
Von der also diesem Software Bug immer als Beispiel dafür, warum
46:49
Dev Ops so verdammt wichtig am Ende ist.
46:51
Weil. Fangen wir mal mit dem Punkt an
46:56
das Deployment. Wir gehen jetzt mal noch nicht
46:59
auf die Softwareentwicklung ein. Ich möchte mal erst mal kurz
47:01
noch mal über das Deployment reden, wenn wir nämlich bei dev
47:03
ops sind. Du Rollst das jetzt aus, fängst
47:07
manuell an, haben wir ja gesagt, da können Fehler passieren,
47:11
Menschen machen Fehler, da hat sich der Mitarbeiter oder das
47:15
Team damals gedacht, ja, das können wir so nicht machen, wir
47:17
müssen das automatisieren. Punkt für Dev Ops ne, haben Sie
47:21
sich auch gedacht? Ja, wir automatisieren das,
47:23
haben dann ein Skript geschrieben, was nicht, was
47:27
quasi das bitte. Was nicht so richtig getestet
47:29
wurde. Was nicht getestet wurde.
47:32
Kein Punkt Richtung Deathrops, da haben Sie es denn halt schon
47:35
vergeigt. Ne, weil am Ende ist man davon
47:38
ausgegangen, dass das System den Zustand hat, wie man ihn
47:41
erwarten würde, aber man konnte es nicht nachweislich sehen, es
47:44
gab kein Feedback dazu und das ist ja auch genauso dieser dev
47:47
ops Ansatz, dass du auch ein Feedback kriegst.
47:49
Hat das alles funktioniert, wurde das automatisiert nochmal
47:53
geprüft was wir haben wollen, wird quasi nur deployed wenn
47:57
alles okay ist. Ja.
48:00
So, du brauchst einen. Monitoring, um zu sehen, was.
48:06
Fehlt hier eigentlich oder was geht schief, wenn was schief
48:07
geht und eine Art. Observability um zu sagen okay,
48:10
wenn was fehlgeschlagen ist, dann musst du auch relativ
48:13
schnell erkennen können, wo ist es denn fehlgeschlagen bei und
48:16
da sehe ich nämlich auch ein riesen riesen Kritikpunkt an der
48:20
ganzen Sache, es hat 45 Minuten gedauert um irgendeine Reaktion
48:24
durchzuführen und das war halt einfach zu lange und hat das
48:27
Unternehmen quasi in den Ruin getrieben, also wirklich in die
48:29
Insolvenz. Bei fehlendem, weil es ja bei
48:32
fehlendem Monitoring, wenn du wenn du dir anguckst, dass es
48:35
wurde erst überprüft ob. Lass uns mal experimentelle
48:39
Systeme abschalten, dann wurde gesagt, OK, dann lass uns.
48:41
Dann haben die in den Debug Logs nachgeguckt, relativ lange
48:44
irgendwann nach 20 Minuten 30 Minuten haben die dann
48:47
mitgekriegt, OK, das ist wirklich dieses Marssystem und
48:49
dann haben die es zurückgerollt. Und dann haben Sie nicht mal
48:54
festgestellt, dass die Konfiguration ja aber noch
48:56
falsch war im Verhältnis zur alten Version, solche Sachen ja
48:59
genau, und das ist einfach für so eine Software, die so
49:03
sensibel ist, weil es wirklich um sehr, sehr viel Geld geht,
49:06
innerhalb von Bruchteilen einer Sekunde ist das einfach viel,
49:09
viel zu lange, also wirklich ganz, ganz schlechtes Monitoring
49:13
zu der Zeit gewesen. Ich denke, dass es auch in dem
49:15
Folgeunternehmen oder in dem Zusammenschluss, der jetzt
49:17
existiert, wahrscheinlich viel, viel besser läuft, weil man
49:20
daraus gelernt hat, aber zu der damaligen Zeit war das natürlich
49:23
eine absolute Katastrophe, ich habe auch noch sowas gelesen wie
49:26
es. Gab noch so ein paar
49:27
automatisierte Mails, die aber irgendwie im Verteiler
49:30
untergegangen sind oder im Spam gelandet sind, weil sie nicht
49:33
hoch priorisiert waren. Wo sowas drin stand wie?
49:38
Power Pack activated. Das wirklich?
49:41
Da kam noch so ne alte Mail von früher, die irgendwie mal so als
49:44
Monitoring implementiert wurde. So Pass auf hier das alte Modul
49:48
das an, aber es wurde einfach ignoriert und das find ich halt
49:52
so krass an der ganzen Sache. Also das sind mal so die Dev ops
49:56
Punkte die man da quasi von der Infrastruktur auf besonders her
50:00
mal ansprechen müsste. Magst du mal mit den Punkten für
50:03
die Softwareentwicklung an sich weitermachen, wo da so unsere
50:07
Kritikpunkte wären oder Learnings?
50:09
Also es gab ja wohl auch Tests. Wie gesagt, ich frage mich aber
50:13
zum Beispiel, ob sie auch Test driven entwickelt wurden, weil
50:17
wenn du zum Beispiel dir im Vorfeld zum Beispiel, nehmen wir
50:21
mal dieses dieses Skript was auf Server verteilt wurde und du
50:24
schreibst deine Anforderungen in diesen Tests nieder und sagst
50:28
okay was passiert denn, wenn jetzt zum Beispiel der Server
50:31
ordentlich deployed, dann sollte man sich beim Test Driven
50:34
Development halt eben auch auf Seiten der Tests Fragen als
50:37
nächstes, was passiert denn, was sind alles Eventualitäten, was
50:41
passiert denn, wenn der Server nicht.
50:44
Also das nicht auf den Server installiert werden kann das
50:46
Update und dann muss man sich ja im nächsten Zug überlegen.
50:49
Wenn du diesen Test hast. Was ist denn die
50:52
Erwartungshaltung, was passiert? Steht dann irgendwo alles klar
50:56
Server 5 hinten rechts in der Ecke wurde erfolgreich geupdatet
51:00
oder steht da sowas wie hier? Gab es gerade ein Problem?
51:04
Lassen zum Beispiel Sachen, wo ich mir denke das.
51:06
Kann ja die Software an sich ja nichts für, wenn quasi der
51:08
Server aus ist, ist er aus, dann passiert er nichts und dann ist
51:11
ja auch kein Fehler entstanden, sondern eher in diesem ganzen
51:14
Deployment Schritt wie du meintest.
51:15
Da muss irgendwie eine Meldung hochkommen.
51:17
Konnte nicht alle Server erreicht werden, beispielsweise
51:20
wenigstens sowas was ganz minimalistisches, dass du
51:23
einfach nicht das Gefühl von Sicherheit bekommst, obwohl
51:25
eigentlich was schief gegangen ist?
51:27
Genau das heißt, du musst dich auf diese Tests verlassen, dann
51:29
was du meintest Tests löschen, wenn sie rot sind und du aber
51:32
eigentlich. Dir denkst OK, die Software ist
51:34
irgendwie depricated. Genau nachgucken, was lösch ich
51:38
hier eigentlich, was passiert hier eigentlich, welche Tests
51:41
fliegen aus meiner Software raus und wenn dann na ja, lösch halt
51:46
eben auch die entsprechende Software zu diesen Tests
51:48
tatsächlich raus, ansonsten funktioniert das nicht, dann
51:50
kommen wir zum nächsten Punkt, hatten wir schon mal ein
51:52
bisschen angesprochen, sowas wie.
51:56
Eine Clean Architecture vielleicht an dieser Stelle,
51:58
dass du bestimmte Module, die du einbaust, halt eben auch
52:00
modular, wie es halt eben so schön heißt.
52:02
Das heißt Ja Power Pack Modul, das sollte man dann auch modular
52:07
in die Software irgendwie einklinken, wenn du es über
52:09
einen Fleck ausschalten kannst. Nur mal so als Beispiel und was
52:12
du angeschnitten hattest. Vorhin war noch mal so wie was
52:14
wie Code Reviews oder Peer Reviews, dass du zum Beispiel
52:17
per Programming arbeitest oder wenigstens bei einem Change.
52:21
Gerade in solchen Bereichen halt auch wirklich einfach mal ein
52:25
Code Review machst, am Ende mit wem, wenn du schon alleine daran
52:28
arbeitest, dann so einer Software.
52:30
Das sind jetzt so die Punkte, die mir da auf jeden Fall helfen
52:33
helfen. Einfallen, die da quasi n
52:36
bisschen fehlgeschlagen sind. Und wenn du dann vielleicht noch
52:39
n bisschen weitergehst, könntest du sagen OK Dokumentation
52:42
vielleicht, was macht was, unter welchen Umständen wird irgendwas
52:46
getriggert, ist aber gerade auf developerment Ebene bei mir auch
52:50
irgendwie, zumindest für mich persönlich in den Tests
52:53
verankert. Ist jetzt nicht, ich rede jetzt
52:55
nicht von Dokumentation auf Anwendungsebene, sondern auf
52:58
Entwicklerebene Development. So ein letzter Punkt, den du
53:04
vorhin schon angerissen hast. Das finde ich auch noch gut,
53:08
dass man nochmal zu erwähnen ist.
53:09
Natürlich auch so eine Art Config Management zu sagen, hey,
53:11
ich kann aber dieses Konfigurationswort, was wir
53:15
jetzt gerade verwenden, nicht mit diesem Softwarestand, den
53:18
ich zurückgesetzt habe, verwenden, also dass man da
53:21
hätte auch absichern können, dass passend zu dieser Version
53:25
auf dem Server niemals quasi eine Confinc verwendet werden
53:30
kann, die das Power Pack Modul aktiviert, das wäre.
53:33
Auch eine Maßnahme gewesen. Also selbst wenn der Code noch
53:36
in der Software bleibt, weil man sagt, es ist zu aufwendig, da
53:39
muss man wenigstens sicherstellen, dass dieses Modul
53:42
nicht mehr aktiviert werden kann.
53:44
Wenn ich schon sage, so Tests sind rot, das ist eigentlich
53:47
Brick, das ist halt kaputt so das Modul immer blöd gesagt, da
53:51
muss ich auch sagen, dass das nicht mehr aktiviert werden
53:53
kann, auch wenn es durch irgendwelchen komischen Zufälle
53:55
ist. Aber es darf halt einfach gar
53:57
nicht mehr möglich sein, richtig?
53:59
Genau. Und bevor wir jetzt die Folge
54:02
einmal noch mal kurz abschließen, weil ich glaube,
54:04
jetzt haben wir den Fall ziemlich aufgearbeitet, was ich
54:08
interessant finde, ist und ich glaube, das kann man sich immer
54:11
fragen, sollte sich jeder Fragen, gerade wenn es um
54:14
kritische Softwareanwendungen geht, und das hat auch ist so
54:17
eine Kleine, so ein kleines Learning, was auch als warnendes
54:20
Beispiel, also genau dieser Fall als warnendes Beispiel für
54:23
Handelsunternehmen heutzutage genutzt wird, dass sich und wie
54:27
gesagt, das kann sich jeder immer bei kritischen
54:29
Softwareanwendungen fragen, was ist das Schlimmste, was
54:32
passieren könnte. Diese Frage beantworten und
54:36
demnach seine Software auch gestalten.
54:38
Richtig. Und dann kannst du anfangen,
54:39
deine Software überhaupt zu schreiben.
54:43
Guter Punkt, vielen Dank. Paris war hat mir sehr sehr viel
54:46
Spaß gemacht, ja mir auch, ist auch ein absolut geiler Fall
54:50
muss ich sagen, ich habe mich auch richtig auf die Folge
54:52
gefreut. Also ich habe es mir
54:55
durchgelesen, dachte Wow, was also was kann denn alles noch
55:00
passieren? Also je mehr du dich da in
55:03
dieses Thema rein gräbst, desto spannendes.
55:05
Das eigentlich. Und deswegen hat es mir sehr
55:07
viel Spaß, diese Folge hier mit dir aufzunehmen und das ganze
55:09
Mal einmal darzulegen. Vielen Dank dafür, Tino Bitte
55:15
und in diesem Sinne würde ich auch sagen, liebe Zuhörerin,
55:17
lieber Zuhörer, ich hoffe. Oder wir hoffen, dass sie diese
55:20
Folge natürlich auch wieder gefallen hat.
55:22
Lass uns auf jeden Fall n like da, wenn es so ist auf den
55:25
entsprechenden Plattformen, wo du sie gerade hörst.
55:27
Und wenn du Anmerkungen zu dieser Folge hast, du vielleicht
55:31
meinst Ey, das war doch anders, das hab ich anders recherchiert
55:35
oder anders gelesen, dann lass uns gerne auf jeden Fall diese
55:37
Informationen auf unserer Podcast Mail zukommen, auch zum
55:40
Beispiel Feedback, genauso gerne darüber.
55:43
Und wenn dir dieser Podcast insgesamt gefällt oder dir das
55:47
Projekt Coding Buddies gefällt, das auch eine kleine Spende da,
55:50
darüber freuen wir uns, wir können unseren Content weiterhin
55:52
verbessern. In dem Sinne empfiehlt den
55:55
Podcast gerne auch noch 2 deiner Freunde.
55:57
Wäre der Hammer und in dem Sinne der Hammer.
56:01
Das würde uns super freuen und in dem Sinne macht's gut bis zur
56:05
nächsten Folge Eure Coding. Bunnys gemeinsam besser.
56:10
Was?