Niby oczywiste, a zaskakuje.

Wczoraj z powodu pomyłki (lub jak kto woli błędu technicznego) akcje Berkshire Hathaway, w której prezesem i CEO jest legendarny Warren Buffett, zanotowały spektakularną przecenę o ponad 99%. Prawie natychmiast giełda NYSE wydała komunikat, że transakcje zostaną cofnięte. I można dyskutować, czy jest to sprawiedliwe czy nie. Jedno jest pewne: automaty zareagowały poprawnie, realizując wielkie transakcje i czyniąc ich właścicieli pozornie wygranymi. Nie milkną echa tego wydarzenia, gdyż za zarobione pieniądze te same automaty dokonały tysięcy kolejnych transakcji, opierając się na "zero-jedynkowej" analizie posiadanych kwot inwestycyjnych. Przez następne tygodnie i miesiące będziemy obserwować spektakl tłumaczeń co było powodem awarii, spekulacje o ich źródło, o przewadze nowych technologii, w szczególności blockchain, oraz będziemy mogli obserwować sagę dysput prawników rozwiązujących tę kwestię dla inwestorów, którzy na tej sytuacji zyskali lub stracili. Jedno jest pewne: jest to pierwsza z serii pomyłek, gdzie algorytmy HFT połączone z zaawansowaną sztuczną inteligencją przerażają klasyczny rynek obrotu akcjami.

Technologia jest zawodna. Nowoczesna technologia zawodzi w nowoczesny sposób. Dużo o tym mówiłem w swoich poprzednich blogach oraz w swojej książce "SPEED bez granic w cyfrowym świecie". Jeżeli mamy wyizolowany system informatyczny wyposażony jedynie w interfejsy informacyjne lub raportujące, wówczas człowiek może, dzięki swojej inteligencji, dokonać intuicyjnej analizy i zwrócić uwagę, że coś nie gra. Jednakże, gdy systemy są ze sobą wzajemnie powiązane, działają w czasie rzeczywistym oraz wzajemnie wchodzą ze sobą w interakcje, a sygnały są podstawą do podejmowania kolejnych działań, mamy do czynienia z efektem kuli śnieżnej. W sytuacji bardzo dużego błędu działają kontrole aplikacyjne (przykładowo w infrastrukturze przemysłowej "bezpiecznikami" są przekraczające prawa fizyki odczyty, np. dane o zjawiskach, które fizycznie nie mogą zajść, temperatura wody zmienia się w trzech kolejnych odczytach sekundowych z 0 do 100 i ponownie na zero stopni Celsjusza) lecz gdy zdarzenia są małe lub dryftujące algorytmy uczenia maszynowego nie tylko nie rozpoznają błędu, ale wręcz douczają się traktując go jako nową zmianę.

W swojej książce rozważam, co jest "patentem na bezpieczeństwo" w czwartej rewolucji przemysłowej. Dla przypomnienia, bezpiecznik topikowy czy kamizelka ratunkowa sprawiły, że nowa technologia posiadała na początku XX wieku automatyczny mechanizm zabezpieczający użytkownika przed jej niekorzystnymi działaniami. Prąd mógł porazić, ale dzięki bezpiecznikowi obwód zostaje przerwany i krzywda nikomu się nie dzieje. Można utonąć na morzu, ale dzięki kamizelce ratunkowej utrzymamy się na powierzchni i zostaniemy uratowani. Systemy hydrantów w miastach czy hamulce w windach OTIS spowodowały, że ludzie nabrali zaufania do technologii i zaczęli jej używać. Kryptografia i SSL spowodowały, że bankowość internetowa wydawała się dla zwykłego konsumenta wystarczającym zabezpieczeniem. Ale w dzisiejszych czasach nie mamy takiego bezpiecznika dla systemów AI. I nawet nie szukając daleko i w bardzo skomplikowanych rozwiązaniach warto prześledzić relacje ludzi, którym skradziono tożsamość lub uznano ich za martwych w komputerowych systemach administracyjnych. Lawina konsekwencji jest tak duża, że odwrócenie stanu, czyli naprawienie błędu bywa procesem uciążliwym i długotrwałym.

Po raz kolejny przywołuję Nicolasa Carra i jego artykuł "IT doesn't matter". To co ma znaczenie to jak się zabezpieczyć przed negatywnymi skutkami błędów lub po prostu jej utratą. I po raz kolejny namawiam nas wszystkich, tych którzy mówią o nowoczesnej technologii i jej zaletach o myśleniu również jak się zabezpieczyć przed umyślnymi i przypadkowymi błędami. STO nie jest rozwiązaniem. Wcześniej lub później będziemy musieli zmierzyć się z ryzykiem.

Zdjęcie wykonane w Pekinie w 2014 roku. Na jednym z placów setki chińskich dzieci w upale sięgającym 35 stopni Celsjusza, wyposażone przez rodziców w parasolki zapobiegające udarowi słonecznemu, bawiły się nimi zamiast trzymać nad głowami.

Dedykuję to zdjęcie wszystkim liderom odpowiedzialnym za prawidłowe działanie technologii. Mechanizm bezpieczeństwa nie spełni swoich zadań, jeżeli jest źle używany lub gdy nie sposób go użyć.