Cyberataki na sztuczną inteligencję
Sztuczna inteligencja i zmiana paradygmatu cyberbezpieczeństwa
Sztuczna inteligencja (AI, artificial intelligence) lub precyzyjniej mówiąc, algorytmy uczenia maszynowego (ML, machine learning), gwałtownie przechodzą ze strefy science-fiction do użytkowego mainstreamu. Choć podstawy matematyczne i algorytmy (chociażby tak bardzo popularne teraz sieci neuronowe) istnieją od wielu dziesięcioleci, dopiero od niedawna moc obliczeniowa pozwala w pełni wykorzystać ich potencjał. Pierwsze cyberataki na szeroką skalę, które ingerowałyby w sztuczną inteligencję, są dopiero przed nami, jednak budowanie świadomości, uwzględnianie nowego modelu zagrożeń oraz zabezpieczenia są potrzebne już teraz.
Nikogo już nie dziwi asystent głosowy w smartfonie pomagający znaleźć restaurację w pobliżu, trafne rekomendacje w serwisie filmowym, autonomiczne pojazdy, które same podejmują decyzję, jak uniknąć niebezpieczeństw czy algorytmy pomagające wykryć nowotwory na podstawie wyników obrazowania diagnostycznego. Już niedługo to sztuczna inteligencja określi zdolność kredytową, wyznaczy ryzyko ubezpieczeniowe czy zoptymalizuje inwestycje naszego kapitału.
Inteligencja owiana tajemnicą
W samym sercu sztucznej inteligencji tkwi jednak mroczna tajemnica. Algorytmy podejmują bardzo trafne decyzje. Potrafią z ogromną dozą dokładności nie tylko wykryć komórki nowotworowe, ale także określić, jak prawdopodobne jest, że osoba popełni przestępstwo czy nawet jaka jest jej orientacja seksualna – wyłącznie na podstawie zdjęcia tej osoby.
Dlaczego jest to tajemnica? Rezultat działania algorytmu jest dokładny, jednak nawet jego twórcy nie potrafią odpowiedzieć na pytanie: dlaczego algorytm zrobił to, co zrobił? Algorytm poprawnie zdiagnozował nowotwór, jednak nie mamy pojęcia, na jakiej podstawie tak się stało. Zasady matematyczne są dobrze znane, jednak sam proces decyzyjny to matematyczna czarna skrzynka.
Dzieje się tak, ponieważ sztuczna inteligencja uczy się na przykładach. Jeśli – przyjmijmy – chcemy nauczyć sztuczną inteligencję rozpoznawać kota, nie musimy programować jego cech szczególnych. Po prostu trenujemy algorytm na dziesiątkach, setkach tysięcy zdjęć kotów i nie-kotów, aż miliony matematycznych wskaźników wewnątrz algorytmu same ustawią się tak, żeby odróżniać kota od nie-kota. Wynik będzie w większości przypadków poprawny. Co do niego doprowadziło? Jaka jest wewnętrzna reprezentacja cech typowych dla kota wewnątrz algorytmu? Tego niestety nie wiemy.
W samym sercu sztucznej inteligencji tkwi jednak mroczna tajemnica. Algorytmy podejmują bardzo trafne decyzje. Potrafią z ogromną dozą dokładności nie tylko wykryć komórki nowotworowe, ale także określić, jak prawdopodobne jest, że osoba popełni przestępstwo czy nawet jaka jest jej orientacja seksualna – wyłącznie na podstawie zdjęcia tej osoby.
Dlaczego jest to tajemnica? Rezultat działania algorytmu jest dokładny, jednak nawet jego twórcy nie potrafią odpowiedzieć na pytanie: dlaczego algorytm zrobił to, co zrobił? Algorytm poprawnie zdiagnozował nowotwór, jednak nie mamy pojęcia, na jakiej podstawie tak się stało. Zasady matematyczne są dobrze znane, jednak sam proces decyzyjny to matematyczna czarna skrzynka.
Dzieje się tak, ponieważ sztuczna inteligencja uczy się na przykładach. Jeśli – przyjmijmy – chcemy nauczyć sztuczną inteligencję rozpoznawać kota, nie musimy programować jego cech szczególnych. Po prostu trenujemy algorytm na dziesiątkach, setkach tysięcy zdjęć kotów i nie-kotów, aż miliony matematycznych wskaźników wewnątrz algorytmu same ustawią się tak, żeby odróżniać kota od nie-kota. Wynik będzie w większości przypadków poprawny. Co do niego doprowadziło? Jaka jest wewnętrzna reprezentacja cech typowych dla kota wewnątrz algorytmu? Tego niestety nie wiemy.
Musimy być przygotowani na zmianę paradygmatu myślenia o cyberbezpieczeństwie oraz na zupełnie nowe klasy ataków polegające na zatruwaniu świadomości sztucznej inteligencji przez hakerów.
Cyberataki na sztuczną inteligencję
Jest to szczególnie ważna kwestia ze względu na cyberbezpieczeństwo. Już teraz widzimy niewinne ataki na sztuczną inteligencję, gdzie np. reklama aktywuje asystenta głosowego, żeby wykonał pewne akcje. Problem będzie jednak dużo poważniejszy kiedy czarne skrzynki sztucznej inteligencji zaczną podejmować decyzje biznesowe. Musimy być przygotowani na zmianę paradygmatu myślenia o cyberbezpieczeństwie w erze uczenia maszynowego oraz na zupełnie nowe klasy ataków polegające na zatruwaniu świadomości sztucznej inteligencji przez hakerów.
Wyobraźmy sobie, że atakujący w ten sposób preparuje dane dla algorytmu, żeby osłabić jego czułość, oswoić z czymś, co jest anomalią. Jaki może być efekt? Beztrosko udzielane kredyty, bardzo niska stawka ubezpieczenia, autonomiczne pojazdy, które mylą czerwone światło z zielonym czy same się kradną, ponieważ haker wyznaczył inne miejsce jako bazę. Pomyślmy też o wirtualnych asystentach w naszych telefonach czy domach, którzy – po ingerencji w bazę wiedzy przez hakera – po cichu zaczynają wykonywać za nas transakcje finansowe czy dokonywać zakupów.
Dlaczego to zmiana paradygmatu? Same algorytmy sztucznej inteligencji są matematyczną czarną skrzynką nawet dla ich twórców, zatem wykrywanie i walka z tego typu atakami będzie niezwykle trudna i prawdopodobnie będzie wymagała… sztucznej inteligencji, która będzie dbać o cyberbezpieczeństwo i sprawować nadzór nad biznesowymi algorytmami, alarmując w momencie, kiedy zaczną podejmować dziwaczne decyzje.
Wyobraźmy sobie, że atakujący w ten sposób preparuje dane dla algorytmu, żeby osłabić jego czułość, oswoić z czymś, co jest anomalią. Jaki może być efekt? Beztrosko udzielane kredyty, bardzo niska stawka ubezpieczenia, autonomiczne pojazdy, które mylą czerwone światło z zielonym czy same się kradną, ponieważ haker wyznaczył inne miejsce jako bazę. Pomyślmy też o wirtualnych asystentach w naszych telefonach czy domach, którzy – po ingerencji w bazę wiedzy przez hakera – po cichu zaczynają wykonywać za nas transakcje finansowe czy dokonywać zakupów.
Dlaczego to zmiana paradygmatu? Same algorytmy sztucznej inteligencji są matematyczną czarną skrzynką nawet dla ich twórców, zatem wykrywanie i walka z tego typu atakami będzie niezwykle trudna i prawdopodobnie będzie wymagała… sztucznej inteligencji, która będzie dbać o cyberbezpieczeństwo i sprawować nadzór nad biznesowymi algorytmami, alarmując w momencie, kiedy zaczną podejmować dziwaczne decyzje.
Nowe techniki odpierania ataków
Już w tej chwili prowadzone są badania nad zastosowaniem specjalnych technik polegających na symulowanym generowaniu ataków, aby dany algorytm sztucznej inteligencji mógł być bardziej odporny na próby zatrucia jego świadomości przez hakera. Cała dziedzina jest jednak nowa i niesamowicie intensywnie się rozwija. Żaden z producentów samochodów autonomicznych nie chce być tym, którego pojazd na skutek manipulacji bazy wiedzy przez hakera przestanie dostrzegać przeszkody na drodze. To tylko jeden z przykładów, bo sztuczna inteligencja wkracza w wiele obszarów zarówno gospodarki, jak i naszego życia.
Już w tej chwili prowadzone są badania nad zastosowaniem specjalnych technik polegających na symulowanym generowaniu ataków, aby dany algorytm sztucznej inteligencji mógł być bardziej odporny na próby zatrucia jego świadomości przez hakera. Cała dziedzina jest jednak nowa i niesamowicie intensywnie się rozwija. Żaden z producentów samochodów autonomicznych nie chce być tym, którego pojazd na skutek manipulacji bazy wiedzy przez hakera przestanie dostrzegać przeszkody na drodze. To tylko jeden z przykładów, bo sztuczna inteligencja wkracza w wiele obszarów zarówno gospodarki, jak i naszego życia.
Autor: Leszek Tasiemski – lider centrum cyberbezpieczeństwa F-Secure w Poznaniu