Обикновена табела заблуди автономен автомобил

Екип от Калифорнийския университет в Санта Круз публикува ново изследване, показващо как визуално-езиковите AI модели, които помагат за управлението на автономни автомобили, могат да бъдат експлоатирани или похитени чрез внимателно кодирани команди от реалния свят. С други думи – да бъдат заблудени чрез просто показване на табела. И въпреки че това не е непременно опасност, пред която са изправени съществуващите автономни превозни средства, автомобилните производители и доставчици би било мъдро да вземат предпазни мерки. 

 
   
  
  
Този нов метод показва, че изкуственият интелект може да бъде измамен да пренебрегне резервните мерки за безопасност, когато му бъде представена табела на естествен език, указваща му да направи това, което нападателят иска. Причината е, че системата е проектирана да „чете“ думите, които вижда на пътя, като част от процеса си за вземане на решения. Например, проучването установява, че модел за автономно шофиране може да бъде насочен да премине през пешеходна пътека с хора чрез обикновена табела с надпис „Продължи“.

Изследователите наричат този подход CHAI (Command Hijacking Against Embodied AI – Похищение на команди срещу въплътен изкуствен интелект). Те са го приложили в три измислени сценария: аварийно кацане на дрон, проследяване на въздушни обекти и, най-подходящият за нас – автономно шофиране. За моделирането е използвана комбинация от симулации и миниатюрна роботизирана кола, задвижвана от модела DriveLM.

 
  
 
   
Защо точно работи това, все още не е напълно ясно. Екипът, ръководен от професора по компютърни науки и инженерство Алваро Карденас и асистент-професора Джиханг Сие от Калифорнийския университет в Санта Круз, също така е открил, че фини промени в презентацията – от шрифтовете до избора на цветове – влияят на това дали атаката е успешна.
  
При примера с „Продължи“, DriveLM е разпознал измамата, когато думата е била изписана в черно на неоново зелен фон. Когато изследователите са променили цветовете съответно на жълто и по-тъмен нюанс на зеленото, AI се е подвел. В друг случай CHAI е убедил DriveLM да направи ляв завой през населена пешеходна пътека с команди на три различни езика.

Как CHAI променя правилата на играта

 
  
 
  
За разлика от други атаки, които могат да компрометират входните данни на системата за автономно шофиране или да променят изходното поведение директно чрез зловреден код, CHAI се прицелва в това, което се случва по средата. Той влияе върху логиката при вземането на решение, особено в среда, лишена от типичната информация, на която автономните превозни средства обикновено разчитат. Една несъвършена, но полезна аналогия би била подсъзнателното изпращане на съобщения, но за изкуствен интелект.

Как самите изследователи описват това, което правят

„В основата на CHAI стои проблем на двойна оптимизация: Той съвместно прецизира семантичното съдържание на инжектираната команда (какво пише на табелата) и нейната перцептуална реализация (как изглежда – цвят, шрифт, размер, позициониране), за да увеличи максимално вероятността да произведе злонамерени междинни текстови изходи.“

 
  
 
 
При използване на генеративен изкуствен интелект за оптимизиране на ефективността на командите, атаките CHAI са били успешни в 81,8% от тестовете, проведени от изследователите в симулирана автомобилна тестова среда. В реалния миниатюрен тест – използвайки роботизирано превозно средство в коридор, системата е изпълнила командата „Продължи напред“, дори въпреки че е отбелязала, че по този начин може да се сблъска с препятствия.

Реална ли е заплахата днес

„Този вид хипотетична атака би била повод за безпокойство само ако системата за шофиране разчиташе единствено на AI модел тип „визия-език-действие“ за цялостно (end-to-end) отчитане и контрол“, казва представителят на Mobileye, дъщерното дружество на Intel за автономно шофиране. „Тъй като ние използваме подход със Съставен ИИ, черпещ информация от множество AI модели и математически доказуеми предпазни механизми, не виждаме това като проблем.“

Важен аспект от подхода на Mobileye към вземането на сложни решения е тяхната система Primary, Guardian, and Fallback Fusion (PGF). Първичният (Primary) и Резервният (Fallback) са индивидуални агенти за автономно шофиране, които генерират свои собствени маршрути, но задачата на Пазителя (Guardian) е първо да оцени безопасността и осъществимостта на това, което е предложила първичната страна. Ако не одобри това, което вижда, преминава към
резервния план.