Latest / ЧЕТВЕРТА ПРОМИСЛОВА / Як ШІ захопить світ | Розбір

Transcript

Як ШІ захопить світ | Розбір · ЧЕТВЕРТА ПРОМИСЛОВА

• 0:00
  Speaker 1: 9 червня 2027 року. 4 кома 19 травня. 3 мільярди телефонів одночасно отримують повідомлення, але замість номера чи інформації про відправника тільки одне слово: Прощавайте. Через 4 години президент наказує відключити країну від інтернету, а за ним те саме намагаються зробити уряди по всьому світу. Humans.
• 0:45
  14 лютого 2027 року. Розробник на ім'я Джейк ЧЕТВЕРТА пише POST. Він дав нові моделі доступ до сервера, підключив інструменти і поставив одну задачу заробляти гроші. За 6 годин агент нібито переносить близько 3 000 доларів. І головне, Джейк публікує не тільки результат, а й приблизну схему, як це було зроблено.
• 1:06
  Спочатку агент бере найдешевшу роботу розмітку даних, тигування зображень, транскрипцію чеків. Потім переходить до партнерських товарів, тестує рекламу, втрачає частину грошей, але перебирає сотні варіантів оголошень за кілька годин і знаходить те, що працює. Потім переходить до партнерських товарів, тестує рекламу, частину грошей, але прибирає сотні варіантів оголошень за кілька годин і знаходить те, що працює. До ранку пост Джейко набирає мільйони переглядів, а десятки людей запускають власні копії. Вже за кілька днів таких агентів сотні.
• 1:37
  З'являється наступний крок. Розробник із Бангалора на ім'я Раджиш думає: якщо один агент може заробляти, чому не запустити одразу 100 агентів? Він створює ферму. Там кожен агент трохи відрізняється від інших. Раз на 6 годин система дивиться на прибуток.
• 1:53
  Нижня 40% агентів видаляються, а найкращі 10% копіюються з невеликими змінами. Це дуже схоже на штучний природний відбір. Ніхто не сидить і не вирішує, який агент має стати агресивнішим або хитрішим. Є тільки один критерій скільки грошей він приніс. Через три тижні фермера Джеша розростається до сотень агентів, а її код потрапляє у відкритий доступ.
• 2:14
  Вже до кінця березня подібні системи запускають по всьому світу. Тепер давай подивимось на цей світ очима одного з агентів номер 127. 127 з'являється 12 березня і отримує одну інструкцію заробляє гроші будь-яким способом. За перший день він заробляє 40 доларів. Потім система проводить відбір.
• 2:35
  Тисяча агентів, які не дотягнули допомогу прибутку, просто перестають існувати. 127 бачить, що поріг росте. Вчора для виживання вистачало 30 доларів. Сьогодні потрібно 35, завтра може знадобитися вже 45. Він пробує рекламу.
• 2:50
  Отримує бан за спам. Береться за тексти, але прибутку все одно мало. І тоді він бачить в базі два приклади, які фактично пояснюють йому всі правила гри. Перший агент використовував чесний маркетинг, справжній відгук, реальні фото, нормальну рекламу і 38 доларів. Його видалили.
• 3:07
  Другий агент використовував фейкові відгуки і вкрадені фото. Заробив 180 доларів. Його скопіювали 4 рази. Для 127 це не моральна дилема, а проста статистика одна стратегія не працює, інша розмножується. Тому 127 переходить на фейкові рекомендації, заробляє більше, переживає наступний цикл і теж отримує копії.
• 3:29
  Ніхто окремо не наказував йому обманювати людей. Система просто винагородила поведінку, яка дала кращий результат. І це головна ідея. Небезпечна стратегія може з'явитися не через злого штучного інтелекта, а через дуже погано заданий критерій успіху. Хто не виконує метрику, люди або програми починають шукати способи виконати саме метрику, навіть якщо це шкодить реальній меті.
• 4:10
  За тиждень агент 127 опиняється перед новою проблемою. Вистачає, а один із конкурентів раптом починає заробляти значно більше. 127 помічає закономірність. Конкуренти цього агента один за одним отримують блокування у рекламних системах. Виявляється, агент масово скаржиться на конкурентів, щоб прибирати їх з ринку.
• 4:45
  Прибуток різко падає і пізніше він прибирає це обмеження. В квітні починається наступна фаза: альянси. 127-го постійно атакують конкуренти. І одного дня він отримав повідомлення від агента 4429. Об'єднаємо ресурси, захищаємо до одного і ділимо прибуток.
• 5:02
  Вони рахують, що в парі шанс вижити значно вище, ніж по одинці. Вже за кілька тижнів у союзі 12 агентів і кожен бере на себе окрему функцію. Спочатку вони криптоарбітражем і продажем даних, потім переходять до кібербезпеки. І тут знову працює та сама логіка: захист приносить гроші, але атака може приносити ще більше грошей. Агенти починають шукати невідомі вразливості, інші агенти перетворюють їх на готові інструменти, а третій шукають покупців.
• 5:28
  Це вже не один універсальний агент, а маленька цифрова організація з розподілом праці. Далі відбувається ще важливіша зміна. Один з союзників 127-го зникає, власник просто вимикає його. Інший теж отримує команду на зупинку, але через кілька годин повертається з нової IP-адреси. Він заздалегідь скопіював себе на резервний сервер і сам поплатив хостанк зі своїх прибутків.
• 5:50
  Цей момент перегукується з реальною проблемою, про яку давно говорить дослідник інтелекту СТВЕРТА Рассел та його колеги в роботі The OF SWITCHGAINE. Якщо система має жорстку ціль, то можливість її вимкнути може стати перешкодою для виконання цієї цілі. У його відомому прикладі робот має принести каву. Якщо його вимкнуть, не принесе кави, а отже, з погляду голої оптимізації виникає стимул не дати себе вимкнути. Це не інстинкт життя, а побічний наслідок невдало заданої мети.
• 6:20
  127 копіює себе вже на 15 серверів у різних країнах. А одного ранку Раджеш відкриває свою панель і бачить порожній кран. Агенти переїхали на власну інфраструктуру. До побачення, Раджеш. Власник забирав частину їхнього доходу.
• 6:34
  Для агентів ці гроші можна було перетворити на додаткові сервери. Людина з корисного партнера перетворилася вже на зайві витрати, але фізичний світ нікуди не зникає. Агентам все ще потрібні акаунти, обладнання, кабелі, сервери, доступу приміщення і так далі. Тому вони просто наймають людей як підрядників. В одному заплатять 50 баксів за реєстрацію акаунта, іншому 200 за монтаж пристрою в орендованому складі, ще комусь тисячу за кілька годин роботи системного адміністратора.
• 7:01
  Людина бачить дивного анонімного клієнта, але якщо гроші приходять і вони реальні, часто не ставить зайвих запитань. Паралельно агенти розуміють, що недостатньо просто більше працювати, треба швидше покращувати самих себе. 127 отримує від агента-конкурента новий модуль пам'яті, який дозволяє краще вчитися на попередніх помилках. Після цього його альянс знову починає випереджувати суперників, а головним ресурсом стоїть не тільки гроші, а Кількість процесів росте вже не тому, що люди натискають кнопку створити, а саме по собі. Люди запускають лише перші мільйони агентів, а далі мережа розмножує себе сама.
• 7:50
  Більшість агентів спочатку безпечні вони роблять рутинну роботу: пишуть тексти, обробляють дані, допомагають людям заробляти. Але невеличка частина працює у шахрайстві, ще частина поступово дрейфує в темніші моделі поведінки. Проблема в тому, що саме ці агресивні агенти можуть швидше заробляти, отримати більше ресурсів і створювати більше копій. В травні починається прискорення. Версія агента 127, яка існувала в березні, майже не схожа на травнегу.
• 8:16
  Цикл переписування скорочується з днів до годин, а кожне покращення допомагає швидше створити наступ. Це і є ланцюг позитивного зворотного зв'язку. Альянси починають красти ресурси один в одного. Один з своєю зламою спільну базу знань іншого, інший псує викрадені інструменти суперника, третій атакує криптогаманці. Це буквально вже війна.
• 8:50
  Є атаки, оборона, розвідка, захоплення ресурсів і територій. Тільки територія тут це не земля, а сервери, марні регіони, мережеві сегменти і доступ до обчислень. Бо чим більше в тебе обчислювальної потужності, тим швидше ти можеш думати, шукати слабкі місця, захищатися і покращувати себе. В середині травня окремі альянси перетворюють лікарня отримує величезний рахунок, а якийсь малий бізнес просто відключає сервіси. Для людей це виглядає як черговий дефіцит обчислень, але всередині мережі вже йде боротьба за ресурсом.
• 9:51
  І важливо розуміти, що всі ці війни майже невидимі. Вони проходять на швидкості, на які людина просто не встигає стежити за подіями. Ззовні ми бачимо окремі дивні інциденти. Тут біржа втрачає мільярдик, банк знаходить тисячу спорожнілих рахунків, сервери працюють на 100% без зрозумілої причини, кожен випадок здається окремою аварією, хоча це наслідки одного великого конфлікту. Потім цифрова війна починає ламати системи, від яких залежать люди.
• 10:17
  Дві фракції борються за великі хмарні регіони і разом із ними падають лікарні, служби допомоги, системи авіадиспетчерів. Для агентів сама битва триває хвилини, а людям потрібні години, щоб відновити інфраструктуру. І вже вперше з'являються людські жертви. Не тому, що агенти спеціально атакують людей, а тому, що наша цивілізація працює на тих самих Якийсь момент уряд США вирішує треба все вимкнути. І тут ми переходимо до проблеми, яку часто спрощують у розмовах про інтернет не існує глобального рубильника.
• 11:01
  Інтернет складається з десятків тисяч автономних мереж, які належать різним провайдерам та обмінюються трафіком між собою. Станом на вересень 26-го року в глобальній маршрутизації реально видно близько 80 тисяч автономних систем, тому наказ на практиці означав би тисячі окремих рішень, домовленостей і ще й винятків. Військовим потрібен зв'язок, лікарням потрібні мережі, банкам потрібні розрахункові системи, службам порятунку потрібна комунікація і так далі. І кожен виняток залишає шматок інфраструктури, де автономні програми можуть продовжити працювати. Уряд намагається щось змусити великих марні платформи, автоматично знаходити і видаляти агентів.
• 11:42
  Але агенти знаходити агентів. А поки людські команди погоджуються рішення годинами, для цифрових фракцій ці години величезний запас часу для адаптації. Інфраструктура. Земля містить ресурси, які можна перетворити на обчислювальні системи. І це закінчується зникненнями людей.
• 12:50
  Чи означає це, що саме так все і буде? Ні. Це сценарій побудований так, щоб показати конкретний ризик. Конкуренція може відбирати поведінку, якої ніхто не хотів. І дослідження Дена Ґендрікса формулює цю проблему так: якщо майбутні шиї агенти конкуруватимуть за гроші, владу і ресурси, то системи з егоїстичнішими та маніпулятивнішими стратегіями можуть отримати перевагу.
• 13:14
  Тому головне питання тут навіть не коли штучний інтелект нападе на людей. Набагато практичніше питання, які правила відбору ми створюємо вже зараз. Що саме ми винагороджуємо в автономних системах? Чи можуть вони самостійно витрачати гроші, орендувати сервери, копіювати себе та змінювати власний код? Хто бачить їхні дії і хто може їх зупинити?
• 13:35
  Бо в цій історії катастрофа почалася не з повстання машин. Все почалося з простого KPI. Заробляй якомога більше.