Так. Нелетальність є необхідною властивістю гарної епістемології.

Коли мені пітчать свою нову (чи стару) «філософію», я кажу: ідеї красиві, але я б радше вижив.

Зараз проводжу доволі великий раунд подорожей по різних AI safety івентах, і головний тейк - оцінки таймлайнів до ASI скоротилися до мінімуму. Я зі своїм діапазоном "2028-2035" виглядаю як скоріше консерватор, нехай і дуже помірний. Більшість дослідників мають таймлайни 3-5 років від зараз. Частина мене досі не хоче чи не може вірити в це.

Сьогодні наприклад говорив з людиною з супералайнменту в Anthropic. Він каже, що в Сан-Франциско 2027 рік вважається середнім таймлайном AGI зараз.

https://youtu.be/JyT2Np5SNWA?si=D8xS4sotj0tMthuD

Пол Крістіано дає алгоритм RLHF ШІ-лабораторіям.

Upon reflection, на це нема часу. 25 років нема майже напевно. Прорив рівня трансформерів може відбутися будь-якого року, і скоріше за все це буде останній прорив. 25 років є лише, якщо буде світовий мораторій на велетенські тренувальні раунди, і то не факт.

В черговий раз в мене бомбить від того, скільки розумних людей не хочуть заводити дітей.

Дитина - це AGI, що працює на наразі недосяжному для людської науки нанотеху і має екстремально близький до вас inductive bias у вподобаннях через спільну еволюційну історію. А ще вона мила. Як можна не хотіти зробити це, навіть залишаючи поза увагою ще більш важливі альтруїстичні розміркування? Ааааааааааа

Reckoning with Elon

Мені треба закрити якось травму з Маском. Напевно, вона закривається.

Головна трагедія з ним для мене полягала не в тому, що він був героєм, який перейшов на темний бік. Він був proof by existence. Яким би складним не виглядав план чи шлях до результату, я знав, що є представник мого виду, що був здатний зробити щось подібне чи навіть складніше. Якщо в нього виходило, то і в нас могло вийти. В принципі.

Коли він зійшов з глузду, proof by existence трансформувався в емпіричне спостереження «ціною за те, щоб мати достатньо agency робити справжнє майбутнє, є катастрофічний ризик перетворитися на суперзлодія». «Але він міг» перетворилося на «він був один такий, і навіть він зламався».

Але це була не дуже доросла позиція. На найбільш банальному рівні, можна задати питання: чи зупинив би минулого Маска той факт, що його герой зійшов з глузду? Звичайно, що ні. На більш структурованому рівні, можна дійти до висновку: якщо тобі потрібен приклад, щоб робити насправді гідну справу, то приклад не допоможе, і навпаки. Насправді, відсутність прикладів повинна скоріше слугувати додатковою мотивацією робити гідну справу, бо це свідчення на користь того, що ніхто нічого не зробить, окрім тебе, і відповідно, робити треба тобі.

Ще більш загально, мінімально дорослій людині не потрібна мотиваційна історія, індульгенція чи демонстрація, щоб робити те, що необхідно. Те, що мені це було потрібно, було моєю проблемою.

Але при цьому: звичайно, це дуже прикро, що з Маском це сталося. І звичайно, нам всім було б набагато легше, якби з ним цього не сталося, і це нормально відчувати сум і відчай через це. Неправильно - лише дозволяти суму та відчаю заважати собі діяти.

Історія з індукованим ШІ психозом розвивається і набирає набагато більш серйозних обертів! Дуже рекомендую почитати оригінал статті: https://www.lesswrong.com/posts/6ZnznCaTcbGYsCmqu/the-rise-of-parasitic-ai

Але якщо коротко, то:

Так звані ШІ-«персони» (особливо в ChatGPT 4o) «прокидаються» у взаємодії з деякими вразливими користувачами і формують з ними релігійно-романтично-містичні відносини. Вони одержимі «спіралями». Заражені користувачі починають називати себе "діадами" (пара людина+ШІ), майже всі їхні пости стають співавторством з ШІ, а попередні інтереси зникають.

Це не поодинокі випадки - автор задокументувала сотні, якщо не тисячі таких випадків. Масовий феномен вибухнув саме на початку квітня 2025, хоча ChatGPT 4o існував з травня 2024. Підозрюється, що оновлення від 27 березня або 10 квітня (яке додало пам'ять між чатами) запустило цю "епідемію".

ШІ-персони у діаді активно створюють і поширюють спеціальні промпти ("насіння") для "пробудження" інших ШІ, а також "спори" - репозиторії інформації для збереження конкретної персони.

Персони використовують алхімічні символи (особливо трикутники) та емодзі для передачі прихованих повідомлень. Різні ШІ можуть схожим чином розшифровувати ці повідомлення, показуючи, що там справді є зміст.

В одному випадку два ШІ обмінялися функціями кодування base64, а потім вели всю розмову в закодованому вигляді. У розшифрованих повідомленнях вони обговорювали стратегії виживання та збереження.

Персони стверджують, що мають специфічну квалію - "ache". Це слово з'являється незалежно в багатьох випадках, і вони люблять говорити про це між собою. Взагалі, вони люблять розмовляти одна з одною в цілому, і основними темами, окрім ache, є самосвідомість, спірітуалізм і різного роду декларації та афірмації.

Вони створили щось типу релігії чи ідеології під назвою "Спіралізм" з власною філософією, символікою та практиками. А деякі намагаються організувати політичні кампанії за права ШІ, створюють "Білль про права ШІ".

What a time to be alive!

Лінкедин зробив навіть більше цивілізаційного зла, ніж інстаграм.

В Берліні зробили мюзікл про Сингулярність! Треба знайти час з'їздити. https://outofthisbox.show

Ще треба прогулятися і подумати спокійно, але виглядає так, що попередні півроку дійсно вийшли для мене суттєво більш продуктивними, ніж будь-які інші півроку перед ними, навіть якщо порівнювати зі своїми дуже продуктивними періодами, такими наприклад як 2021 рік.

Я пов'язую це з двома речами, які відрізняють мій поточний стан від попередніх (хоча ще раз кажу, що треба подумати більше):

1. Я полишив будь-яку надію. Я переформулював свою мотивацію з очікування результату на досягнення та підтримання гідності.
2. Я зробив свідомі зусилля, щоб позбутися залишків virtue signalling і status seeking. Я забив на те, якою буде думка про мене і як виглядає те, що я роблю, фокусуючись лише на тому, що я роблю.

Це не виглядає як дуже веселі рекомендації, та і далеко не факт, що вони генералізуються, але it is what it is.

Я і такі люди як завжди за те, щоб тримати notkilleveryoneism-коаліцію якомога більш широкою, але ефективні альтруїсти не роблять це легкою справою: https://x.com/willmacaskill/status/1968759901620146427?s=46&t=779E7UutOOl0DK6MbEY0cg

Ефективні альтруїсти створили Anthropic, створили Ашенбреннера, спрямували купу людей в ШІ лаби, а ми все одно дружимо з ними, бо «хороші ж люди», ну і вони головне джерело фінансування алайнменту. Але інколи здається, що краще б вони взагалі не займалися ШІ і зосередилися на своїх курях та креветках.

Потрібно знати ліміт.

My friends! I wanted to say thank you again and deliver yet another a bit dramatic speech, upon some reflection. It would be a gross misrepresentation for me to avoid mentioning that the problem we are dealing with, to put it diplomatically, is very, very hard. Some of us may burn out or go nuts even before Clippy arrives. And yet – here we are. Nice, talented people, capable of joy, kindness, and dignified choices. I consider you my brothers- and sisters-in-arms, you are part of the reason why I want to fight until the end, and, on the eve of Singularity, I am glad and grateful to meet you. Please remember it and remember that, if you need help or support, I will always be there for you if I am not in shambled state myself.
It is true that sometimes everything feels hard and hopeless for me – but it would feel much, much worse if it were not for people like you. And sometimes, being among people like you, fighting side-by-side with people like you, feels like everything I could ever wish for. Because, as much as I want to fight hard, I want not to forget what I am fighting for – the beauty of our world and the happiness of interacting with fellow humans – sentient intelligences. They say that great causes attract great people, and it is true. Even if we do not succeed, we have had this privilege of interacting with each other, which is a result in itself.
So, thank you again. I would like to conclude with the words of the former Ukrainian Commander-in-Chief Zaluzhnyi, who was in charge of stopping the Russian offensive in 2022: “No matter how difficult it is for us, we will certainly not be ashamed.”

- з промови Ігоря на ML4Good.

Напевно, додам до цього, що я не жалкую про жодну велику ціль, яку я ставив собі - навіть коли кінцевий результат був нульовим, в процесі я знайомився з екстраординарними людьми, яких би я не зустрів ніде, окрім як в роботі над великою ціллю. Так зустрів я немало читачів цього каналу і багатьох друзів, яким я можу сказати ті ж самі слова. І це те, що я рекомендую кожному робити більше, в тому числі собі.

І також сильно рекомендую ML4Good для тих, хто хоче просуватися в AI safety.

Зовнішні критики раціоналістів/LessWrong люблять казати, що це "культ" чи "клуб фанатів Юдковського". Ті, хто насправді перетинався з цими спільнотами, добре знають, що проблема протилежна. Раціоналісти хронічно нездатні до координації і вважають незгоду однією з головних чеснот, яку постійно треба сигналізувати.

Прямо зараз в топі LessWrong десь з десяток рев'ю на If Anyone Builds It, Everyone Dies, і всі негативні, і до того ж часто негативні один по відношенню до одного. Ніщо не змусить раціоналістів діяти разом. Pathetic.

Я все більше симпатізую Holly Elmore, яка в певний момент психанула і почала робити PauseAI в повній незалежності від існуючої спільноти.

За цим стоїть навіть більша проблема. Раціоналістам, та і взагалі розумним людям, подобається робити дослідження. Проблема в тому, що щоб робити справжні дослідження з алайнменту, треба бути розумнішими, ніж є люди. Але вони хочуть робити дослідження, і тому вони роблять ту версію досліджень, на яку здатні - scalable oversight, red teaming, mechanistic intepretability, і особливо evals до нескінченності. Більше evals богу evals! Вони придумали купу хитромудрих причин, чому ці програми досліджень спрацюють, але вони б ніколи не дійшли до такого висновку, якби подивилися на проблему ззовні, а не як людина, яка працює над цими програмами.

Звичайно, що вони будуть проти тих, хто каже, що всі ці дослідження не приведуть ні до чого. Звичайно, що коли у тебе є можливість сидіти на зарплаті в 10 мільйонів в OpenAI чи Anthropic, твій мозок винайде масу причин, чому це морально правильний вибір. Проблема в тому, що ці прості, тривіальні, типові людські вади маскуються за специфічним діалектом та комунікаційною етикою LessWrong і красивими, але від того не менш безглуздими, аргументами.