Взагалі-то, мій p(doom) трохи зменшився! Але трохи.

Головна причина:
Вайби змінюються, окно Овертона зміщується! Частка agi-pilled людей серед дуже розумних людей суттєво зросла за останні 2 роки. Це все одно меншість, але це помітна меншість, а не декілька фріків на 1000 людей - серед студентів елітних університетів технічних спеціальностей не є нетиповим зустріти "думера", хоча, звичайно, не є нетиповим зустріти і людину, яка буде жартувати: "як gpt всіх може вбити? ахаха".

Кількість людей в алайнмент-спільноті зростає дуже швидко - я не знаю, в десятки разів на рік? Туди приходять дуже, дуже талановиті люди, і зараз це відбувається вже доволі масово. Що більш важливо, раніше ці люди пішли б місця типу OpenAI чи DeepMind, тобто це double win. Відкривається багато нових програм, а старі розширюються, і їх якість не знижується при цьому через наявність вхідного потоку якісних людей.

Вочевидь, суть проблеми зрозуміти все ж таки люди можуть, особливо технічні люди, особливо талановиті. Але настільки ж вочевидь, цього недостатньо щоб проблему вирішити.

Якщо помістити усіх найбільш талановитих, або взагалі всіх, середньовічних алхіміків в одне місце і дати їм хоч 50, хоч 100 років, щоб зробити трансфігурацію, у них все одно нічого не вийде.

Але: багато маленьких твіків, навіть якщо вони не вирішують фундаментальну проблему, можуть сповільнити "повстання ШІ", хоча б на декілька років. Це само по собі добре, а ще може дати час, щоб вирішити фундаментальну проблему (хоча це дійсно виглядає вкрай малоймовірним).

Тому, радикально і навіть помірно нічого не змінилося, але є ця зміна, яка варта уваги.

Я збираю матеріали по історії та генеалогії трансгуманістичних спільнот (в широкому сенсі), і на мене вийшов один PhD студент зі Стенфорду, який пише дисертацію саме по цьому. То ж ми з ним обʼєднаємо зусилля. Якщо раптом на цьому каналі, може зі старих часів, є хтось, кому є що додати до цього, то будемо раді.

З досвіду, я думаю що наступне моральне правило взаємодії з людьми працює найкраще: будь безумовно і непропорційно добрим до друзів та нейтралів, будь помірно добрим до тих, хто зробив тобі зло один раз чи рідко, і будь непропорційно злим до тих, хто робив тобі зло більше.

Більш детально, це означає:
1. Нейтрали повинні знати і бачити, що ти для них насправді як друг. Реальність полягає в тому, що люди, як правило, можуть давати один одному більше, ніж зазвичай це роблять навіть друзі, і потребують цього. Доброта до випадкових людей навколо не вартує нічого, і вона у великому дефіциті.
2. Варто давати людям право на помилку, навіть якщо це велика помилка. Пробачити один раз чи рідко - це не слабкість, а великодушність, і від неї як правило буде лише краще.
3. Але: поганці повинні знати, що ти будеш мститися, навіть якщо помста нераціональна, навіть якщо вона вартує в 10 разів більше ресурсів, ніж шкода, яку нанесли поганці спочатку. Помста поганцям - це не дрібʼязковість, а навпаки, шляхетна справа, жертва своїми ресурсами заради суспільства навколо, благодійність заради підтримки соціального імунітету.

У зв'язку з цим, і взагалі, friendly reminder: якщо вам треба якась порада чи інша допомога, яку я посильно можу надати, то не вагайтеся звертатися.

Періодично до мене звертаюся люди, зазвичай студенти, зазвичай з кар'єрно-наукових питань, і я тішу себе надією, що я кажу їм щось корисне. Принаймні, фідбек отримую позитивний.

Можливо, є люди, які вагалися б запитати без експліцитного заклику чи дозволу. Так що, якщо він вам треба, то це повідомлення є ним.

“We are House Atreides. There is no call we do not answer. There is no faith that we betray."

З іншого боку, я ось про що подумав.

Згідно з моїми уявленнями про те, як працює сучасна освіта, домашня/віддалена шкільна освіта повинна сильно бустити результати найбільш розумних дітей чи принаймні їх немалої частки в тих умовах, коли альтернативою є така очна шкільна освіта, яка є.

Наскільки я розумію, якщо говорити саме про Україну, то там зараз можна легко переходити на домашню освіту.

З цього, по ідеї, повинно випливати те, що дуже розумні більш здатні реалізувати свій потенціал. Чи відбувається це? Я не знаю, але на перший погляд, не виглядає так, що це відбувається.

Чи є якась вада в цій лінії розміркувань? Вона виглядає логічною, але тим не менш, не виглядає так, що вона працює.

Мій вчорашній пост на LessWrong дуже сильно зайшов і викликав обговорення в різних місцях.

Це найбільш сумний текст, який я коли-небудь писав - аж до того, що я не прямо рекомендую його читати людині з медіанною психікою чи слабкіше за неї, але якщо хтось хоче, то ось: https://www.lesswrong.com/posts/2xHhe4EBHAFofkQJf/plan-e-for-ai-doom

Дуже епічне популярне відео про AI-2027 report: https://www.youtube.com/watch?v=5KVDDfAkRgc&t=1292s

Дивним чином термодинаміка та статистична фізика поєднують 3 вкрай різні речі, якими я найбільше займався/займаюся в житті в науково-технічному плані - quant finance, обчислювальна біологія, штучний інтелект.

У самій фізиці, як бачу це я, термодинаміка та статистична фізика теж займають найбільш особливе місце. З одного боку, вони ніби-то феноменологічні, вторинні, але з іншого - в певному сенсі, більш фундаментальні ніж будь-що. Вони працюють майже тому, що теорія інформації працює, і в цьому сенсі є найбільш універсальними. Насправді, вони майже еквівалентні - чи, хто зна, може повністю еквівалентні - теорії інформації, і тому, вони найменше прив'язані саме до "цього всього випадкового Всесвіту", як казав Рассел.

Як і у випадку з законом Мура, як і у випадку з оригінальними законами масштабування трансформерів, вражає стабільність і передбачуваність лінії - тренду, якого, згідно з будь-яким здоровим глуздом не повинно було б бути, але він є.

Чому він є в такій конкретній формі? Чому він настільки чіткий? Запропоновано багато пояснень, але навряд чи вони відповідають реальності.

Як така настільки негомогенна, неелементарна, складна, багаторівнева річ як «людські когнітивні завдання» пакується в лінійний тренд на логарифмічній шкалі?

Закони масштабування - дивні, сильні і неминучі.

І ще, до попереднього посту. Судячи зі всього, інша наївна екстраполяція, яка згідно з будь-яким здоровим глуздом не повинна була спрацювати, спрацює, і наступного року ми отримаємо модель з IQ Ейнштейна (що звичайно не означає з «повними здібностями Ейнштейна»). Зараз ми отримали модель з IQ 148, у повній узгодженості з наївними екстраполяціями (похибка буквально в пару місяців).

Коли люди кажуть, що ці екстраполяції не повинні працювати, то я повністю погоджуюся, що не повинні - більш того, я хочу, щоб вони не працювали! Але вони працюють.

Прокляття Курцвейла.

Чим далі, тим більше.

Заради всього світлого, що є в цьому світі, благаю вас, не використовуйте ЛЛМи для особистих порад і «психології»!

This!

Ці люди побачили те, що побачив я.

https://www.markov.bio

Я тільки що дізнався, хто найбільш цитований вчений в світі, і відповідь доволі неочевидна. Я знав про його існування і його роботи, але він би не спав на думку як один з головних кандидатів. Спробуйте подумати самі і потім порівняти з відповіддю.

ШІ-думери відкрили той факт, що економісти - ідіоти: https://x.com/steve47285/status/1958527894965108829?s=46&t=779E7UutOOl0DK6MbEY0cg

Лекція в сусідній аудиторії vs моя лекція. Хто набере більше попередніх реєстрацій? Йдемо ніздря в ніздрю.

Як на прикладі Росії, так і на прикладі CEO ШІ-компаній, я спостерігаю схильність людей занижувати здатності ворогів, яка реалізується тому, що їхній мозок, як мені здається, думає дві наступні речі:

1. Ворог не може мати високого статусу. Велика загроза - це високий статус. Ми не можемо дати високий статус ворогу, бо таким чином ми даємо йому позитивну річ.
2. Значних мотивів не буває. Якщо ми постулюємо значний мотив, то ми визнаємо, що ми не цинічні, тобто це сигнал наївності/недорослості.

У випадку з Росією це наче виправилося за час повномасштабки, але до цього точно було, у разючих формах. З мене сміялися, коли я казав, що по Києву будуть стріляти балістичними ракетами. «Путін нападе, ахах. Навіщо йому це?» Визнати те, що Путін вважає себе історичною постаттю, яка повинна за будь-яку ціну «повернути споконвічні землі» в склад імперії, а не дрібʼязковим корупціонером, означало б надати йому статус.

Аналогічно - з ким зараз порівнюють Альтмана вороги Альтмана? Звичайно, з Елізабет Холмс. Не з суперзлодіями, які хочуть захопити світ.

Я не думаю, що існує гарний спосіб переконати таких людей в зворотньому - що Альтман і такі як він - це не дрібʼязкові маркетологи, які мріють про зайвий мільярд доларів, а ідеологічно мотивовані психопати, які вважають себе здатним радикально змінити хід історії Всесвіту в той бік, в який їм хочеться, і які не зупиняться майже не перед чим, щоб досягти цього.

Я можу лише сказати, що Путіна може бути морально приємно вважати просто тупим корупціонером, але морально приємне - не завжди нелетальне.

«Ставати кращою версією себе» - це один з найбільш шкідливих психологічних скамів сучасності.

“Hey, GPT-11, transform the underlying nature of physical reality and all the negentropy in the Universe according to my metapreferences. Do not make mistakes.”

Funy as it is, цей пост в черговий раз наводить на спостереження: нульові та десяті роки знали цілу плеяду великих есеїстів (туди б ще Грехема додати). Людей, чиї ідеї інтелектуальним, а не мемно-гасловим, шляхом впливали на життя та поведінку багатьох з найрозумніших і найважливіших людей планети (хоча навіть тоді в набагто меншому ступені, ніж хотілося б), призводили до заснування компаній, культур, спільнот і ідеологій.

Зараз їх просто нема.

Мені здається, ЛЛМи покращили мою здатність писати кумедним чином: тепер, коли я пишу, я задаю питання - чи могла б ЛЛМ написати це чи щось подібне? І пишу лише те, стосовно чого відповідь "ні".