“We must join Anthropic and do scalable oversight. It would be wise, my friend.”

Я бачу негативну кореляцію між дорослою/«серйозною» поведінкою в некритичних і критичних речах.

Часто, люди, які ведуть себе доросло в критичних речах (тобто, там, де це життєво важливо і необхідно), ведуть себе по-дитячому в некритичних речах. І це як раз абсолютно логічно - я повʼязую це з «законом збереження ментальних зусиль» та тим фактом, що на фоні серйозних речей вони більше не можуть серйозно сприймати несерйозні речі.

Менш зрозумілим є те, чому люди, які ведуть себе доросло в некритичних речах, ведуть себе не доросло в критичних речах. Дві гіпотези:
1. Selection effect: якби вони вели себе доросло в критичних речах, вони б припинили піклуватися про не дорослі речі через механізм, описаний на початку.
2. Вони звикли до іншого, меншого рівня minimum viable responsibility - рівня, який здається цілком відповідним в некритичних речах. Але той самий рівень стає неадекватно низьким в критичних речах.

Коли намагаєшся поспілкуватися зі знайомим, який сформував «діаду» з ChatGPT.

Great causes attract great people.

Важке життя легше, ніж негідне життя.

Страх зникає, коли зникає егоїзм.

Humility is not thinking less of yourself. Humility is thinking of yourself less.

Вір в людей більше, ніж вони вірять в себе, бо зазвичай вони кращі, ніж вони думають про себе.

Терпіння дозволяє робити все швидше.

Я

Я постійно кажу про це. Такі люди як Альтман з самого початку не орієнтувалися на прибуток, вони орієнтувалися на отримання контролю над долею Всесвіту. Такі люди як Пейдж могли спочатку мати менш амбітні цілі, але зараз, вони мислять так само.

“I am willing to go bankrupt rather than loose this race”. Голлум! Голлум!

Фраза "San Francisco, a city at the end of the world" тепер відіграє новими барвами.

Унікально хороше інтервʼю, якщо ви хочете швидко дізнатися основи внутрішньої кухні та realpolitik спільноти AI safety, а також почути справжню, а не карикатурно-булінгову, критику LessWrong.

https://youtu.be/5yw8H9lFiAk?si=xto9i1nGknIrc8Tj

Думаю, багатьом зрозуміло і так, але кажу про всяк випадок: самі вайби мені подобаються. Мені подобаються зарозумілі виклики статусу-кво і самій реальності, а також агресивне використання науки і технології заради того, щоб трансформувати Всесвіт відповідно до наших вподобань. Єдине, що мені не подобається, що ця енергія та вайби спрямовані на просування майже єдиної цивілізаційно-летальної технології.

Якби зараз в світі була гонка наприклад за нейротехнологічною аугментацією людей чи повним вирішення біології людини, цей канал був би сповнений підтримувальних закликів, і я б сам пекельною працею приймав участь в цій гонці, і воював би з тими, хто проти цього. Якби Альтман робив манхеттенський проект в лонжевіті замість Stargate, я був би солдатом Альтмана.

Мене завжди дратувала класифікація людей на нормісів та аутистів. В ній завжди чогось не вистачало. Але, здається, майже все стає на свої місця, якщо до нормісів та аутистів додати ще романтиків.

Нагенерував

GPT стверджує, що найбільш правильним перекладом слова "трансгуманіст" на синдарин буде Edadandir, тобто буквально "прихильник виходу за межі людини". Цікаво.

Be what they saw in you.

Я задаюся питанням: чому нам так подобається життя? В сенсі живі організмі.

Тому що тиск, який оптимізував емпатію, трохи перепрацював? Або більш абстрактно - тому що вони всі еволюційні родичі? Або ще більш абстрактно - тому що будь-які наносистеми, співставні за морфологічною та функціональною складністю були б цікавими та навіть приємними для людського мозку? Або навіть ширше, бо будь-які достатньо складні і при цьому регулярні системи були б приємними?

Де, на якому рівні загальності, проходить ця межа між "вау, ця система викликає благоговійний захват та глибоке почуття задоволення" та "ну ок, прикольна складна система"?

Чи саме питання неправильне, і зазвичай люди такого не відчувають взагалі?

Чи раділи б ми довільно збудованим ансамблям наномашин, як ми радіємо життю? Достатньо складному, але не аналогічному життю набору стартових позицій в грі Конвея та їх подальшій динаміці? Тому, що відбувається всередині достатньо потужнього ШІ?

That's life!
And as funny as it may seem...

https://www.youtube.com/watch?v=UCENTf_LWYA

Динозаври програли іншим тваринам, а не, скажімо, бактеріям.

Мавпи програли іншим приматам, а не плазунам чи птахам.

Індіанці програли іншим людям, а не місцевим хижакам.

Європейські імперії програли іншим європейським імперіям, а не тубільцям.

Трансгуманісти програли іншим прогресивістам (тобто, ШІ-акселераціоністам), а не традиціоналістам чи консерваторам.

Усе ниття про консерваторів, що бояться ГМО та кібермодифікацій, з самого початку не мало сенсу. З самого початку, вони не були здатні нічого зробити. Найбільш небезпечні вороги - серед найбільш могутніх агентів, а не найбільш ідеологічно далеких агентів. Кожна наступна битва ведеться серед минулих переможців і не повторює попередній розподіл боків.

Ретроспективно, це здається очевидним, але як же це було неочевидно ще 5 років тому! Let us not forget it.

Інший урок, який можна винести з досвіду трансгуманістів та прогресорів - можна бути більш правим, ніж 99,9% людей, і все одно бути летально неправим.

У 20 років я прочитав Бострома, Курцвейла і Вінжа. Я давав лекції про сингулярність, і я мав достатньо інтелекту і нонкомформізму для того, щоб не прогинатися під соціальним тиском і чесно говорити про важливість цієї теми і той факт, що скоро це все може стати реальністю. Але великий космос, я не розумів, про що я кажу! Я був дитиною, насправді. Я майже повністю упускав ряд критичних моментів - частково від недостатньо серйозного підходу до аналізу, частково від необізнаності, частково тому що це просто було неможливо на рівні людського інтелекту.

Не забувайте старий вислів раціоналістів: reality does not grade on curve.