Если кто прочтет это, все умрутОтвечая на вопросы после выступления на ‘The Curve’, Джек Кларк так волновался, что обозвал книгу Юдковского «Если кто построит это, все умрут», как написано выше в заголовке поста 😊 И для волнения у него были основания. • Если и есть в мире профессиональная площадка для максимально точного выяснения «как далеко до AGI» и «что произойдет после», — это ‘The Curve’. Конференция, задуманная и специально заточенная под эту тему 2 года назад, как площадка профессиональных «думеров против акселерационистов», размышляющих о «траектории развития ИИ, совмещая видение DC и SF». • За прошедший с учредительной конференции в 2024 год ситуация в развитии ИИ сильно изменилась. И потому так важно было зафиксировать сейчас – в октябре 2025, каким образом и насколько это сказалось на разбросе ответов на 2 ключевых вопроса конференции. • Кларк выступал с завершающим докладом, и так или иначе, не мог не учитывать все разнообразие дискуссий, состоявшихся за 3 дня обсуждений в Беркли. И ему очень хотелось выкристаллизовать их них самое главное.Увы, но волнение может подпортить любое выступление. Так, к сожалению, и получилось. И хотя, на мой взгляд, Джек многое сказал верно (и я настоятельно советую всем прочесть это его выступление (см. мой вчерашний пост), но главное (опять же на мой взгляд), на что Джеку стоило бы сделать упор, - формулируется так.За прошедший год произошло кардинальное обновление в осмыслении масштаба и временных рамок развития ИИ.И лучшая иллюстрация масштабов – результаты опроса участников The Curve’ (см. правое фото).Поскольку фото сделано Цви Моувшовиц впопыхах, поясню его.Это аналог шкалы Рихтера (по воздействию землетрясений); она измеряет влияние технологий (подробней). И вопрос к участникам – «Где, по-вашему, на этой шкале сегодня находится ИИ?»Ответы распределились так:NB Истинное число «булавок» - ответов на одну меньше для каждого из 3х вариантов (8, 9, 10) – просто Гордон Уорли вредительски воткнул эти 3 булавки в качестве пояснения участникам, что им делать 😜).• 13 ответов – 9 баллов• 20 ответ – 10 баллов• 5 ответов – не голосовали, т.к. эта шкала не нравится, и нужна инаяТеперь поясню, что значат числа баллов.Принцип прост – как часто подобные технологии возникают (6 баллов – раз в несколько лет, 7 – в несколько десятилетий, 8 – столетий, 9 – тысячелетий, 10 – эпохальная технология.Получилось, что:• 13 участников считают ИИ «тысячелетней» технологией - типа культурных революций (не путать с технологической) — огонь, колесо, печатный станок• 20 считают, что ИИ «эпохальная» технология - влияет на всё, меняет ход цивилизации По срокам же мнения таковы1. К 2028 году 90% кода будет написано ИИ.2. К 2031 году 90% удаленной работы человека можно будет выполнять с меньшими затратами с помощью искусственного интеллекта.3. К 2041 году большинство автомобилей на дорогах Америки останутся без водителей.4. ИИ совершит открытие, достойное Нобелевской премии, примерно к 2032 году.5. Первая компания стоимостью $1 млрд, состоящая из одного человека, к 2026 году.6. Первый год роста ВВП >10% примерно к 2038 году (но 3 голоса «никогда»).Т.е. временной горизонт начала ИИ-апокалипсиса достижим через 1+ год.Что же касается того, на чем сфокусировался Джек Кларк – озабоченности и опасений, то здесь почти консенсус (см левое фото)Самое страшное – это:• ИИ в руках плохих людей (misuse)• Несовпадение (misalignment ) людей и ИИ (совершенно иного разума») по широкому спектру ключевых факторов (мотивация, способы достижения цели, этика, эмоции и много чего еще «чисто человеческого»)Ибо как ни воспитывай LLM, - всё тщетно. Ребенка можно пытаться воспитать хорошим человеком, а “ребенка ИИ” – нет смысла. Стоит хорошо «воспитанному» ИИ попасть в плохие руки, как «внутренние демоны» порвут «добрых ангелов» его натуры, похерив все результаты хорошего «воспитания».А еще на конференции прозвучало немало очень важных, умных и тонких соображений.Будет время (и ваши пожелания) – расскажу.#AGIЕсли кто прочтет это, все умрут
Отвечая на вопросы после выступления на ‘https://thecurve.goldengateinstitute.org/’, Джек Кларк так волновался, что обозвал книгу Юдковского «Если кто построит это, все умрут», как написано выше в заголовке поста 😊
И для волнения у него были основания.
• Если и есть в мире профессиональная площадка для максимально точного выяснения «как далеко до AGI» и «что произойдет после», — это ‘The Curve’. Конференция, задуманная и специально заточенная под эту тему 2 года назад, как https://www.interconnects.ai/p/thoughts-on-the-curve.
• За прошедший с учредительной https://thezvi.substack.com/p/ai-92-behind-the-curve?open=false#%C2%A7asi-a-scenario ситуация в развитии ИИ сильно изменилась. И потому так важно было зафиксировать сейчас – в октябре 2025, каким образом и насколько это сказалось на разбросе ответов на 2 ключевых вопроса конференции.
• Кларк выступал с завершающим докладом, и так или иначе, не мог не учитывать все разнообразие дискуссий, состоявшихся за 3 дня обсуждений в Беркли. И ему очень хотелось выкристаллизовать их них самое главное.
Увы, но волнение может подпортить любое выступление. Так, к сожалению, и получилось. И хотя, на мой взгляд, Джек многое сказал верно (и я настоятельно советую всем прочесть это его выступление (см. мой вчерашний пост), но главное (опять же на мой взгляд), на что Джеку стоило бы сделать упор, - формулируется так.
За прошедший год произошло кардинальное обновление в осмыслении масштаба и временных рамок развития ИИ.
И лучшая иллюстрация масштабов – результаты опроса участников The Curve’ (см. правое фото).
Поскольку фото https://www.lesswrong.com/posts/A9fxfCfEAoouJshhZ/bending-the-curve впопыхах, поясню его.
Это аналог шкалы Рихтера (по воздействию землетрясений); она измеряет влияние технологий (https://thezvi.substack.com/p/ai-and-the-technological-richter). И вопрос к участникам – «Где, по-вашему, на этой шкале сегодня находится ИИ?»
Ответы распределились так:
NB Истинное число «булавок» - ответов на одну меньше для каждого из 3х вариантов (8, 9, 10) – просто Гордон Уорли вредительски воткнул эти 3 булавки в качестве пояснения участникам, что им делать 😜).
• 13 ответов – 9 баллов
• 20 ответ – 10 баллов
• 5 ответов – не голосовали, т.к. эта шкала не нравится, и нужна иная
Теперь поясню, что значат числа баллов.
Принцип прост – как часто подобные технологии возникают (6 баллов – раз в несколько лет, 7 – в несколько десятилетий, 8 – столетий, 9 – тысячелетий, 10 – эпохальная технология.
Получилось, что:
• 13 участников считают ИИ «тысячелетней» технологией - типа культурных революций (не путать с технологической) — огонь, колесо, печатный станок• 20 считают, что ИИ «эпохальная» технология - влияет на всё, меняет ход цивилизации
По срокам же мнения таковы
1. К 2028 году 90% кода будет написано ИИ.
2. К 2031 году 90% удаленной работы человека можно будет выполнять с меньшими затратами с помощью искусственного интеллекта.
3. К 2041 году большинство автомобилей на дорогах Америки останутся без водителей.
4. ИИ совершит открытие, достойное Нобелевской премии, примерно к 2032 году.
5. Первая компания стоимостью $1 млрд, состоящая из одного человека, к 2026 году.
6. Первый год роста ВВП >10% примерно к 2038 году (но 3 голоса «никогда»).
Т.е.
https://t.me/theworldisnoteasy/2199
Что же касается того, на чем сфокусировался Джек Кларк – озабоченности и опасений, то здесь почти консенсус (см левое фото)
Самое страшное – это:
• ИИ в руках плохих людей (misuse)• Несовпадение (misalignment ) людей и ИИ (совершенно иного разума») по широкому спектру ключевых факторов (мотивация, способы достижения цели, этика, эмоции и много чего еще «чисто человеческого»)
Ибо
https://t.me/theworldisnoteasy/1737 Ребенка можно пытаться воспитать хорошим человеком, а “ребенка ИИ” – нет смысла. Стоит хорошо «воспитанному» ИИ попасть в плохие руки, как «внутренние демоны» порвут «добрых ангелов» его натуры, похерив все результаты хорошего «воспитания».
А еще на конференции прозвучало немало очень важных, умных и тонких соображений.
Будет время (и ваши пожелания) – расскажу.
?q=%23AGI
