Команда BinvixКоманда«I Quit OpenAI Because Its Culture Is Broken» — «Я ушёл из OpenAI, потому что её культура сломана». Так называется эссе Дэвида Робинсона, обложка которого разошлась по соцсетям. Подзаголовок звучит ещё жёстче: «Подход индустрии к безопасности гарантирует новые провалы, если ничего не изменится».
Это не первый громкий уход из OpenAI и, скорее всего, не последний. За последние несколько лет компанию, создавшую ChatGPT, покинули сооснователи, руководители исследований, целая команда по безопасности сверхинтеллекта и десятки инженеров. Многие из них говорили примерно одно и то же: гонка за продуктами и выручкой оттесняет безопасность на второй план.
В этой статье разбираем, что именно происходит в OpenAI, кто и почему оттуда уходил, что такое «культура безопасности» в ИИ на практике, какие аргументы есть у другой стороны — и что всё это значит для обычных пользователей, разработчиков и инвесторов.
О чём эссе «I Quit OpenAI Because Its Culture Is Broken»
На обложке три смысловых элемента: заголовок о том, что автор ушёл из OpenAI из-за сломанной культуры; подзаголовок о том, что подход всей индустрии к безопасности приведёт к новым провалам; и иллюстрация — тёмный узел, похожий на логотип OpenAI, прорвавший сетку забора. Метафора читается легко: ограждение, которое должно сдерживать технологию, уже не держит.
Важная оговорка: мы опираемся на опубликованные заголовок и подзаголовок и не приписываем автору слов, которых не видели в полном тексте. Если вы читали эссе целиком — поделитесь в ответах, какие аргументы показались вам самыми сильными. Ниже — контекст, без которого это эссе не понять: история уходов из OpenAI, которые происходили публично и задокументированы.
Главный тезис подзаголовка — проблема не в одной компании, а в подходе всей отрасли. Это важно: автор говорит не «OpenAI плохая», а «система стимулов устроена так, что провалы неизбежны». К этой мысли мы ещё вернёмся.
Краткая история OpenAI: от некоммерческой лаборатории к гиганту
OpenAI появилась в декабре 2015 года как некоммерческая исследовательская организация. Среди основателей — Сэм Альтман, Илон Маск, Илья Суцкевер, Грег Брокман и другие исследователи. Заявленная миссия: сделать так, чтобы общий искусственный интеллект (AGI) — системы, превосходящие человека в большинстве экономически значимых задач, — принёс пользу всему человечеству, а не узкой группе.
Некоммерческий статус был не формальностью, а частью идеи: лаборатория, которой не нужно отчитываться перед акционерами, может позволить себе осторожность. Если технология окажется опасной, можно притормозить, не думая о квартальной выручке.
Дальше реальность внесла поправки:
- 2018 год — Илон Маск покидает совет директоров.
- 2019 год — создаётся коммерческая структура с «ограниченной прибылью» (capped-profit): инвесторы могут заработать, но в пределах установленного потолка. В том же году Microsoft инвестирует 1 млрд долларов.
- Ноябрь 2022 года — выходит ChatGPT. По оценкам аналитиков, сервис набрал около 100 млн пользователей примерно за два месяца — один из самых быстрых стартов потребительского продукта в истории.
- 2023 год — Microsoft, по данным СМИ, вкладывает ещё около 10 млрд долларов.
- 2024–2025 годы — OpenAI объявляет о реорганизации, в результате которой коммерческая часть становится корпорацией общественной пользы (PBC), а некоммерческий фонд сохраняет над ней контроль.
Каждый из этих шагов можно объяснить: обучение крупных моделей стоит миллиарды, и без внешних денег лаборатория просто не смогла бы конкурировать. Но каждый шаг и смещал центр тяжести — от исследовательской осторожности к скорости выпуска продуктов. Именно это смещение критики называют «сломанной культурой».
Первый раскол: основатели Anthropic
Первая крупная волна уходов случилась задолго до ChatGPT. В 2020–2021 годах из OpenAI ушла группа исследователей во главе с Дарио Амодеи, который руководил исследованиями, и его сестрой Даниэлой Амодеи. В 2021 году они основали Anthropic — компанию, которая с самого начала позиционировала себя как лабораторию, ставящую безопасность ИИ в центр.
Публично основатели Anthropic были сдержанны в оценках бывшего работодателя, но сам факт показателен: люди, которые строили ранние GPT-модели, решили, что разумнее создать отдельную компанию со своими правилами, чем пытаться изменить курс изнутри.
Ноябрь 2023: пять дней, которые всё изменили
17 ноября 2023 года совет директоров OpenAI неожиданно уволил Сэма Альтмана, заявив, что он «не был последовательно откровенен» в общении с советом. Среди членов совета, проголосовавших за увольнение, был сооснователь и главный научный сотрудник Илья Суцкевер.
Реакция была мгновенной. Более 700 из примерно 770 сотрудников подписали письмо с угрозой уволиться и перейти в Microsoft, если Альтмана не вернут. Microsoft публично предложила ему возглавить новое подразделение. Суцкевер заявил, что сожалеет о своём участии в решении совета. Через пять дней Альтман вернулся, а состав совета директоров обновили: из него ушли те, кто голосовал за увольнение.
Этот эпизод многие считают переломным. Совет некоммерческой организации, который по задумке должен был стоять на страже миссии и при необходимости останавливать компанию, попробовал воспользоваться своим правом — и проиграл за неделю. Для людей, которые верили, что структура OpenAI сама по себе защищает от гонки, это стало сигналом: механизм сдержек на практике не работает.
Май 2024: уход Суцкевера и Лейке, роспуск Superalignment
В июле 2023 года OpenAI объявила о создании команды Superalignment. Её задачей было решить проблему «выравнивания» (alignment) сверхинтеллекта — научиться надёжно контролировать системы, которые умнее людей. Команду возглавили Илья Суцкевер и Ян Лейке, а компания пообещала выделить на эту работу 20% вычислительных мощностей, которые у неё были на тот момент, в течение четырёх лет.
В мае 2024 года оба руководителя команды ушли. Суцкевер объявил об уходе 14 мая, а уже в июне основал собственную компанию Safe Superintelligence (SSI) — с говорящим названием и заявлением, что безопасный сверхинтеллект будет её единственным продуктом.
Ян Лейке ушёл почти одновременно и, в отличие от многих, объяснил причины публично. В серии постов он написал, что за последние годы «культура безопасности и процессы отошли на второй план перед блестящими продуктами» (safety culture and processes have taken a backseat to shiny products). Он также рассказал, что его команда «шла против ветра» и временами с трудом получала вычислительные ресурсы для важных исследований, и напомнил, что создание машин умнее человека — по своей природе опасное занятие. Вскоре Лейке перешёл в Anthropic.
После ухода руководителей команда Superalignment была фактически расформирована, а её участников распределили по другим подразделениям. Для наблюдателей это выглядело как подтверждение слов Лейке: обещание о 20% мощностей на безопасность так и не стало реальностью.
Подписки о неразглашении и «право предупреждать»
Весной 2024 года ушёл и исследователь Даниэль Кокотайло из команды, занимавшейся прогнозированием и управлением рисками. Он написал, что ушёл, потому что потерял уверенность в том, что OpenAI будет вести себя ответственно, когда приблизится к AGI.
Позже выяснилась деталь, которая вызвала большой скандал. Журналисты Vox опубликовали документы, согласно которым уходящим сотрудникам предлагали подписать бессрочное обязательство не критиковать компанию, а отказ мог стоить им уже заработанных опционов. Кокотайло рассказал, что отказался подписывать и был готов потерять значительную часть своего состояния. Сэм Альтман публично извинился, сказал, что не знал об этом пункте, и пообещал, что компания не будет отбирать заработанную долю у бывших сотрудников.
В июне 2024 года группа нынешних и бывших сотрудников OpenAI и Google DeepMind опубликовала открытое письмо «Право предупреждать о рисках продвинутого искусственного интеллекта» (A Right to Warn). Его поддержали Джеффри Хинтон, Йошуа Бенжио и Стюарт Рассел — одни из самых известных учёных в области ИИ. Авторы просили компании:
- не заставлять сотрудников подписывать соглашения, запрещающие критику в вопросах рисков;
- создать анонимный канал, по которому можно сообщать о проблемах совету директоров, регуляторам и независимым экспертам;
- поддерживать культуру открытой критики;
- не преследовать тех, кто сообщил о рисках публично после того, как внутренние каналы не сработали.
Это письмо — ключ к пониманию слов о «сломанной культуре». Речь не только о том, сколько денег тратится на безопасность. Речь о том, могут ли люди внутри компании говорить «стоп» без страха потерять работу и деньги.
2024–2025: волна уходов из руководства
Дальше уходы стали почти регулярными:
- Август 2024 года — сооснователь Джон Шульман, один из авторов метода обучения с подкреплением, на котором построен ChatGPT, переходит в Anthropic, объяснив, что хочет глубже заниматься выравниванием моделей. Президент компании Грег Брокман уходит в длительный отпуск (позже он вернулся).
- Сентябрь 2024 года — о своём уходе объявляет технический директор Мира Мурати, вслед за ней — директор по исследованиям Боб Макгрю и вице-президент по исследованиям Баррет Зоф. В 2025 году Мурати основала собственную компанию Thinking Machines Lab.
- Октябрь 2024 года — уходит Майлз Брандедж, старший советник по готовности к AGI. Он написал, что ни OpenAI, ни любая другая передовая лаборатория не готова к AGI — и мир тоже не готов. Его подразделение было расформировано.
- Начало 2025 года — бывший исследователь безопасности Стивен Адлер публично признаётся, что его пугает темп развития ИИ.
Каждый уход по отдельности можно объяснить личными причинами: усталостью, желанием основать свой стартап, щедрым предложением конкурента. Но вместе они складываются в узнаваемую картину. Из компании последовательно уходят именно те, кто отвечал за долгосрочные риски, а освободившиеся ресурсы уходят на выпуск новых продуктов.
Что такое «культура безопасности» в ИИ на практике
Словосочетание «культура безопасности» звучит абстрактно, поэтому стоит разобрать, из чего она состоит. В авиации, атомной энергетике и медицине этот термин давно наполнен конкретикой, и в ИИ речь о похожих вещах:
- Право остановить релиз. Если тесты показывают опасное поведение модели, может ли команда безопасности задержать запуск — или финальное слово всегда за продуктом и маркетингом?
- Ресурсы. Сколько вычислительных мощностей, людей и времени получают исследования рисков по сравнению с разработкой новых функций.
- Сроки тестирования. Сколько времени проходит между готовностью модели и её выпуском. Если конкурент выпускает модель на следующей неделе, соблазн сократить тесты огромен.
- Возможность говорить. Могут ли сотрудники открыто сомневаться внутри компании и предупреждать общество снаружи, не рискуя карьерой и деньгами.
- Независимый контроль. Есть ли внешние аудиторы и регуляторы, которые видят модели до выпуска, или компания проверяет себя сама.
Когда бывшие сотрудники говорят о «сломанной культуре», они почти всегда имеют в виду один или несколько пунктов из этого списка: ресурсы обещали, но не дали; сроки сократили; критиков попросили подписать соглашение о молчании.
Почему подзаголовок говорит обо всей индустрии
Подзаголовок эссе — «подход индустрии к безопасности гарантирует новые провалы, если ничего не изменится» — переводит разговор с одной компании на системный уровень. И у этого тезиса есть серьёзная логика.
Разработка передовых моделей — это гонка нескольких игроков: OpenAI, Google DeepMind, Anthropic, Meta, xAI, китайских лабораторий. В гонке действует простая и жестокая механика: тот, кто тратит больше времени на тесты, выпускает модель позже, теряет пользователей, инвесторов и таланты. Даже если руководство конкретной компании искренне хочет быть осторожным, давление рынка подталкивает в обратную сторону.
Экономисты называют это проблемой коллективного действия. Каждому участнику выгодно, чтобы осторожничали все, но невыгодно осторожничать одному. Такие проблемы редко решаются добровольно — обычно нужны внешние правила: регулирование, отраслевые стандарты, обязательные независимые проверки. Поэтому многие ушедшие из OpenAI исследователи занялись не созданием конкурирующих продуктов, а политикой, исследованиями и публичной дискуссией.
Аргументы другой стороны
Честный разбор требует выслушать и OpenAI. У компании и её сторонников есть содержательные контраргументы:
- Итеративный выпуск. OpenAI годами защищает стратегию «выпускать постепенно»: общество привыкает к ИИ шаг за шагом, а компания учится на реальных ошибках, пока ставки ещё относительно невысоки. С этой точки зрения держать модели в лаборатории до «полной безопасности» хуже, чем выпускать их понемногу.
- Формальные процедуры. В 2023 году компания опубликовала рамочную программу готовности (Preparedness Framework) для оценки опасных возможностей моделей, а в 2024 году создала комитет по безопасности и защите при совете директоров. К крупным моделям выпускаются «системные карты» с результатами тестов.
- Нормальная текучка. Для быстрорастущей компании уход руководителей — обычное дело, тем более когда каждый из них может привлечь сотни миллионов долларов на собственный стартап.
- Лучше быть в гонке. Если ответственная лаборатория выйдет из гонки, её место займут менее осторожные игроки. Поэтому, как считают сторонники OpenAI, важнее быть на передовой и задавать стандарты, чем отстраниться.
Эти аргументы нельзя отбросить. Но заметно, что критики и защитники спорят о разном. Защитники говорят о процедурах, которые существуют на бумаге. Критики, многие из которых работали внутри, — о том, как эти процедуры соблюдаются, когда на кону сроки релиза.
Что это значит для пользователей, разработчиков и инвесторов
Для обычного пользователя ChatGPT и других ассистентов вывод не в том, чтобы бояться или бросать ими пользоваться. Вывод в том, чтобы относиться к ИИ как к мощному, но несовершенному инструменту:
- проверяйте факты, цифры и цитаты, которые выдаёт модель, особенно в медицине, праве и финансах;
- не передавайте ИИ-сервисам пароли, данные карт, сид-фразы криптокошельков и конфиденциальные документы;
- помните, что модель может звучать уверенно и при этом ошибаться;
- в важных решениях оставляйте последнее слово за собой.
Для трейдеров и инвесторов история OpenAI — напоминание о том, что за большими технологическими нарративами стоят люди, конфликты и регуляторные риски. Новости о громких уходах, скандалах и будущем регулировании ИИ двигают акции технологических компаний и производителей чипов, а также криптовалютные проекты, связанные с ИИ. Решения стоит принимать на основе фактов и управления риском, а не заголовков. ИИ-ассистенты в трейдинге, включая Binvix AI, помогают быстрее анализировать рынок, но не отменяют главного правила: не рискуйте деньгами, потерю которых не можете себе позволить.
Частые вопросы
Почему сотрудники уходят из OpenAI?
Причины разные: желание основать собственную компанию, переход к конкурентам, усталость после кризиса 2023 года. Но многие ушедшие исследователи безопасности публично называли одну и ту же проблему: выпуск продуктов получает приоритет над исследованиями рисков, а обещанные на безопасность ресурсы выделяются не полностью.
Кто такой Ян Лейке?
Исследователь выравнивания ИИ, один из руководителей команды Superalignment в OpenAI. В мае 2024 года ушёл из компании, заявив, что культура безопасности отошла на второй план перед «блестящими продуктами», и перешёл в Anthropic.
Что такое Superalignment?
Команда OpenAI, созданная в июле 2023 года, чтобы найти способы контролировать системы ИИ умнее человека. Компания обещала выделить ей 20% своих вычислительных мощностей на четыре года. В мае 2024 года, после ухода руководителей, команду расформировали.
Что такое AGI?
Общий искусственный интеллект — гипотетическая система, способная выполнять большинство интеллектуальных задач на уровне человека или лучше. Создание AGI — официальная цель OpenAI и ряда других лабораторий.
Что такое «право предупреждать» (A Right to Warn)?
Открытое письмо нынешних и бывших сотрудников OpenAI и Google DeepMind, опубликованное в июне 2024 года. Авторы просили ИИ-компании не запрещать сотрудникам говорить о рисках и создать независимые каналы для сообщений о проблемах.
Безопасно ли пользоваться ChatGPT?
Для повседневных задач — да, при разумной осторожности: проверяйте важные факты и не передавайте сервису конфиденциальные данные. Споры о безопасности ИИ касаются прежде всего будущих, гораздо более мощных систем и того, как компании принимают решения о их выпуске.
Обсуждение
Мы хотим услышать ваше мнение:
- Права ли автор эссе, что проблема не в одной компании, а во всей индустрии?
- Должны ли ИИ-компании проходить обязательные независимые проверки перед выпуском моделей — как самолёты или лекарства?
- Пользуетесь ли вы ИИ-ассистентами в торговле и инвестициях, и где проводите границу доверия?
- Кто, по-вашему, в итоге окажется прав: сторонники быстрого итеративного выпуска или те, кто призывает притормозить?
Пишите в ответах — самые содержательные мнения закрепим в теме.