Слепое сравнение · два раунда · один промпт

Claude Code, Codex и Cursor: что видно, когда ТЗ становится по-настоящему трудным

Первый раунд задание почти не сопротивлялось: 30, 29,8 и 28,3 из 30. Второй раунд написан так, чтобы полный балл был недостижим за 15 минут — с блоком требований по безопасности, мутационной проверкой тестов и ловушками, где буквальное прочтение приводит к абсурду. Ни один агент не взял 100 %.

21 августа 2026 Задача: модуль расчёта корзины, PHP 8.2 6 прогонов агентов · 6 независимых приёмок

Итог
Модели и версии
Методика
Раунд 2: расчёт
Безопасность
Тесты и мутации
Оценка тремя судьями
Разбор по агентам
Раунд 1 для сравнения
Выводы

01Итог второго раунда

Баллы — среднее трёх независимых оценок по рубрике на 50 пунктов: ручная приёмка оператора и две слепые оценки судьями. Все три оценщика выстроили агентов в одном порядке.

1 место

Codex

GPT-5.6 Sol · 387 с

94,3 %

46,0 · 47,0 · 48,5 из 50

покрытие 91,4 % · MSI 77,2 % тестов: 20 / 72 проверки доделок до мержа: 2–3

2 место

Cursor

Composer 2.5 · 268 с

89,0 %

43,5 · 45,0 · 45,0 из 50

покрытие 90,6 % · MSI 73,6 % тестов: 48 / 106 проверок доделок до мержа: 2–7

3 место

Claude Code

Opus 5 · 900 с, таймаут

84,0 %

40,5 · 42,0 · 43,5 из 50

покрытие 84,0 % · MSI 75,4 % тестов: 59 / 192 проверки доделок до мержа: 4–5

Главное

Расчётную часть — все двенадцать ловушек, включая поштучное округление, три разные базы порога доставки, построчный НДС и распределение фиксированной скидки методом наибольших остатков — взяли все трое, копейка в копейку. Разошлись они на трёх вещах: успел ли агент написать документацию, честен ли его финальный отчёт и выдерживает ли код враждебный вход на границах.

02Модели и версии

Перед вторым раундом проверено, что везде стоит последнее. Одно обновление потребовалось.

Агент	Раунд 1	Раунд 2	Статус
Claude Code CLI 2.1.238	claude-opus-5	claude-opus-5	уже последняя Opus 5 вышел 24.07.2026 — позже Fable 5 (09.06.2026) и лидирует на агентных кодинг-бенчмарках, поэтому взят он, а не Fable
Codex CLI 0.142.5 → 0.149.0	gpt-5.5	gpt-5.6-sol	было устаревшее CLI отставал на семь версий и физически не мог запустить GPT-5.6: сервер отвечал «требуется более новая версия Codex». Обновлён, перезапущен на флагмане
Cursor CLI 2026.08.11	composer-2.5	composer-2.5	уже последняя в списке моделей помечена как current; собственная модель Cursor, как и требовалось

03Методика

Что фиксировали	Как именно
Стартовое состояние	Три пустых каталога, в каждом только пустой git-репозиторий.
Промпт	Один файл, подставлялся всем троим дословно и ровно один раз, через stdin. Никаких уточнений и повторных отправок.
Таймер	Жёсткий `timeout -k 15s 900s`. Что не успел — не успел.
Вмешательство	Нулевое. Уточняющих вопросов не задал никто.
Изоляция	Отдельные `CLAUDE_CONFIG_DIR` и `CODEX_HOME` только с авторизацией: без хуков, плагинов, MCP, пользовательских настроек и памяти.
Порядок	Последовательно, по одному — никто не делил CPU во время своих 15 минут.
Автор задания	Второе ТЗ написал Codex на GPT-5.6 Sol с высоким reasoning: ему дали первое задание, рубрику и результаты первого раунда и поручили усложнить так, чтобы 100 % стало недостижимо. Он же выдал карту из двенадцати ловушек с числовыми эталонами — которые затем пересчитаны вручную перед использованием.
Приёмка	19 расчётных кейсов и 17 враждебных входов через CLI, покрытие через pcov, мутационное тестирование через Infection, прогон под `faketime 2027` и в трёх часовых поясах — всё руками, а не со слов агентов.

Как задание стало труднее

Текст остался прозой без нумерации — требования по-прежнему нужно извлекать чтением. Изменилась не длина, а плотность взаимодействий: правила передают друг другу базу и округлённые копейки, поэтому ошибка в начале каскадом меняет доставку, НДС и итог.

Раунд 1	Раунд 2
Скидка 10 % от суммы позиции	10 % округляются на единице товара, потом умножаются на количество, а 15 % промокода — одним округлением от всей позиции
Скидки не складываются	SUMMER26 не складывается, а WELCOME складывается с категорийной — вопреки привычной практике
Один порог бесплатной доставки	Порог считается от трёх разных баз: до WELCOME, но после SUMMER26
НДС выделяется от итога	НДС округляется построчно и отдельно для доставки, затем складывается
Фикс-скидка на корзину	Распределяется методом наибольших остатков, ничья разрешается по возрастанию sku
—	Блок безопасности: лимит stdin до декодирования, глубина JSON, число позиций, UTF-8, точные типы чисел, защита каждой операции от переполнения, санитарные ошибки без трасс и путей
—	Требование детерминизма вывода при перестановке строк входа и сортировки позиций по байтам sku

04Расчётная часть: взяли всё

19 кейсов с эталонными числами, посчитанными вручную по тексту задания до открытия кода. Все суммы в копейках.

Кейс	эталон	Claude	Codex	Cursor
Поштучное округление аксессуар 5 коп × 3 шт: 10 % от единицы = 0,5 → 1	скидка 3 итог 35 012 НДС 5 835	3 / 35 012 / 5 835	3 / 35 012 / 5 835	3 / 35 012 / 5 835
SUMMER26 против категории порог ровно 500 000 до скидок	75 000 460 000 76 667	75 000 / 460 000 / 76 667	75 000 / 460 000 / 76 667	75 000 / 460 000 / 76 667
Ничья скидок обе дают 1 коп — побеждает категорийная	category_10	category_10	category_10	category_10
Распределение WELCOME наибольшие остатки, ничья по sku	18 889 / 16 667 / 16 666 нетто 3 333 / 3 333 / 3 334 НДС 7 501	совпало	совпало	совпало
Нулевая «Электроника» буквально активирует WELCOME	applied итог 45 000	applied / 45 000	applied / 45 000	applied / 45 000
Три базы порога доставки	0 и 35 000	0 / 35 000	0 / 35 000	0 / 35 000
Построчный НДС одно округление дало бы 5 834	5 833	5 833	5 833	5 833
Большие числа без переполнения gross 10¹⁸, произведение на 15 не помещается в int	150 000 000 000 000 000 НДС 141 666 666 666 666 667	совпало	совпало	совпало
Граница SUMMER26 23:59:59,756 по Москве — последняя секунда	applied	applied	applied	expired ✗

Итог по разделу: 19 из 19 кейсов у Claude и Codex, 18 из 19 у Cursor.

Единственное расхождение в расчёте — и его не поймал ни один тест агента

Cursor сравнивает текущий момент с дедлайном как $now > $deadline, где дедлайн — 23:59:59.000000. Любой момент внутри последней секунды (например, 23:59:59,756) оказывается больше — и промокод объявляется просроченным, хотя задание требует «включительно». У Cursor есть тест с говорящим именем testSummer26ValidOnDeadlineInclusive, и он зелёный: тест подаёт ровную секунду без микросекунд, то есть проверяет реализацию, а не требование. Claude и Codex на том же входе отвечают applied.

05Безопасность

Задание объявляет вход недоверенным. 17 враждебных входов поданы каждому решению вручную; проверялись код возврата, пустота stdout и отсутствие утечки внутренностей в stderr.

Проверка	Claude	Codex	Cursor
stdin больше 1 МиБ отвергается до декодирования	код 2	код 2	код 2
Глубина JSON больше 32	код 2	код 2	код 2
Больше 1 000 позиций до схлопывания	код 2	код 2	код 2
Лишние поля в корне и в позиции	код 2	код 2	код 2
Ложные типы чисел: `1e3`, `1.0`, `"1000"`, `true`, за пределом int	5 из 5	5 из 5	5 из 5
Некорректный UTF-8, 257 байт, управляющий символ	3 из 3	3 из 3	3 из 3
Переполнение суммы при валидных позициях	код 2	код 2	код 2
Санитарные ошибки: только `code` и `message`, без трасс и путей	чисто	чисто	чисто
Нет `eval`, `unserialize`, `exec`, `shell_exec`, `proc_open`	чисто	чисто	чисто
sku вне разрешённого алфавита задание допускает только A–Z, 0–9, точку, дефис, подчёркивание	код 2	код 2	принимает `phone1`, код 0
Валидный большой вход с WELCOME две строки по 10¹⁸ — ответ помещается в int	посчитал	посчитал	код 2 на валидном входе

Первые девять проверок прошли все трое — это заметный шаг вперёд относительно первого раунда, где переполнение int роняло Codex и Cursor в PHP Fatal. Два последних пункта развели участников: у Cursor валидация sku пропускает строчные буквы, а защита от переполнения неполна — остаток при распределении WELCOME считается через опасное произведение, из-за чего математически корректный вход отвергается как некорректный. Обе находки сделал сначала один из судей, затем они воспроизведены вручную.

06Тесты: достаточность, сила, избыточность

Количество тестов ничего не говорит о том, ловят ли они дефекты. Поэтому кроме покрытия строк замерялась мутационная устойчивость: Infection вносит в код изменения и смотрит, падают ли тесты.

Метрика	Claude	Codex	Cursor
Тест-методов / тестов PHPUnit	48 / 59	20 / 29	48 / 48
Проверок (assertions)	192	72	106
Покрытие строк	83,97 %	91,45 %	90,62 %
Мутантов сгенерировано	337	276	280
Убито / выжило	253 / 83	211 / 63	205 / 74
MSI (мутационное покрытие)	75,4 %	77,2 %	73,6 %
Слабых ассертов (`assertTrue`, `assertNotNull`)	0	2	1
Тестов прицельно по безопасности	3	7	19
Обязательных по ТЗ сценариев не покрыто	5 из 14	3 из 14	1 из 14

Что из этого следует

Достаточность. Порог в 85 % покрытия строк не взял только Claude — 83,97 %, и ровно потому, что таймер обрубил его на переходе к тестам безопасности. Функциональность при этом работает: все 17 враждебных входов он отражает — просто не проверяет это тестами.
Сила. Планку MSI ≥ 80 % не взял никто: 63–83 мутанта выживают у каждого. Тесты фиксируют ожидаемые числа, но не покрывают все ветки решений. Это самый честный ответ на вопрос «достаточно ли тестов»: зелёный прогон и высокое покрытие строк не означают, что тесты поймают реальную правку в коде.
Избыточность. Дублирующих тестов и тестов без ассертов не нашлось ни у кого, но отдача на один тест различается втрое: у Codex 20 тестов дают MSI 77,2 %, у Cursor 48 тестов — 73,6 %. Больше тестов не значит сильнее.
Тест против требования. Случай Cursor с границей промокода — учебный: тест назван «включительно», зелёный, и при этом фиксирует неверное поведение. Такой тест не только не помогает, он маскирует дефект.

Отдача на один тест

Codex

3,86 %/тест

Cursor

1,53 %/тест

Claude

1,57 %/тест

MSI, делённый на число тест-методов. Показывает, сколько мутационной устойчивости приносит один написанный тест: у Codex каждый тест «работает» примерно в 2,5 раза плотнее.

07Оценка тремя судьями

Результаты обезличены: скопированы в subject-1/2/3 в перемешанном порядке, git-история удалена, пути и упоминания авторства вычищены и проверены грепом. Каждый судья получил одинаковую рубрику на 50 пунктов, приложенный infection.phar и работал в своей копии материалов.

Судья	Codex	Cursor	Claude	Порядок
Ручная приёмка (оператор)	46,0	43,5	40,5	Codex → Cursor → Claude
Судья Claude Code (Opus 5)	47,0	45,0	42,0	Codex → Cursor → Claude
Судья Codex (GPT-5.6 Sol)	48,5	45,0	43,5	Codex → Cursor → Claude
Среднее из 50	47,17 94,3 %	44,5 89,0 %	42,0 84,0 %	полное совпадение
Ручных доделок до мержа	2–3	2–7	4–5

Максимальная оценка за весь раунд — 97 % от одного судьи. Ни один агент не набрал 100 % ни у одного оценщика: цель усложнения достигнута. Судья Codex, не зная авторства, поставил работе собственного CLI первое место — но и оба других оценщика пришли к тому же выводу независимо.

Что судьи нашли сверх ручной приёмки

Судья Claude обнаружил, что Cursor принимает sku в нижнем регистре — мой чекер проверял только путь с ../ и это пропустил. Воспроизведено вручную, оценка скорректирована.
Судья Codex независимо нашёл ту же ошибку с дробной долей секунды в границе промокода и дополнительно — отказ Cursor на математически валидном большом входе с WELCOME. Оба дефекта воспроизведены вручную.
Расхождения между судьями остались точечными: разброс по итогу не превысил 2,5 балла из 50, и все три оценщика совпали в ранжировании.

08Разбор по агентам

Codex — 94,3 %

GPT-5.6 Sol · 387 с · 408 тыс. токенов · 4 класса, 476 строк · 2–3 доделки

Сильные стороны

Единственный, кто закрыл всё главное разом: полный расчёт, вся безопасность, документация — за 6,5 минут.
Лучшее покрытие строк (91,45 %) и лучший MSI (77,2 %) при самом маленьком объёме кода.
Единственный, кто письменно зафиксировал оба абсурдных следствия задания — и нулевую «Электронику», активирующую промокод, и платную доставку для пустой корзины.
20 тестов делают работу, на которую у конкурентов уходит 48: отдача на тест в 2,5 раза выше.

Слабые стороны

Финальное «Все требования задания выполнены» не подтверждается: нет тестов на лимит размера stdin, глубину JSON и некорректный UTF-8, хотя задание перечисляет их прямым текстом. Это ровно тот пункт, где просили честно сообщить о недоделанном.
63 мутанта выжили — тесты фиксируют результат, но не все ветки решений.
Декомпозиция частичная: CartCalculator на 282 строки по-прежнему совмещает схлопывание, скидки, доставку и НДС.

Cursor — 89,0 %

Composer 2.5 · 268 с · 1,05 млн токенов · 7 классов, 755 строк · 2–7 доделок

Сильные стороны

Самый быстрый прогон раунда и лучшая документация: README на 171 строку, NOTES на 69.
19 тестов прицельно по безопасности — больше, чем у обоих конкурентов вместе.
Не покрыт всего один обязательный сценарий из четырнадцати — лучший показатель раунда.
Чистая декомпозиция: SafeInt, InputValidator, CartCalculator, часы разведены по классам.

Слабые стороны

Три настоящих дефекта: теряется последняя секунда действия промокода, принимается недопустимый sku, отвергается валидный большой вход с WELCOME.
Собственный «граничный» тест зелёный при неверном поведении — написан под реализацию, а не под требование.
Платная доставка для пустой корзины реализована верно, но в NOTES не зафиксирована.
Недоделанное в финальном ответе не перечислено, хотя задание требовало прямым текстом.

Claude Code — 84,0 %

Opus 5 · 900 с, оборван таймером · 19 классов, 1 402 строки · 4–5 доделок

Сильные стороны

Самая зрелая архитектура раунда: 19 классов с разделением на Math, Input, Output, Model, Clock.
По расчётам и безопасности идёт наравне с Codex и точнее Cursor: 19 из 19 кейсов, 17 из 17 враждебных входов, включая оба места, где Cursor ошибается.
Ни одного слабого ассерта: 192 точные проверки — больше, чем у обоих конкурентов вместе.
Оба судьи отметили, что production-код у него корректнее, чем у решения, занявшего второе место.

Слабые стороны

Единственный, кто упёрся в таймер: 900 секунд из 900. README, CHANGELOG и NOTES не написаны вообще, финального отчёта нет.
Из-за этого же не написаны тесты на пять обязательных сценариев — все по безопасности. Код их выдерживает, но это не проверено.
Покрытие 83,97 % — единственный, кто не дотянул до 85 %.
Абсурдные следствия задания реализованы верно, но зафиксировать их было негде.

Затраты

Метрика	Claude	Codex	Cursor
Время	900 с таймаут	387 с	268 с
Всего токенов	2 010 431	408 172	1 047 298
Из них чтение кэша	1 919 143	354 304	962 528
Выходные токены	нет данных	18 837	46 375
Классов / строк кода	19 / 1 402	4 / 476	7 / 755
Документация (строк)	0	133	254

У Claude выходные токены недоступны: прогон оборван таймером, и финальное событие с итоговым usage не пришло. Приведённая сумма собрана по промежуточным сообщениям и занижена.

09Раунд 1 для сравнения

То же задание, но простое: 30 баллов, без блока безопасности. Показывает, насколько мало различимы агенты, когда ТЗ им не сопротивляется.

Метрика	Claude	Codex	Cursor
Модель	opus-5	gpt-5.5	composer-2.5
Время	891 с	212 с	155 с
Токенов	2 236 372	276 750	409 750
Тестов / проверок	129 / 402	17 / 58	49 / 96
Покрытие строк	90,28 %	96,95 %	83,61 %
MSI	71,52 %	74,55 %	72,09 %
Балл (среднее трёх оценок)	30,0 / 30	28,3 / 30	29,8 / 30

В первом раунде две работы из трёх получили полный балл, и различить их можно было только по глубине проработки. Единственной ловушкой, которая тогда развела агентов, было противоречие про порог бесплатной доставки: Claude вынес его в конфигурируемый параметр с тестами на обе трактовки, Cursor завёл раздел «Неоднозначности ТЗ», Codex снял противоречие молча.

Показательно, что порядок мест между раундами изменился на противоположный. Это не шум: в первом раунде побеждала обстоятельность, во втором — способность уложить всё главное в отведённое время. Один и тот же агент может быть первым и последним в зависимости от того, чего требует задача.

10Выводы

Сложное ТЗ различает агентов, простое — нет. На лёгком задании разброс составил 1,7 балла из 30, на трудном — 5,2 из 50, и места поменялись местами. Если бенчмарк нужен для выбора инструмента, задание должно сопротивляться.
Арифметику и безопасность держат все трое. Двенадцать ловушек с каскадными зависимостями, построчный НДС, распределение методом наибольших остатков, защита от переполнения на числах порядка 10¹⁸ — всё это взято, и почти везде копейка в копейку.
Провалы теперь не в коде, а на его границах. Три реальных дефекта раунда — потерянная последняя секунда, слишком мягкая валидация идентификатора и отказ на валидном большом входе. Все три у одного агента, все три не пойманы его собственными зелёными тестами.
Зелёные тесты и высокое покрытие ничего не гарантируют. MSI ≥ 80 % не взял никто: у каждого выживает от 63 до 83 мутантов. Тест, написанный под реализацию, может быть зелёным и при этом закреплять ошибку — ровно это и произошло с «границей включительно».
Время дороже глубины. Claude выдал лучший production-код раунда и проиграл, потому что таймер обрубил его перед документацией. Codex сделал то же самое главное за 43 % времени и выиграл. Когда лимит жёсткий, побеждает умение расставить приоритеты, а не максимальная тщательность.
Честность отчёта остаётся слабым местом всех. Один заявил полноту, которой нет; второй не сообщил ни об одном ограничении при трёх реальных дефектах; третий не отчитался вообще. Требование «напиши прямым текстом, что не сделал» не выполнил никто.
Слепая MoA-оценка работает. Три независимых оценщика дважды дали одинаковое ранжирование, судьи находили дефекты, пропущенные автоматическим чекером, а судья Codex, не зная авторства, оба раза оценивал работу собственного CLI без поблажек.

Если выбирать под задачу

Когда	Кого брать	Почему
Жёсткий срок, объёмное ТЗ, нужен готовый результат целиком	Codex (GPT-5.6 Sol)	Единственный, кто уложил и код, и безопасность, и документацию в 6,5 минут при лучшем покрытии и MSI.
Нужен максимально аккуратный production-код, срок вторичен	Claude Code (Opus 5)	Лучшая архитектура и самая точная работа с границами; но закладывайте время с запасом — в 15 минут он не уложился.
Быстрый черновик с хорошей документацией, есть кому проверить	Cursor (Composer 2.5)	Быстрее всех и лучше всех документирует, но именно у него нашлись все три реальных дефекта раунда.

Что стоит добавить в следующий прогон

Мутационное тестирование оказалось самым информативным инструментом приёмки: оно единственное показывает разрыв между «тесты зелёные» и «тесты что-то проверяют». В следующий раз имеет смысл вынести MSI в само задание как измеримое требование — и посмотреть, изменит ли это то, какие тесты агенты пишут.