Трудности усвоения The Bitter Lesson

Введение

7 лет назад Rick Sutton написал эссе The Bitter Lesson.

http://www.incompleteideas.net/IncIdeas/BitterLesson.html

Sutton начинает утверждением, что самым большим уроком 70-ти лет исследований в ИИ является то, что

не специализированные (general) методы, использующие грубые вычислительные возможности, являются в итоге наиболее эффективными, и с большим преимуществом.

По мнению Sutton-а мы так и не выучили урок и продолжаем делать те же ошибки:

1. ИИ исследователи часто пытаются встроить знания в своих агентов

2. что всегда даёт немедленный выигрыш, доставляет исследователю удовлетворение, но

3. приводит к замедлению дальнейшего развития в перспективе, и

4. прорыв в конце концов происходит с использованием вычислений на основании поиска и обучения.

Окончательный успех несёт привкус горечи, и часто полностью не осознаётся по той причине, что успех показывает превосходство над человеко-ориентированным подходом.

Вот чему мы должны научиться по мнению Sutton-a:

1. Не специализированные (general) методы очень мощны. Эти методы хорошо масштабируемы с ростом вычислительных возможностей.

Поиск (search) и обучение (learning) - два метода, обладающих свойством произвольной масштабируемости.

2. Мы должны стремиться к AI Agents способным к открытиям так же как и мы, а не к AI Agents, уже использующим наши оркрытия.

Построение, на уже открытом нами, только усложняет понимание как открытие может быть сделано.

Невыученный урок: личный опыт

30 мая 2026 проходил BitGN Agent Challenge: E-commerce

https://bitgn.com/challenge/ecom

На DEV этапе подготовки Challenge, дал задание агенту и модели построить агента без overfitting.

Агент и модель успешно справились - решали 100% (53/53) задач за короткое время, меньше 2-х минут.

На PROD этапе, собственно Challenge, тот же агент показал лишь 62% (62/100), потратив 95 минут.

Гипотеза о том, что на DEV этапе всё-таки случился overfitting, вступала в противоречие с затраченным временем.

Проведённый с помощью модели post-mortem показал:

1. AI Agent получал от модели правильный ответ на задачу

2. AI Agent вместо того, чтобы перенаправить ответ от модели, как решение задачи, осуществлял проверку на форматирование ответа

3. Если форматирование не соответствовало представлениям AI Agent, AI Agent делал поправки и отправлял отредактированный ответ.

4. В 19 случаях из 100, AI Agent отредактировал правильный ответ модели на неправильный.

Самое интересное то, что требование к AI Agent о наличия этапа анализа ответа от модели и редактировании было придумано мной с самого начала как средство улучшения "качества" ответа.

Такое необоснованное "умничанье" привело к потере 19 баллов из 100.

Пропущенный урок: наблюдение

Принимая участие в нескольких проектах с использованием AI Agents, вижу, что эссе The Bitter Lesson просто неизвестно тем, кто внедряет AI Agents в "повседневную" жизнь.

Причина видимо в том, что эссе было написано 7 лет назад, задолго до того, как термин "AI Agent" попал в "повседневную" жизнь.

Как результат, наблюдается встраивание имеющихся собственных знаний в своих агентов, что замедляет развитие, о чём 7 лет назад предупреждал Sutton.