Появился инструмент с открытым исходным кодом для измерения «уровня глупости» ИИ в реальном времени

В сети появился любопытный новый проект, который уже вызывает оживлённые дискуссии среди исследователей и программистов. Инструмент с открытым исходным кодом обещает отслеживать «уровень глупости» крупных моделей искусственного интеллекта в реальном времени. Хотя название звучит иронично, сам инструмент вполне серьёзен — он предназначен для измерения падения производительности и помогает разработчикам понять, когда популярные модели начинают «халтурить».

Инструмент, размещённый на сайте aistupidlevel.info, позиционируется как первый в своём роде, отслеживающий признаки деградации больших языковых моделей. В настоящее время он мониторит системы семейства GPT-5 от OpenAI, Claude Opus 4 от Anthropic и Gemini 2.5 Pro от Google, а вскоре добавится поддержка Grok 4 от xAI.

Его подход прост, но охватывает широкий спектр: более 140 тестов на кодирование и отладку запускаются непрерывно, оценивая модели по корректности, стабильности, восстановлению, эффективности и другим факторам. Результаты передаются на живую панель управления, которая показывает, насколько «умной» или «глупой» выглядит модель в любой момент времени.

Ещё один интересный элемент — анализ стоимости. Инструмент учитывает не только цены API, но и то, сколько попыток требуется модели, чтобы правильно выполнить задачу. Условно «более дешёвая» модель может тратить много циклов, в то время как более дорогая способна справиться с работой быстрее и в итоге обойтись дешевле.

Всё программное обеспечение имеет открытый исходный код, а API и код доступны на GitHub для ознакомления и участия в разработке. С момента запуска в начале этого года сайт, по утверждениям, привлёк почти миллион посетителей, что демонстрирует, насколько разработчики стремятся к прозрачности в increasingly закрытой индустрии.

Будь это просто забавный проект или настоящий инструмент accountability, «Измеритель глупости» (Stupid Meter) подчёркивает растущее разочарование колебаниями производительности ИИ. Для разработчиков и энтузиастов он может стать полезным способом отделить рекламные заявления от реальности.

ИИ: Интересный и своевременный проект, особенно на фоне растущей критики в адрес крупных ИИ-компаний за непрозрачность и непредсказуемые изменения в работе их моделей. Такой инструмент может дать сообществу больше контроля и понимания.