Учёные факультета вычислительной математики и кибернетики МГУ имени М.В.Ломоносова предложили подход к улучшению структуры юнит-тестов, автоматически создаваемых большими языковыми моделями. Первые эксперименты показали работоспособность предложенного подхода и возможность его применения в системах генерации юнит-тестов для программного кода.
При разработке программного обеспечения важную роль играют небольшие проверки, позволяющие убедиться в корректности работы отдельных частей кода. Однако автоматически сгенерированные тесты нередко содержат дефекты дизайна, из-за которых их сложнее использовать и анализировать.
Новый подход позволяет сделать качество создаваемого ИИ-кода более управляемым: модель получает не общую оценку результата, а конкретный сигнал о том, какие элементы его структуры следует улучшить. Если статический анализатор обнаруживает дефект дизайна, то модель получает штраф, а за чистый тест — вознаграждение, благодаря чему в процессе обучения она учится избегать типичных проблем. В будущем тот же принцип можно применять и к другим критериям качества: обучать ИИ не просто создавать работающий результат, а последовательно делать его более понятным, структурированным и удобным для человека.
«Мы использовали обучение с подкреплением, чтобы научить модель избегать типичных дефектов дизайна тестов и тем самым улучшить качество автоматически создаваемых решений», — отметил доцент кафедры алгоритмических языков факультета ВМК МГУ Игорь Головин.
Для обучения был собран датасет на основе реальных проектов на языке Python, включающий методы программ и соответствующие им юнит-тесты. Дополнительно для каждого набора тестов была получена информация о наличии дефектов дизайна с помощью инструментов статического анализа.
Результаты работы были представлены на научной конференции «Ломоносовские чтения».
Учёные факультета вычислительной математики и кибернетики МГУ имени М.В.Ломоносова предложили подход к улучшению структуры юнит-тестов, автоматически создаваемых большими языковыми моделями. Первые эксперименты показали работоспособность предложенного подхода и возможность его применения в системах генерации юнит-тестов для программного кода.
При разработке программного обеспечения важную роль играют небольшие проверки, позволяющие убедиться в корректности работы отдельных частей кода. Однако автоматически сгенерированные тесты нередко содержат дефекты дизайна, из-за которых их сложнее использовать и анализировать.
Новый подход позволяет сделать качество создаваемого ИИ-кода более управляемым: модель получает не общую оценку результата, а конкретный сигнал о том, какие элементы его структуры следует улучшить. Если статический анализатор обнаруживает дефект дизайна, то модель получает штраф, а за чистый тест — вознаграждение, благодаря чему в процессе обучения она учится избегать типичных проблем. В будущем тот же принцип можно применять и к другим критериям качества: обучать ИИ не просто создавать работающий результат, а последовательно делать его более понятным, структурированным и удобным для человека.
«Мы использовали обучение с подкреплением, чтобы научить модель избегать типичных дефектов дизайна тестов и тем самым улучшить качество автоматически создаваемых решений», — отметил доцент кафедры алгоритмических языков факультета ВМК МГУ Игорь Головин.
Для обучения был собран датасет на основе реальных проектов на языке Python, включающий методы программ и соответствующие им юнит-тесты. Дополнительно для каждого набора тестов была получена информация о наличии дефектов дизайна с помощью инструментов статического анализа.
Результаты работы были представлены на научной конференции «Ломоносовские чтения».
| # | Наименование новости | Тональность | Информативность | Дата публикации |
|---|---|---|---|---|
| 1 | В МГУ разработали метод выявления ошибок в размеченных текстах | 0 | 11.42 | 11-08-2026 |
| 2 | Ученые МГУ улучшили память ИИ-ассистентов для длительных диалогов | 0 | 13.41 | 06-08-2026 |
| 3 | На ВМК МГУ вручили сертификаты выпускникам Академической программы по искусственному интеллекту | 0 | 5 | 30-06-2026 |
| 4 | В МГУ упростили и ускорили разработку шахматных задач с помощью Python | 0 | 11.65 | 28-07-2026 |
| 5 | В МГУ создали более 100 шахматных курсов с использованием методов искусственного интеллекта | 5 | 7 | 20-07-2026 |
| 6 | "Известия": в московском вузе внедрили ИИ, отслеживающий успеваемость студентов | 0 | 0 | 20-07-2023 |
| 7 | В МГУ назвали два возможных пути создания суверенного ИИ в России | 0 | 5 | 10-07-2026 |
| 8 | Тест Тьюринга могут заменить базы данных с текстами ИИ | 0 | 0 | 18-04-2025 |
| 9 | Набор на профессиональную переподготовку и повышение квалификации | 0 | 17.28 | 24-08-2026 |