Forwarded from Бестиарий программирования
Приглашаю познакомиться с публикацией Дмитрия Пономарева:
Итоги этапа «Домашнее задание» испытаний статических анализаторов под патронажем ФСТЭК России
В публикацию не включены более детальные таблицы с числовыми характеристиками. Таблицы получились большими и сложными для восприятия. Однако, думаю, я смогу компактно продемонстрировать показатели PVS-Studio.
В процессе выполнения домашнего задания наша команда для собственного удобства написала небольшую утилиту генерации html-таблицы с раскраской. И соответственно стояла задача избавиться от красных ячеек :) Ставилась задача достичь показателей, описанных в ГОСТ Р 71207-2024 в п. 8.4:
Достигнуты все необходимые показатели, кроме процента False Positives для тестов на выявление разыменования нулевых указателей. Представленные здесь таблицы сгенерированы 29.05.2025.
В среднем PVS-Studio показывает хорошие показатели (FP < 50%, FN < 50%) для всех поддерживаемых языков C, C++, C#, Java для основного и дополнительного наборов тестов домашнего задания. В дополнительный набор вошли тесты на ошибки, которые ГОСТ Р 71207-2024 не описывает как критические, но выявление которых по мнению жюри также очень важно. Про расширение списка критических ошибок, их фильтрацию и что означают идентификаторы типов ошибок (SEC-STR-FORMAT, SEC-BUF-OVERFLOW и т.д.) можно прочитать в статье "Фильтрация предупреждений PVS-Studio, выявляющих критические ошибки (согласно классификации ГОСТ Р 71207-2024)".
Позже сделаю более подробный пост на habr.
Итоги этапа «Домашнее задание» испытаний статических анализаторов под патронажем ФСТЭК России
В апреле-мае 2025 года состоялся первый этап испытаний открытых и коммерческих статических анализаторов исходных кодов компилируемых и динамических языков программирования под патронажем ФСТЭК России. Полный отчёт об итогах этапа был согласован участниками и жюри и передан организаторам испытаний.
В публикацию не включены более детальные таблицы с числовыми характеристиками. Таблицы получились большими и сложными для восприятия. Однако, думаю, я смогу компактно продемонстрировать показатели PVS-Studio.
В процессе выполнения домашнего задания наша команда для собственного удобства написала небольшую утилиту генерации html-таблицы с раскраской. И соответственно стояла задача избавиться от красных ячеек :) Ставилась задача достичь показателей, описанных в ГОСТ Р 71207-2024 в п. 8.4:
Требования по качеству выполняемого статического анализа предъявляются для критических типов ошибок, приведенных в 6.3-6.5, и проверяются на квалификационном наборе тестов, построенных в соответствии с требованиями раздела 10.
Для данных типов ошибок на наборе тестов, отвечающих требованиям 10.4, статический анализатор должен обеспечивать достижение следующих показателей:
а) долю ошибок первого рода (ложноположительных срабатываний) (FP) — не более 50%;
б) долю ошибок второго рода (ложноотрицательных срабатываний, т. е. пропусков заведомо известных ошибок) (FN) — не более 50%.
Домашнее задание подразумевает проверку соответствия на квалификационных тестах небольшого размера (см. п. 10.2.а).
Достигнуты все необходимые показатели, кроме процента False Positives для тестов на выявление разыменования нулевых указателей. Представленные здесь таблицы сгенерированы 29.05.2025.
В среднем PVS-Studio показывает хорошие показатели (FP < 50%, FN < 50%) для всех поддерживаемых языков C, C++, C#, Java для основного и дополнительного наборов тестов домашнего задания. В дополнительный набор вошли тесты на ошибки, которые ГОСТ Р 71207-2024 не описывает как критические, но выявление которых по мнению жюри также очень важно. Про расширение списка критических ошибок, их фильтрацию и что означают идентификаторы типов ошибок (SEC-STR-FORMAT, SEC-BUF-OVERFLOW и т.д.) можно прочитать в статье "Фильтрация предупреждений PVS-Studio, выявляющих критические ошибки (согласно классификации ГОСТ Р 71207-2024)".
Позже сделаю более подробный пост на habr.
tgoop.com/pvsstudio_rus/2170
Create:
Last Update:
Last Update:
Приглашаю познакомиться с публикацией Дмитрия Пономарева:
Итоги этапа «Домашнее задание» испытаний статических анализаторов под патронажем ФСТЭК России
В публикацию не включены более детальные таблицы с числовыми характеристиками. Таблицы получились большими и сложными для восприятия. Однако, думаю, я смогу компактно продемонстрировать показатели PVS-Studio.
В процессе выполнения домашнего задания наша команда для собственного удобства написала небольшую утилиту генерации html-таблицы с раскраской. И соответственно стояла задача избавиться от красных ячеек :) Ставилась задача достичь показателей, описанных в ГОСТ Р 71207-2024 в п. 8.4:
Достигнуты все необходимые показатели, кроме процента False Positives для тестов на выявление разыменования нулевых указателей. Представленные здесь таблицы сгенерированы 29.05.2025.
В среднем PVS-Studio показывает хорошие показатели (FP < 50%, FN < 50%) для всех поддерживаемых языков C, C++, C#, Java для основного и дополнительного наборов тестов домашнего задания. В дополнительный набор вошли тесты на ошибки, которые ГОСТ Р 71207-2024 не описывает как критические, но выявление которых по мнению жюри также очень важно. Про расширение списка критических ошибок, их фильтрацию и что означают идентификаторы типов ошибок (SEC-STR-FORMAT, SEC-BUF-OVERFLOW и т.д.) можно прочитать в статье "Фильтрация предупреждений PVS-Studio, выявляющих критические ошибки (согласно классификации ГОСТ Р 71207-2024)".
Позже сделаю более подробный пост на habr.
Итоги этапа «Домашнее задание» испытаний статических анализаторов под патронажем ФСТЭК России
В апреле-мае 2025 года состоялся первый этап испытаний открытых и коммерческих статических анализаторов исходных кодов компилируемых и динамических языков программирования под патронажем ФСТЭК России. Полный отчёт об итогах этапа был согласован участниками и жюри и передан организаторам испытаний.
В публикацию не включены более детальные таблицы с числовыми характеристиками. Таблицы получились большими и сложными для восприятия. Однако, думаю, я смогу компактно продемонстрировать показатели PVS-Studio.
В процессе выполнения домашнего задания наша команда для собственного удобства написала небольшую утилиту генерации html-таблицы с раскраской. И соответственно стояла задача избавиться от красных ячеек :) Ставилась задача достичь показателей, описанных в ГОСТ Р 71207-2024 в п. 8.4:
Требования по качеству выполняемого статического анализа предъявляются для критических типов ошибок, приведенных в 6.3-6.5, и проверяются на квалификационном наборе тестов, построенных в соответствии с требованиями раздела 10.
Для данных типов ошибок на наборе тестов, отвечающих требованиям 10.4, статический анализатор должен обеспечивать достижение следующих показателей:
а) долю ошибок первого рода (ложноположительных срабатываний) (FP) — не более 50%;
б) долю ошибок второго рода (ложноотрицательных срабатываний, т. е. пропусков заведомо известных ошибок) (FN) — не более 50%.
Домашнее задание подразумевает проверку соответствия на квалификационных тестах небольшого размера (см. п. 10.2.а).
Достигнуты все необходимые показатели, кроме процента False Positives для тестов на выявление разыменования нулевых указателей. Представленные здесь таблицы сгенерированы 29.05.2025.
В среднем PVS-Studio показывает хорошие показатели (FP < 50%, FN < 50%) для всех поддерживаемых языков C, C++, C#, Java для основного и дополнительного наборов тестов домашнего задания. В дополнительный набор вошли тесты на ошибки, которые ГОСТ Р 71207-2024 не описывает как критические, но выявление которых по мнению жюри также очень важно. Про расширение списка критических ошибок, их фильтрацию и что означают идентификаторы типов ошибок (SEC-STR-FORMAT, SEC-BUF-OVERFLOW и т.д.) можно прочитать в статье "Фильтрация предупреждений PVS-Studio, выявляющих критические ошибки (согласно классификации ГОСТ Р 71207-2024)".
Позже сделаю более подробный пост на habr.
BY PVS-Studio
Share with your friend now:
tgoop.com/pvsstudio_rus/2170