Несмотря на кажущуюся схожесть, термины «тестирование», «верификация» и «валидация» означают разные уровни проверки корректности работы программной системы. Дабы избежать дальнейшей путаницы, четко определим эти понятия.
Тестирование программного обеспечения - вид деятельности в процессе разработки, связанный с выполнением процедур, направленных на обнаружение (доказательство наличия) ошибок (несоответствий, неполноты, двусмысленностей и т.д.) в текущем определении разрабатываемой программной системы. Процесс тестирования относится в первую очередь к проверке корректности программной реализации системы, соответствия реализации требованиям, т.е. тестирование - это управляемое выполнение программы с целью обнаружения несоответствий ее поведения и требований.
Рис. 1 Тестирование, верификация и валидация
Верификация программного обеспечения - более общее понятие, чем тестирование. Целью верификации является достижение гарантии того, что верифицируемый объект (требования или программный код) соответствует требованиям, реализован без непредусмотренных фун-к-ций и удовлетворяет проектным спецификациям и стандартам. Процесс вери-фи-ка-ции включает в себя инспекции, тестирование кода, анализ результатов тестирования, формирование и анализ отчетов о проблемах. Таким образом, принято считать, что процесс тестирования является составной частью процесса верификации, такое же допущение сделано и в данном учебном курсе.
Валидация программной системы - процесс, целью которого является доказательство того, что в результате разработки системы мы достигли тех целей, которые планировали достичь благодаря ее использованию. Иными словами, валидация - это проверка соответствия системы ожиданиям заказчика. Вопросы, связанные с валидацией выходят за рамки данного учебного курса и представляют собой отдельную интересную тему для изучения.
Если посмотреть на эти три процесса с точки зрения вопроса, на который они дают ответ, то тестирование отвечает на вопрос «Как это сделано?» или «Соответсвует ли поведение разработанной программы требованиям?», верификация - «Что сделано?» или «Соответствует ли разработанная система требованиям?», а валидация - «Сделано ли то, что нужно?» или «Соответствует ли разработанная система ожиданиям заказчика?».
Верификация — это обычно внутренний процесс управления качеством, обеспечивающий согласие с правилами, стандартами или спецификацией. Простой способ запомнить разницу между валидацией и верификацией заключается в том, что валидация подтверждает, что «вы создали правильный продукт», а верификация подтверждает, что «вы создали продукт таким, каким и намеревались его сделать».
Ещё один пример типичной верификации: проведение испытания оборудования. Имея определенные требования на руках, мы проводим испытание продукта и фиксируем, соблюдены ли требования. Результат верификации — это ответ на вопрос «Соответствует ли продукт требованиям?».
Но далеко не всегда продукт, соответствующий установленным требованиям, можно применять в конкретной ситуации. Например, лекарство прошло все положенные испытания и поступило в продажу. Значит ли это что оно может быть применено каким-то конкретным больным? Нет, так как каждый пациент имеет свои особенности и конкретно для этого лекарство может быть губительным, то есть кто-то (врач) должен подтвердить: да, этому больному можно принимать это лекарство. То есть врач должен выполнить валидацию: придать законную силу конкретному применению.
Или еще пример. Предприятие выпускает трубы, предназначенные для закладки в землю, в соответствии с некоторыми ТУ (Техническими условиями). Продукция этим ТУ соответствует, но поступил заказ, предполагающий укладку труб по дну моря. Могут ли трубы, соответствующие имеющимся ТУ, быть применены в данном случае? Именно валидация и дает ответ на этот вопрос.
Нетрудно видеть, что еще одно отличие состоит в том, что верификация производится всегда, а вот необходимость в валидации может и отсутствовать. Она появляется только тогда, когда возникают требования, связанные с конкретным применением продукции. Если фармацевтический завод выпускает лекарства, то он будет проверять лишь их соответствие требованиям, а проблемами применения конкретных лекарств конкретными пациентами заниматься не будет.
Таким образом, можно констатировать следующее:
Верификация — проводится практически всегда, выполняется методом проверки (сличения) характеристик продукции с заданными требованиями, результатом является вывод о соответствии (или несоответствии) продукции,
Валидация — проводится при необходимости, выполняется методом анализа заданных условий применения и оценки соответствия характеристик продукции этим требованиям, результатом является вывод о возможности применения продукции для конкретных условий.
Исходя из вышеописанного, валидация должна быть определена как подтверждение на основе представления объективных свидетельств того, что требования, предназначенные для конкретного использования или применения, точно и в полном объёме предопределены, а цель достигнута.
П роникновение терминов «валидация» и «верификация» в русский язык связано с внедрением на российских предприятиях стандартов ISO 9000 и необходимостью официального их перевода.
В соответствии с терминологией стандартов ISO серии 9000 валидация означает, что предоставлены объективные доказательства того, что удовлетворены требования некоторого внешнего потребителя или пользователя продукта или услуги. Таким образом, валидация означает подтверждение соблюдения особых требований, предназначенных для конкретного применения или использования путем проведения экспертизы и представления соответствующих доказательств. Также в стандартах ISO отмечено, что на стадии проектирования и разработки подтверждение означает предоставление доказательств того, что конкретный продукт соответствует нуждам потребителей. Часто валидацию путают с верификацией, что в корне неверно. По терминологии МАГАТЭ термин валидация (validation) переводится как «аттестация», а верификация (verification) – как «проверка».
Общим для этих двух понятий является то, что и валидация, и верификация связаны с подтверждением эффективности управляющих воздействий и их комбинаций. Верификация означает, что предоставлены объективные свидетельства выполнения установленных требований. Верификация проводится на фазе проектирования путем сравнения опытных и эталонных образцов продукции. Основное различие между верификацией и валидацией можно выразить так: валидация подтверждает, что продукт или услуга созданы правильно, а верификация – что они созданы именно так, как это задумывалось в компании. В отличие от валидации, являющейся внешним процессом управления качеством, верификация представляет собой процесс внутренний, обеспечивающий соответствие стандартам, правилам и спецификациям.
Основным вопросом, на который отвечает верификация, является вопрос: «Отвечает ли изготовляемая продукция требованиям?» Примером может служить проведение испытания продукции предприятия. Проводя испытания продукта и имея под рукой все необходимые требования, можно четко определить, соблюдены эти требования или нет. Но даже если продукция соответствует всем нормативным требованиям и спецификациям, ее применение в конкретной ситуации не всегда возможно. К примеру, в результате проведения испытаний было выяснено, что некоторое лекарство изготовлено в соответствии со всеми необходимыми требованиями. Данное лекарство поступило в продажу, но будет ли оно использовано неким конкретным человеком? Не обязательно, поскольку у одного больного может быть индивидуальная непереносимость каких-то компонентов данного препарата, другой не может принимать его из-за несовместимости с другими лекарственными средствами и т.д. Все это учитывает врач, когда назначает препарат данному конкретному пациенту, т.е. он подтверждает, что данное лекарство может быть использовано этим больным. В указанном случае врач осуществляет валидацию.
Приведем еще один пример: предприятие производит лебедки для осуществления наземного строительства. Данная продукция соответствует всем необходимым техническим условиям. Однако предприятие получает заказ от организации, осуществляющей укладку трубопровода в подводные траншеи. Можно ли в данном случае использовать изготовленные по ТУ лебедки в подводных условиях? Ответ на этот вопрос можно дать только проведя валидацию.
Еще несколько примеров помогут понять разницу между валидацией и верификацией:
Таким образом, можно сделать вывод, что верификация является обязательным аспектом системы менеджмента качества предприятия, а валидация осуществляется по необходимости. Так, как показано в примере выше, предприятие проверяет соответствие медицинских препаратов требованиям стандартов, а возможность/невозможность их применения конкретными пациентами определяет врач, проводя валидацию.
Суммируя вышеизложенное, дадим определение валидации и верификации:
Региональная система добровольной сертификации систем менеджмента и персонала «ИСУ ». РСДС «ИСУ » предоставляет услуги по верификационному аудиту малых, средних и крупных организаций на соответствие международным стандартам ISO. Более подробную информацию Вы можете получить, перейдя по ссылке
В разговорном языке частенько фигурируют новые термины, звучание которых для оппонента может показаться незнакомым, бессмысленным. Переспрашивать собеседника не совсем удобно, да и демонстрировать свою некомпетентность на людях тоже не хотелось бы. Поэтому рекомендуется изучать новые слова разговорной речи, выяснять их смысл.
Это один из тематических терминов, который простому обывателю сложно объяснить, еще сложнее понять точное определение научным языком. Первоисточники предоставляют затрудненное для восприятия толкование, поэтому лучше воспользоваться простыми, доступными примерами из жизни. Итак, существует понятие валидация – что это простыми словами? Изучив научное пояснение, можно сделать вывод. Это незнакомое слово по значению близко к такому понятию, как аттестация, обозначает глобальную проверку изделия по всем параметрам, заданным изначально заказчиком.
Например, если речь идет о горном велосипеде, это транспортное средство считается валидированным, если на нем проехался заказчик, при этом остался доволен скоростью, качеством произведенных работ, функциями, дизайном и прочими изначально оговоренными проектом параметрами. Проще говоря, это контрольное тестирование, чтобы пользователь лично убедился в результате, действительно выгодном приобретении.
Это слово может означать законную силу того или иного документа, часто встречается в общегражданском праве. Если говорить простым языком, это легализация, принятие в качестве нормы, утверждение. Например, документ по истечению указанного срока вступает в законную силу, становится валидным в правовой сфере, юриспруденции. Так, валидация подтверждает окончательное решение судьи, причем апелляция уже невозможна.
В этой сфере значение слова связано с получением, переработкой, проверкой и передачей данных. Валидация актуальна для любого пользователя аккаунта, поскольку подтверждает и официально доказывает верность действий. Чтобы понять, что означает это слово на доступном языке, можно привести хороший пример об удовлетворении требований заказчика:
Размышляя о фармацевтической отрасли или промышленности, легко увидеть, что слово валидация означает соответствие продукции всем требованиям производителя, чтобы не пошатнуть его безупречную репутацию на рынке услуг и товаров. Проще говоря, компания несет ответственность за высокое качество и правильность изготовления продукции, которая должна подходить под заявленные стандарты:
Если говорить простыми словами, оба термина имеют сходное значение, являются синонимами. На эту тему можно приводить множество простых примеров, но существенное отличие все же имеется. Если валидация – комплексная проверка товара, то верификация больше делает акцент на соблюдении технологического процесса, последовательном выполнении всех этапов производства. Когда готовый продукт не удовлетворяет человека по параметрам качества, слово верификация к высказанной претензии не имеет значения.
Что касается ревалидации, это внесение изменений в уже готовый продукт, использование иных технических характеристик. Технологичность процесса и последовательность действий нарушается, но в юриспруденции и на производстве такие новшества и нововведения тоже нельзя исключать. Отныне проблем с толкованием не возникает: если человек слышит слово валидация – что это простыми словами, можно найти правильный ответ во всех сферах жизни.
Очень часто путают два понятия валидация и верификация. Кроме того, часто путают валидацию требований к системе с валидацией самой системы. Я предлагаю разобраться в этом вопросе.
В статье я рассмотрел два подхода к моделированию объекта: как целого и как конструкции. В текущей статье нам это деление понадобится.
Пусть у нас есть проектируемый функциональный объект. Пусть этот объект рассматривается нами как часть конструкции другого функционального Объекта. Пусть есть описание конструкции Объекта, такое, что в нем присутствует описание объекта. В таком описании объект имеет описание как целого, то есть, описаны его интерфейсы взаимодействия с другими объектами в рамках конструкции Объекта. Пусть дано описание объекта как конструкции. Пусть есть информационный объект, содержащий требования к оформлению описания объекта как конструкции. Пусть есть свод знаний, который содержит правила вывода, на основании которых из описания объекта как целого получается описание объекта как конструкции. Свод знаний – это то, чему учат конструкторов в институтах – много, очень много знаний. Они позволяют на основе знанию об объекте спроектировать его конструкцию.
Итак, можно начинать. Мы можем утверждать, что если правильно описан объект как целое, если свод знаний верен, и если правила вывода были соблюдены, то полученное описание конструкции объекта, будет верным. То есть, на основе этого описания будет построен функциональный объект, соответствующий реальным условиям эксплуатации. Какие могут возникнуть риски:
1. Использование неправильных знаний об Объекте. Модель Объекта в головах у людей может не соответствовать реальности. Не знали реальной опасности землетрясений, например. Соответственно, могут быть неправильно сформулированы требования к объекту.
2. Неполная запись знаний об Объекте – что-то пропущено, сделаны ошибки. Например, знали о ветрах, но забыли упомянуть. Это может привести к недостаточно полному описанию требований к объекту.
3. Неверный свод знаний. Нас учили приоритету массы над остальными параметрами, а оказалось, что надо было наращивать скорость.
4. Неправильное применение правил вывода к описанию объекта. Логические ошибки, что-то пропущено в требованиях к конструкции объекта, нарушена трассировка требований.
5. Неполная запись полученных выводов о конструкции системы. Все учли, все рассчитали, но забыли написать.
6. Созданная система не соответствует описанию.
Понятно, что все артефакты проекта появляются, как правило, в завершенном своем виде только к концу проекта и то не всегда. Но, если предположить, что разработка водопадная, то риски такие, как я описал. Проверка каждого риска – это определенная операция, которой можно дать название. Если кому интересно, можно попытаться придумать и озвучить эти термины.
Что такое верификация? По-русски, верификация – это проверка на соответствие правилам. Правила оформляются в виде документа. То есть, должен быть документ с требованиями к документации. Если документация соответствует требованиям этого документа, то она прошла верификацию.
Что есть валидация? По-русски валидация – это проверка правильности выводов. То есть, должен быть свод знаний, в котором описано, как получить описание конструкции на основе данных об объекте. Проверка правильности применения этих выводов – есть валидация. Валидация - это в том числе проверка описания на непротиворечивость, полноту и понятность.
Часто валидацию требований путают с валидацией продукта, построенного на основе этих требований. Так делать не стоит.
— придание законной силы, утверждение, легализация, ратификация
(общегражданское право);
— процесс, позволяющий определить, насколько точно с позиций потенциального пользователя некоторая модель представляет заданные сущности реального мира
(системное программирование);
— процедура, дающая высокую степень уверенности в том, что конкретный процесс, метод или система будет последовательно приводить к результатам, отвечающим заранее установленным критериям приемлемости; в частности, валидация технологических процессов проводится с использованием образцов не менее трех серий реального продукта с целью доказательство и предоставление документального свидетельства, что процесс (в пределах установленных параметров) обладает повторяемостью и приводит к ожидаемым результатам при производстве полупродукта или готового продукта требуемого качества; валидация аналитических методов состоит в определении: точности, воспроизводимости, чувствительности, устойчивости (межлабораторная воспроизводимость), линейности и других метрологических характеристик
(GMP — Надлежащая производственная практика, является обязательным требованием при производстве лекарственных средств).
Применительно к системам менеджмента качества согласно стандартам ISO серии 9000:
Валидация
— подтверждение на основе представления объективных свидетельств того, что требования, предназначенные для конкретного использования или применения, выполнены
(ISO 9000:2005)
Валидация
— подтверждение путем экспертизы и представления объективного доказательства того, что особые требования, предназначенные для конкретного применения, соблюдены.
Примечания:
(ISO 8402:1994, п.2.18)
По определению PIC/S, это:
«Действия, которые в соответствии с принципами GMP доказывают, что определенная методика, процесс, оборудование, сырье, деятельность или система действительно приводят к ожидаемым результатам».
Валидация
Исследования по валидации должны способствовать надлежащей практике производства; их следует проводить в соответствии с установленными процедурами. Результаты и заключения должны быть оформлены протоколами.
Если вводят новую производственную рецептуру или новый способ изготовления, то должны быть предприняты действия, демонстрирующие их пригодность для серийного производства. Должно быть доказано, что установленный процесс при использовании специфицированных веществ и оборудования позволяет постоянно получать продукцию требуемого качества.
Существенные изменения производственного процесса, включая любое изменение оборудования или материалов, которое может повлиять на качество продукции и/или воспроизводимость процесса, должны пройти валидацию.
Процессы и процедуры следует подвергать периодической критической ревалидации, чтобы гарантировать, что они по-прежнему способны приводить к ожидаемым результатам.
Валидация и ее документирование
Цель валидации простая: доказать, что объект валидации действительно приводит к ожидаемым результатам. Другими словами, валидация должна показать, что производитель полностью управляет процессом производства. Валидация является интегральной частью «обеспечения качества», показывая, что производитель понимает причины изменчивости процесса и, главным образом, понимает какие параметры необходимо контролировать для обеспечения стабильности процесса. Эффективная валидация основана на менеджменте риска и современном уровне науки.
Процедуры процесса валидации должны быть зафиксированы в ряде протоколов и результаты валидации должны быть зафиксированы в записях или отчетах.
Эти документы используются в разных формах при получении регистрационного удостоверения и инспекции в соответствии с правилами GMP и так же, для внутренних производственных целей, чтобы руководство организации могло быть уверено в том, что оно контролирует свои процессы. Документация процесса валидации является базой для необходимой регуляции. Но для того, чтобы избежать
той ошибки, которая часто встречается при внедрении принципов GMP в России, мы сознательно обсуждаем процесс документирования валидации в разделе о документации.
Существует довольно серьезная разница между российским и международным подходами. В российских правилах GMP, валидация «заключается в документированном подтверждении соответствия оборудования, условий производства, качества сырья и готового продукта действующим регламентам и\или требованиям нормативной документации». Это подход – устаревший. Его последствия – довольно вредные. Из разных публикаций может создаться впечатление, что процесс валидации является не более, чем процессом документирования или, что такие слова как «валидация» «верификация», «квалификация» и «испытание», в самом деле, являются аналогами друг друга. Отсутствие понимания «валидации» укрепляет недопонимание GMP, и создает ситуацию, когда персонал сопротивляется внедрению GMP, просто принимая его как «вечно растущую гору документов».
В GMP EC (и, кстати, GMP FDA) валидация является регулярным изучением систем, процессов, инженерных комплексов и, естественно, самого фармацевтического продукта, чтобы обеспечить высокий уровень уверенности в том, что процессы были должным образом разработаны и находятся под контролем.
Эффективная валидация требует использования подхода, основанного на управлении рисками, полного понимания процессов производства и повышения их устойчивости, посредством внедрения новых технологий. Таким образом, валидация является динамическим процессом. Этот факт, очевидно, представляет некоторые сложности для регуляторных органов.
С точки зрении разработчиков и производителей ЛС валидация способна обеспечить следующие преимущества:
После полной валидации процесса, возможно, что количество контролируемых параметров в конце процесса уменьшится. Разработчики, полностью понимая те параметры, которые влияют на изменчивость и, следовательно, на стабильность процесса, имеют необходимую информацию для управления процессом, например, через снижение изменчивости или повышение его скорости. Хотя «валидация» является интегральной частью «обеспечения качества», здесь видна взаимосвязь между валидацией и системой менеджмента. Для того чтобы эффективно проводить валидацию, руководство компании должно определить свою политику в данном вопросе. Одним из первых элементов, который инспектор FDA или PIC/S на-мерен проверить, является именно политика валидации.
