Launch Technical Risk

Assessment (LTRA)

Process Risk Assessment Tool

& Robustness Evaluation

Samir Patel
LATAM

1 | TEVA | CONFIDENTIAL
Launch Technical Risk Assessments (LTRA)
1) What is the scope – which products are
covered in the scope of LTRA?
2) What is Launch Technical Risk
Assessment (LTRA)?
3) Why are we performing Launch
Technical Risk Assessments for these
product launches?
4) Who is performing the LTRA?
5) When are the LTRA performed?
6) How to perform process risk
assessment portion of the LTRA?
7) How to perform robustness evaluation
portion (JMP) of the LTRA?
2 | TEVA | CONFIDENTIAL
1. ¿Cuál es el alcance - qué productos están
cubiertos en el alcance de LTRA?
2. ¿Qué es la Evaluación de Riesgos Técnicos
de Lanzamiento (LTRA)?
3. ¿Por qué estamos realizando Evaluaciones
Técnicas de Riesgos de Lanzamiento para
estos lanzamientos de productos?
4. ¿Quién está llevando a cabo la LTRA?
5. ¿Cuándo se realiza la LTRA?
6. ¿Cómo realizar la parte de evaluación de
riesgos del proceso de la LTRA?
7. ¿Cómo realizar la parte de evaluación de la
robustez (JMP) de la LTRA?
Launch Technical Risk Assessments (LTRA)
1) What is the scope – which products are covered in the scope of LTRA?
• All US Launch Products that did not go through Hand-In-Hand (HiH) Process.
• Concept can be applied to any product or even investigations.
• Total US Product Launches: 347 (31 Must Win Products - ~9%)
o 2019: 117
o 2020 and Beyond: 230

1. ¿Cuál es el alcance - qué productos están cubiertos en el alcance de LTRA?

• Todos los productos lanzados en EE.UU. que no pasaron por el Proceso de Mano a
Mano (HiH).
• El concepto puede ser aplicado a cualquier producto o incluso a investigaciones.
• Total de lanzamientos de productos en EE.UU: 347 (31 productos logrados - ~9%)
2019: 117
2020 y más allá: 230

3 | TEVA | CONFIDENTIAL
 Launch Technical Risk Assessments (LTRA)
2) What is Launch Technical Risk Assessment (LTRA)?
2) ¿Qué es la Evaluación Técnica de Riesgos de Lanzamiento (LTRA)?
• Launch Technical Risk Assessments includes
two major steps:
• Evaluating Process Risk - using Process • La Evaluación Técnica de Riesgos de Lanzamiento incluye dos pasos principales:
Risk Assessment Tool (PRAT) or other 1. Evaluación del riesgo del proceso - utilizando la herramienta de evaluación de
appropriate methods.
• Evaluate observed process risk
riesgos del proceso (PRAT) u otros métodos apropiados.
during R&D batch executions and • Evaluar el riesgo del proceso observado durante la ejecución de lotes de
also, during pre-validation
activities – include mitigation I+D y también, durante las actividades de pre-validación - incluir planes de
plans. mitigación.
• Evaluate raw material • Evaluar las características de la materia prima para los problemas
characteristics for potential issues
and plans to control them. potenciales y los planes para controlarlos.
• Evaluate processing parameters • Evaluar los parámetros de procesamiento para los problemas potenciales y
for potential issues and control
strategy during manufacture. la estrategia de control durante la fabricación.
• Robustness Evaluation - Statistical 2. Evaluación de la robustez - Evaluación estadística de los datos durante el proceso,
evaluation of in-process, release and
stability data for R&D batches, pre- la liberación y la estabilidad de los lotes de I+D, los lotes de pre-validación, los
validation batches, validation batches lotes de validación y los lotes de pre-lanzamiento.
and pre-launch batches.
• Regression Analysis on Stability
• Análisis de regresión de los datos de estabilidad.
Data. • Herramientas de comparación estadística ANOVA (por ejemplo, Student T-
• ANOVA Statistical Comparison Test)
Tools (e.g. Tukey, Student T-Test)
• Gráficos de control y análisis de capacidad de proceso (Cpk & Cp) en datos
• Control Charts and Process
Capability Analysis (Cpk & Cp) on de lanzamiento de productos en proceso y terminados.
In-Process &
Finished Product Release Data.

4 | TEVA | CONFIDENTIAL
Launch Technical Risk Assessments (LTRA)
3) Why are we performing Launch Technical Risk Assessments?

• Timely product launches • Improve bottom line profitability

• Successful validations • Obtain & maintain market share
• Acceptable quality of • Satisfactory customer service level
commercial product • Avoid rejections/recalls
• Prevent OOS
Product Launch Technical Risk Assessments were requested by TGO Management
3) Por que estamos realizando evaluacion de riesgos tecnicos en los lanzamientos?
• Lanzamiento oportuno de los • Mejorar la rentabilidad final
productos
• Obtener y mantener market share
• Validaciones exitosas
• Nivel del servicio al cliente satisfactorio
• Calidad aceptable del producto
comercial • Evitar rechazos/recuperaciones
• Prevenir OOS
La gerencia de TGO solicito las evaluaciones de riesgo tecnico para los lanzamientos de productos
5 | TEVA | CONFIDENTIAL
Launch Technical Risk Assessments (LTRA)
4) Who is performing the Launch Technical Risk
Assessment?
• Site MS&T is responsible for the Launch
Technical Risk Assessments.
Note: Contact Global MS&T for support needed for
risk mitigation.
• Other departments may assist in the
performing the statistical analysis:
• Quality Assurance
• Quality Engineering
• Quality APR/PQR
• Statistics Department
• Global MS&T along with the MS&T Regional Head
will monitor the launch risk
assessments and report feedback to management.
• Provide training for PRAT and Robustness
Evaluations (JMP).
• Assist with interpreting/evaluating results.
• Provide site support for risk mitigation and
remediation by participating in trouble-shooting
and root cause analysis.
6 | TEVA | CONFIDENTIAL
4) ¿Quién está realizando la Evaluación Técnica de Riesgos
del Lanzamiento?
• El sitio MS&T es responsable de las Evaluaciones Técnicas
de Riesgos del Lanzamiento.
• Nota: Póngase en contacto con Global MS&T para
obtener el apoyo necesario para la mitigación de
riesgos.
• Otros departamentos pueden ayudar en la realización del
análisis estadístico:
• Aseguramiento de la calidad
• Ingeniería de Calidad
• Calidad APR/PQR
• Departamento de Estadística
• MS&T global, junto con el Jefe Regional de MS&T,
supervisará las evaluaciones de riesgo del lanzamiento e
informará a la dirección.
• Proporcionar capacitación para el PRAT y las
Evaluaciones de Robustez (JMP).
• Ayudar con la interpretación/evaluación de los
resultados.
• Proporcionar apoyo en el sitio para la mitigación y
remediación de riesgos mediante la participación en
la resolución de problemas y el análisis de las causas
de fondo.
Launch Technical Risk Assessments (LTRA)
5) When are the LTRA performed?
• Launch Technical Risk Assessments should start 18 months prior to product launch.

• Three stages of product launch have been identified for the robustness evaluation portion:

Stage 2:
Refer to Slide
Process Stage 3:
Stage 1: 16 For Details
Validation / Pre-Launch
Submission on Each Stage
Qualification Batch Data is
Data is Available
Batch Data is Available
Available
Stage 2: Process Risk Stage 3: Stability Regression;
Stage 1: Process Risk (PRAT); Stability Submission vs. PV vs.
(PRAT) and Stability Regression; and Commercial Batch Comparison
Regression Submission vs. PV Batch (ANOVA); and CQA
Comparison (ANOVA) (Cpk/Control Chart) Analysis
• As a product progressives through the Stages 1, 2 & 3 additional data must be statistically
analyzed and added to the robustness evaluation (especially R&D stability data).
7 | TEVA | CONFIDENTIAL
Launch Technical Risk Assessments (LTRA)

5) When are the Launch Technical Risk Assessments performed?

Launch Technical Risk Assessment Tools for Stage
# Robustness Evaluations and Technical Risk Assessment Tables
1 2 3
1 Stability Regression Analysis: Determine predicted shelf-life analysis for each CQA for all current stability X X X
batches identifying the risk level as low/medium/high.
2 Review Technical R&D Documents: Review Technical Risk Assessments, Development Reports, Executed X
Batch Records to determine risk associated with CMA, CPP & CQA identify risk level as low/medium/high.
3 Statistical Tools (e.g. ANOVA): Additional statistical tools can be used to evaluate variability and compare X
means between the R&D, experimental, validation and commercial batches for different CQA tests.
4 Process Capability Analysis (Cpk): Control charts and process capability analysis (Cpk & Cp) can be X
utilized to identify outliers, data trends, and statistical differences as additional batches are manufactured.
5 Identify any unusual or atypical in-process or finished product results that may introduce a risk. X X X
6 Technical Risk Assessment Table: Summarize risks and prepare justification, action plan or X X X
recommendation for every CMA, CPP & CQA identified as medium and high risk (Guideline CORP-1090).
7 Specifications: Ensure In-Process, Finished Product Release, and Stability specification change have not X X X
been implement since filling of the ANDA batch.

8 | TEVA | CONFIDENTIAL
Process Risk Assessment
6) How to perform process risk
assessment portion of the LTRA?
• 6a) The preferred method is using
Process Risk Assessment Tool (PRAT)
• An excel file summarizing current risks
associated with the product
• An observed risk identified from
monitoring R&D and/or MS&T batches or
evaluation of the executed batch records –
examples are
• Screening materials through very fine screen
• Blender over or under loaded
• Excessive mixing times
• Sticking/Picking during compression
• Evaluate risk to manufacturing process and
CQAs from
• Raw material and API: specifications and
handling requirements
• Manufacturing process: operating
parameters targets and ranges
• Manufacturing equipment: ability to operate
and maintain operating parameters and
scalability of the process for commercial
production
• Reported as Impact Level and Probability
Level and includes mitigation plan
9 | TEVA | CONFIDENTIAL
6) ¿Cómo realizar la parte de la evaluación de riesgos del proceso?
6a) El método preferido es el uso de la Herramienta de Evaluación
de Riesgos de Procesos (PRAT).
• Un archivo de Excel que resume los riesgos actuales asociados
con el producto
• Un riesgo observado identificado a partir del
seguimiento de los lotes de I+D y/o MS&T o de la
evaluación de los registros de lotes ejecutados.
• Materiales tamizados a través de una malla
muy fina
• Mezclador sobre o bajo carga adecuada
• Tiempos de mezcla excesivos
• Pegado/Adherencia durante la compresión
• Evaluar el riesgo para el proceso de fabricación y los CQA
de
• Materia prima y API: especificaciones y
requisitos de manipulación
• Proceso de fabricación: parámetros de
operación objetivos y rangos
• Equipos de fabricación: capacidad de
operar y mantener los parámetros de
operación y escalabilidad del proceso para
la producción comercial.
• Reportado como Nivel de Impacto y Nivel de
Probabilidad e incluye un plan de mitigación.
PRAT Risk Matrix Example

10 | TEVA | CONFIDENTIAL
PRAT Risk Matrix Example

Risk Scoring - Original Risk Scoring With Mitigation

6 6

Critical
Critical

5 1, 5 5, 5 5

4 2, 4 3, 4 4 2, 4

Impact
Impact

3 3, 3 4, 3 3 1, 3 3, 3

2 1, 2 4, 2 2 1, 2 2, 2 4, 2

Insignificant
Insignificant

1 2, 1 5, 1 1 1, 1 2, 1 3, 1

0 Remote
0 Remote
0 1 2 Certain
3 4 5 6
0 1 2 Certain
3 4 5 6
Probability
Probability

11 | TEVA | CONFIDENTIAL
 Process Risk Assessment
6b) Alternate methods for the process risk
assessment of the LTRA
• Table listing the risks, impacted CQAs
and mitigation plans with highlighted
cells
(red for high risk, yellow for medium
risk and green for low risk).
• Stop Light tool – Table with CQAs and
CMAs/CPPs cross linking risk factor as
high (red cell), medium (yellow cell) or
low (green cell). Will discuss each
medium and high risk factor under the
table for details and mitigation plan.
• The alternate tools mentioned above
should be completed at the start of the
evaluation process (Initial risk
assessment) and after mitigation plan
execution (final risk assessment).
• The initial risk assessment will help
identify appropriate trial planning.
• The final risk assessment will give
an overview of PPQ risk.
12 | TEVA | CONFIDENTIAL
6b) Métodos alternativos para la evaluación del riesgo del
proceso de la LTRA
• Tabla que enumera los riesgos, los CQAs impactados y los
planes de mitigación con celdas resaltadas (rojo para el
riesgo alto, amarillo para el riesgo medio y verde para el
riesgo bajo).
• Herramienta Luz de freno - Tabla con CQAs que cruzan
factores de riesgo como alto (celda roja), medio (celda
amarilla) o bajo (celda verde). Discutirá cada factor de
riesgo medio y alto bajo la tabla para detalles y plan de
mitigación.
• Las herramientas alternativas mencionadas anteriormente
deben ser completadas al inicio del proceso de evaluación
(Evaluación inicial de riesgos) y después de la ejecución del
plan de mitigación (Evaluación final de riesgos).
• La evaluación inicial del riesgo ayudará a identificar
la planificación adecuada del ensayo.
• La evaluación final del riesgo ofrecerá una visión
general del riesgo de la PPQ
Process Risk Assessment
Risk Table
Initial Risk Assessment
Control
# Potential Risk Description Evaluations
Strategy
Although the fluid bed process is
employed to help compression flow, the
Current granulation process involves continuous LOD sampling, interruptions in the process is considered not fully
A characterization batch will be manufactured for
1 Granulation process granulation process to remove powder in filter and fluid bed walls, wide process understood/ developed. Contamination
observation and process optimization purposes
ranges and manual de-lump mechanisms. of the product and human exposures are
other concerns with this granulation.

Process run at 15 RPM. Batch record calls for 10 – 25 RPM. Currently the batch takes Speed studies were not attempted A characterization batch will be manufactured
2 Compression
numerous days to complete. during submission. where the speed studies would be attempted.

AF90T encapsulator was used for encapsulation purpose. Equipment was not set up Full fledged commercial scale studies on
A characterization batch will be manufactured for
3 Encapsulation for commercial scale. Speed studies not conducted. Partial broken tablets were seen in MG2 required to evaluate speed and
observation purposes
the capsules on inspection. other quality attributes

Stability data was over all found to be satisfactory. However, the following was noted:
225 mg , at 1 hour 60 count; 4 hour – 180 & 500 count; 12 hours – 60, 180 & 500
counts – stability regression analysis indicates that the dissolution will not meet 24 Close monitoring of the stability data at
months shelf life. the next t me point is highly advisable.
Stability trend was calculated based on three time
325 mg at 1 hour 60 count; 4 hours – 60 & 180 counts and 12 hours 180 counts – The 1 hour spec is 5-25%; 4 hour spec
4 Stability points. The 9 month stability trend will provide a
stability regression analysis indicates that the dissolution will not meet 24 months shelf is 30-60% and 12 hour specification is
better indication of actual stability trending.
life. All configuration at 12 hours tested at 6 months showed high variability. NLT 70%. The initial value of ~90% has
425 mg at 1 hour – 60, 180 counts; 4 hours – 180 & 500 counts; and 12 hours – 500 dropped to ~80% in the evaluation.
counts – stability regression analysis indicates that the dissolution will not meet 24
months shelf life.

13 | TEVA | CONFIDENTIAL
Process Risk Assessment
Stop Light Tool

14 | TEVA | CONFIDENTIAL
Launch Technical Risk Assessments (LTRA)
7) How to perform robustness evaluation
portion (JMP) of the LTRA?
• Stage 1: Updated Stability Regression of
the Submission Batches.
• Stage 2: ANOVA Statistical Comparison
Tools (e.g. Student T-Test) the Validation
Batches and any relevant pre-validation work.
• Stage 3: Control Charts and Cpk & Cp
analysis of the Launch build batches.
• Challenges
• Data must be formatted in JMP correctly.
• In many instances data is provided from
Word & PDF files that are scanned,
have merge cells, or data oriented in the
wrong direction and cannot be
copied/pasted easily.
• Organizing the data takes the majority of
the time.
15 | TEVA | CONFIDENTIAL
7) ¿Cómo realizar la parte de evaluación de la robustez
(JMP) de la LTRA?
• Etapa 1: Regresión de estabilidad actualizada de los
lotes de Sometimiento.
• Etapa 2: Herramientas de comparación estadística
ANOVA (por ejemplo, Student T-Test), los lotes de
validación y cualquier trabajo de pre-validación
relevante.
• Etapa 3: Gráficos de control y análisis Cpk & Cp de
los lotes de construcción de lanzamiento.
• Desafíos
• Los datos deben estar formateados
correctamente en JMP.
• En muchos casos, los datos proceden de
archivos de Word y PDF que se escanean,
tienen celdas de fusión o datos orientados en
la dirección equivocada y no pueden copiarse
o pegarse fácilmente.
• La organización de los datos toma la mayor
parte del tiempo.
 Data Formatting
• Typical stability report in a PDF file
with data in rows.

• If the file has been scanned all the

data must be entered manually for
statistical analysis.

• Even if the PDF file was created from

a Word file the results will not
copy/paste into a spreadsheet easily
and may still need manual entry.

• Informe de estabilidad típicamente

recibido en un archivo PDF con datos en
filas.
• Si el archivo ha sido escaneado, todos los
datos deben ser ingresados manualmente
para el análisis estadístico.
• Incluso si el archivo PDF se creó a partir
de un archivo de Word, los resultados no
se copiarán/pegarán fácilmente en una
hoja de cálculo y es posible que sea
necesario introducirlos manualmente.

16 | TEVA | CONFIDENTIAL
Data Formatting
• Data needs to be organized into columns.

• Each CQA (Test) must have a separate

column.

• The data shown here have one results per

stability time-point
(e.g. assay, imp, LOD).

• CQAs with multiple tests per time-point

(e.g. Diss.) can be combined or separate
table.

• Los datos deben organizarse en

columnas.
• Cada CQA (Prueba) debe tener
una columna separada.
• Los datos que se muestran aquí
tienen un resultado por punto de
tiempo de estabilidad (por
ejemplo, ensayo, imp, LOD).
• Los CQA con múltiples pruebas
por punto de tiempo (por
ejemplo, Diss.) pueden
combinarse o separarse en una
tabla.
17 | TEVA | CONFIDENTIAL
Stage 1: Updated Stability Regression of Submission
Batches
Stability Regression (ANCOVA) & Visual
Evaluation
• Needs to be updated at every Stage of the
Launch cycle – whenever new data
is available.
• Stability Regression is similar to Linear Regression;
however, the platform determines when the 95%
confidence interval crosses a specification and
also
if the slopes and intercepts of the batches are
common or different.
• Stability analysis must include R&D submission
batches; however, other batches may be included
if deemed necessary.
• Depending on the circumstances different
strengths and packaging configurations can be
combined/pooled into one analysis or the analysis
can
be performed separately.
18 | TEVA | CONFIDENTIAL
Regresión de Estabilidad (ANCOVA) y Evaluación
Visual
• Necesita ser actualizado en cada etapa del
ciclo de lanzamiento - siempre que haya
nuevos datos disponibles.
• La Regresión de Estabilidad es similar a la
Regresión Lineal; sin embargo, la plataforma
determina cuando el intervalo de confianza del
95% cruza una especificación y también si las
pendientes e intercepciones de los lotes son
comunes o diferentes.
• El análisis de estabilidad debe incluir lotes de
presentación de I+D; sin embargo, pueden
incluirse otros lotes si se considera necesario.
• Dependiendo de las circunstancias, se pueden
combinar/agrupar diferentes potencias y
configuraciones de envasado en un solo
análisis o el análisis se puede realizar por
separado.
Stage 1: Updated Stability Regression of ANDA Batches

Model #
1 or 4
2

Specifications
3

Model Earliest Crossing Time / Tiempo de cruze

Shelf-Life Prediction mas pronto
(95% Confidence Interval
Model # (Intercept/Slope) crosses a specification
1, 4 Different/Different
2 Different/Common
3 Common/Common

19 | TEVA | CONFIDENTIAL
Stage 1: Updated Stability Regression of ANDA Batches
Example Lansoprazole: Low initial assay values near the specification pose a stability risk

• Validation batches lower

assay compared to R&D.
• Stability Specifications:
95.0 - 105.0%. Specifications
• Check stability data

20 | TEVA | CONFIDENTIAL
Stage 2: ANOVA Statistical Comparison of the Validation Batches
ANOVA Oneway Analysis with Tukey Comparison
• Use offers statistical tools for comparison of CQAs in order
to better understand the product. ANOVA & comparative
means (Student T Test, etc.) on a Y by X graph with non-
numeric x-axis are a visual tool for evaluating performance
between comparing strengths, types of batches, batches,
package sizes or configurations, etc.

Packaging Configuration &

Batch Number (Strength)
Comparison of Different
Comparison
of Strengths

21 | TEVA | CONFIDENTIAL
Stage 2: ANOVA Statistical Comparison of the Validation Batches
Example Lansoprazole: Blend Uniformity – High degree of variability between batches
• Averages value range from 97.5% to 107% & Individual values range from 93% to 110%

22 | TEVA | CONFIDENTIAL
Stage 2: ANOVA Statistical Comparison of the Validation Batches
Example Lansoprazole: Content Uniformity – High degree of variability between batches
• The validation batches 26Q001 (CU AV=31) failed.

23 | TEVA | CONFIDENTIAL
Stage 3: Control Charts & Cpk/Cp Analysis of Launch Build
Control Chart and Process Capability (Cpk & Cp)
• The control chart can be plotted for any number of batches; however, the Cpk & Cp values
are more relevant as you approach 20 total batches.
• Process Capability Analysis may include all batch from R&D submission to commercial
batches if no significant changes have occurred (e.g. scale-up, alternate raw material,
process changes).
• Cpk > 1.33 is in “state of control”; Cpk < 1.0 is considered “not robust”.
Process is in “State of control”. No actions required

Cpk < 1.0 Cpk 1.0 – 1.33 Cpk > 1.33

Process is outside of
the “State of control”. Process capability, accepted based on
24 | TEVA | CONFIDENTIAL Actions needed Risk assesstment /justification
Stage 3: Control Charts & Cpk/Cp Analysis of Launch Build
Control Chart Distribution

Summary Statistics

Specifications
Process Capability
(Cpk & Cp)

25 | TEVA | CONFIDENTIAL
Stage 3: Control Charts & Cpk/Cp Analysis of Launch Build
8) How to interpret statistical data
output and when to act?
• Potential Issues:
• Predicted stability failure
• Batches with release values that
could exceed specifications based
on degradation or growth slopes
• Comments:
• Red flag not a red light – stop and
think
• Don’t need to mitigate every risk
• Outcomes/Mitigation Plan:
• Monitor additional batches
• Implement internal control limits
(ICL)
• Root cause identification
• Remediate product
26 | TEVA | CONFIDENTIAL
8) ¿Cómo interpretar la producción de datos
estadísticos y cuándo actuar?
• Problemas potenciales:
• Fallo de estabilidad previsto
• Lotes con valores de liberación que
podrían exceder las especificaciones
basadas en la degradación o en las
pendientes de crecimiento.
• Comentarios:
• La bandera roja no es una luz roja -
deténgase y piense
• No es necesario mitigar todos los riesgos
• Resultados/Plan de Mitigación:
• Supervisar lotes adicionales
• Implementar límites de control interno
(ICL)
• Identificación de la causa raíz
• Remedio del producto
Questions?
Thank You ধন্যবাদ (Dhanyabad)
Благодаря (Blagodarya) 谢谢 (Xiè xiè)
хвала (Hvala) Děkuji
Merci Danke sehr
Efharisto Köszönöm
‫( תודה‬Toda) Takk
धन्यवाद (Dhanyavaad ) Grazie
ありがとう (Arigato) Dziękuję Ci
Obrigado Mulțumesc
Spasiba Gracias

27 | TEVA | CONFIDENTIAL