Sirve para optimizar el modelo al analizar solo aquellas que son relevantes para el fenmeno o problema.

Elimina variables innecesarias

G1 Genes

G2

G3

Gn

Sujeto 1 2 3 4 5 6 7

Diagnostico (Cancer) Prstata Pulmn Pulmn Estomago Hgado Prstata Pulmn

Es la informacin que se repite entre las diversas caractersticas analizadas. Puede ser utilizada cuando:

Las variables estn correlacionadas Las variables se encuentran concentradas.

Es la cantidad de aporte de una seal a otra resultado de un proceso que la involucra.

En termodinmica, la entropa (simbolizada como S) es una magnitud fsica que, mediante clculo, permite determinar la parte de la energa que no puede utilizarse para producir trabajo. En los aos 1890 - 1900 el fsico austraco Ludwig Boltzmann y otros desarrollaron las ideas de lo que hoy se conoce como mecnica estadstica, teora profundamente influenciada por el concepto de entropa. Una de las teoras termodinmicas estadsticas (la teora de Maxwell-Boltzmann) establece la siguiente relacin entre la entropa y la probabilidad termodinmica:

Donde: S es la entropa k es la constante de Boltzmann el nmero de microestados posibles para el sistema

Es la medida de incertidumbre de una variable aleatoria. Medida de cuanta informacin en promedio es necesaria para describir una variable. Para una variable discreta aleatoria:

p(x)- funcin de probabilidad *la base del logaritmo varia segn la base de la incertidumbre deseada (bases-2 [bit] base-e[nats])

p(x,y)- funcin de probabilidad x, y (superficie) Entropa condicional

Es la medida de distancia entre dos distribuciones. Es la medida de ineficiencia de una distribucin para describir a la otra.

H(q) =

Convencin:

Es la dependencia mutua entre dos variables aleatorias Es la cantidad de informacin que tiene una variable de otra. La reduccin de incertidumbre de una variable utilizando la otra.

Redundancia

Relevancia

i,j- Distribucin de caractersticas S- Cardinalidad de caractersticas a seleccionar h- Distribucin de objetivos o clases

Combinacin aditiva

Combinacin multiplicativa

La relevancia y redundancia son de dimensin baja involucrando solo 2 variables. Logra una buena estimacin Su utilizacin va en funcin de la dependencia entre variables.