Un problema de optimizacin puede ser representado de la siguiente forma
Dada: una funcin f : A \to R donde A es un conjunto de nmeros reales. Buscar: un elemento x0 en A tal que f(x0) f(x) para todo x en A ("minimizacin") o tal que f(x0) f(x) para todo x en A ("maximizacin"). Tal formulacin es llamada un problema de optimizacin o un problema de programacin matemtica (un trmino no directamente relacionado a la programacin de computadoras, pero todava en uso por ejemplo en la programacin lineal - ver Historia debajo). Muchos problemas tericos y del mundo real pueden ser modelados en este esquema general. Problemas formulados usando esta tcnica en los campos de fsica y visin por computadora se refieren a la tcnica como minimizacin de la energa, hablando del valor de la funcin f representando la energa del sistema que est siendo modelado.
Tpicamente, A es algn subconjunto del espacio Euclidiano Rn, con frecuencia especificado por un conjunto de restricciones, igualdades o desigualdades que los elementos de A tienen que satisfacer. El dominio A de f es llamado el espacio de bsqueda o el conjunto de eleccin, mientras que los elementos de A son llamados soluciones candidatas o soluciones factibles.
La funcin f es llamada, diversamente, una funcin objetivo, funcin de costo (minimizacin),2 funcin de utilidad indirecta (minimizacin),3 funcin de utilidad (maximizacin), o, en ciertos campos, funcin de energa, o energa funcional. Una solucin factible que minimice (o maximice, si este es el propsito) la funcin objetivo, es llamada una solucin ptima.
Por convenio, el formato estndar de un problema de optimizacin est declarado en trminos de minimizacin. Generalmente, a menos que ambas, la funcin objetivo y la regin factible sean convexas en un problema de minimizacin, puede haber varios mnimos locales, donde un mnimo local x* se define como un punto para el cual existe algn > 0, donde para todo x tal que
\|\mathbf{x}-\mathbf{x}^*\|\leq\delta\, la expresin
f(\mathbf{x}^*)\leq f(\mathbf{x}) es verdadera; es decir, en alguna regin alrededor de x* todos los valores de la funcin son mayores que o iguales al valor en ese punto. El mximo local se define de modo similar.
Un gran nmero de algoritmos propuestos para resolver problemas no-convexos incluyendo a la mayora de los solucionadores disponibles comercialmente no son capaces de hacer una distincin entre soluciones ptimas locales y soluciones ptimas rigurosas, y tratan a las primeras como soluciones actuales del problema original. La rama de las matemticas aplicadas y el anlisis numrico que se responsabiliza con el desarrollo de algoritmos deterministas que son capaces de garantizar convergencia en tiempo finito a la solucin ptima real de un problema no-convexo se llama optimizacin global.