Está en la página 1de 30

mailxmail - Cursos para compartir lo que sabes

Mtodos y Tcnicas de investigacin


Autor: Noelia Torres Costa

mailxmail - Cursos para compartir lo que sabes

Presentacin del curso


Este curso pretende ser una gua de cmo realizar una investigacin y los tipos de tcnicas de recogida de datos que existen para obtener toda la informacin necesaria, analizarla y extraer conclusiones de nuestro estudio. Todas las claves de la investigacin las encontrars en este curso gratis que hemos preparado.

mailxmail - Cursos para compartir lo que sabes

1. El crculo de Viena
El crculo de Viena se considera heredero del Positivismo Lgico creado por Comte. Este grupo de cientficos defienden que la observacin se realiza a travs de los sentidos para captar hechos y realidades. Estas observaciones se pueden registrar en vdeos, o cualquier otro soporte. El objetivo del crculo de Viena es unificar el conocimiento que se consigue a partir de la reduccin de todas las disciplinas del conocimiento cientfico a frmulas lgico-matemticas y por ello debemos crear un metalenguaje mediante el cual se puedan entender entre ellas. Los enunciados pueden ser de dos tipos observacionales (se obtienen a travs de la observacin neutral e inmediata de la realidad) y universales. Los enunciados observacionales se convertirn en los segundos gracias a la induccin (forma de razonamiento). El criterio empirista de significado se basa en la demostracin de que las cosas que observamos son como son. Por ejemplo: yo veo una ventana de color rojo, yo estoy seguro y si coincide con el resto de personas es lo que le da el significado a lo que yo veo. Es decir, la repeticin de una misma experiencia por mucha gente es la evidencia de que estos hechos que yo observo son como son. Los enunciados observacionales son leyes o teoras como "El agua hierve a 100". Principio de Induccin.- Chalmers dice "Si en una amplia variedad de condiciones se observa una gran cantidad de A y si todos los A observados tienen la propiedad B, entoncs todos los A tienen la propiedad B". Para que un razonamiento lgico sea aceptado debe cumplir las siguientes caractersticas: 1.Debe haber un nmero grande de enunciados singulares u observacionales. 2.Cuando varen las condiciones contextuales o ambientales en las que se observan los enunciados observacionales no haya variaciones de su esencia. Por ejemplo: en el enunciado de "el agua hierve a 100" no puede variar la variable del tipo de agua. El enunciado debe cumplirse con todas las aguas. 3.No debe haber ningn enunciado singular que lo contradiga. Virtudes de esta forma de trabajar.-Con esta forma de trabajar se perfeccionan las teoras. -Permite mejorar los instrumentos del conocimiento cientfico, es decir, las tcnicas universales por las cuales se observa la realidad. -El conocimiento cientfico avanza por la acumulacin de conocimientos. Hechos adquiridos por la observacin ---> Induccin--->Leyes/teoras--->Deduccin-->Predicciones/Explicaciones La fuente de la verdad del conocimiento cientfico se corresponde con la parte izquierda de la induccin, sin embargo Popper se decanta por la segunda parte (deduccin). La induccin es ms propia de la visin empirista (basada en la observacin) y la

mailxmail - Cursos para compartir lo que sabes


deduccin es ms propia de la visin racionalista (basada en la razn). Es aqu donde comienza todo el problema de las ciencias sociales el conocimiento verdadero se obtiene mediante la experiencia o la razn? Hay enunciados que tienen validez lgica pero no emprica. Veamos algunos ejemplos: 1 Todos los elefantes tienen trompa Yo tengo un elefante Mi elefante tiene trompa Este enunciado es lgicamente vlido y emprico. 2 Todos los elefantes tienen trompa Yo tengo un elefante Mi gato tiene uas Este enunciado es empricamente vlido pero no tiene validez lgica.

mailxmail - Cursos para compartir lo que sabes

2. El problema de la induccin
Los inductivistas piensan que un razonamiento sin validez emprica no puede ser un razonamiento cientfico. Esta visin inductivista choca con el "ploblema de la induccin". El propio creador del principio de la induccin detect una deficiencia: "cuntos enunciados singulares se necesitan para formular un enunciado universal?" Desde el punto de vista cientfico este salto se hace sin legitimidad terica. Quien garantiza que ese enunciado universal ser vlido siempre ao tras ao. Los crticos dicen que no se pueden razonar la induccin. Como ha funcionado en determinados casos, pues funcionar en el resto. Para corroborar esto debemos utilizar otra forma de razonamiento porque este no es vlido. Las crticas al inductivismo son ms importantes a partir de los aos 30 y ms an cuando empieza a actuar Popper. Estas crticas se centran en los fundamentos de la induccin. Estos son algunos: -Criterio empirista de significado -Observacin directa de la realidad: no se puede hablar de observacin directa porque es una observacin predeterminada por un contexto cultural, el aprendizaje y los instrumentos que utilizamos para observar la realidad La observacin que hacemos est culturalmente predeterminada.

mailxmail - Cursos para compartir lo que sabes

3. Falsacionismo de Karl Popper


Karl Popper desarrolla su trabajo en los aos 30 pero hasta los aos 50 no adquiere popularidad entre las comunidades cientficas. Recibi bastantes crticas: -Se ha hablado de que Popper era el culpable del irracionalismo que existe ahora (poner todo en cuestin, dudar de todo). -Se enfrent a los relativistas y la escuela de Francfurt (Adorno y Horkeimer). Poppr tambin reconstruy el conocimiento cientfico utilizando ejemplos conocidos de la historia de la ciencia, aunque no se le puede considerar un historiador cientfico. Su investigacin parte de una profunda crtica al Positivismo Lgico que tiene dos fundamentos: 1.La ciencia no empieza en la observacin directa sino en las teoras. La observacin servir para comprobar cosas. 2.La observacin de la realidad no sirve para verificar leyes o teoras para convertirlas en verdaderas. l piensa que la verdad es imposible de conseguir. Convirte las teoras, los conceptos, las conjeturas o hiptesis en el centro del conocimiento cientfico para los inductivistas eran los enunciados singulares. Del segundo punto deriva su teora falsacionista: "las observaciones no sirven para verificar teoras sino para negar, falsar teoras". El trabajo del cientfico se desarrolla con la crtica, no con la observacin. Primero se aplica el principio de induccin, es decir, se acumulan enunciados singulares y, en el momento que aparezca un enunciado que contradiga al resto de enunciados ya no se puede formular la teora universal. Hay que formular hiptesis nuevas que desplacen a las viejas a travs de la falsacin. El hecho de que se pueda falsar es lo que hace que un hecho sea cientfico. Tambin podemos encontrarnos con enunciados que no son falsables como es el caso de "Las cosas son as" o "El ftbol es as". En este caso son enunciados infinitos y no se pueden desmentir. Popper dice que la ciencia siempre est cerca de la realidad pero que nunca llegan a juntarse. Esto es lo que hace absurda la verificacin de la ciencia. No se ha de verificar, lo que debemos hacer es formular nuevas teoras cada vez ms perfectas. Tipos de enunciados.-Enunciados falsables pero falsos. Ej: El Bara siempre gana" (el prximo partido se falsar pero es falso porque en alguna ocasin ha perdido). Esto tampoco es ciencia. Todos los enunciados cientficos son falsables pero no siempre son falsos. Para que sea ciencia deben ser falsables pero no falsos. -Enunciados falsables pero no falsos Ej: "Batasuna nunca condena los atentados de ETA" - Esto sera ciencia para Popper.

mailxmail - Cursos para compartir lo que sabes


Las teoras de Newton estn amenazadas por el orden en el que se establece el orden del sistema solar. Puede afectar a sus teoras. Un enunciado falsable sera el siguiente: "Si compro la lotera maana me puede tocar" En este caso es infalsable porque te puede tocar o no tocar. Est basado en algo muy hipottico. Para Popper la ciencia debe contener sus propios lmites. Los enunciados deben ser: 1.Falsables 2.Precisos y claros 3.Audaces y atrevidas La idea de Popper sobre el proceso cientfico se puede resumir en el siguiente esquema: Problema--->Conjetura (hiptesis)------->Falsacin--------->Nuevo problema Popper hace que la ciencia entre en una nueva etapa desde el punto de vista de la lgica. Marca la diferencia entre la ciencia que se haca de forma individual en casa y entre la ciencia moderna que se desarrolla en una comunidad cientfica, en conjunto. l dice que no hay que salir a la calle a buscar indiscriminadamente sino primero deducir y pensar donde pueden encontrarse los hechos que nos ayudarn a llegar a la teora y luego los iremos a buscar pero nunca saldremos a la calle sin haber pensado previamente.

mailxmail - Cursos para compartir lo que sabes

4. El debate sobre las formas de razonamiento cientfico


Para explicar este punto nos remitimos al proceso cientfico de Popper: problema, conjetura, falsacin y nuevo problema. 1.Problema: este problema se debe responder con una hiptesis que d una explicacin cientfica. Esta hiptesis que no se obtiene por la observacin sino que se construye de forma razonable. Es la explicacin razonable del problema hasta que un cientfico la falsa. De nuevo, se genera un nuevo problema que se falsa de nuevo, etc. La ciencia se genera / evoluciona a partir de los errores. Esto no se consigue verificando las hiptesis sino falsando recorriendo la realidad. La evolucin de las teoras se debe hacer mediante los estratagemas convencionalistas, es decir, trucos que sirven para proteger una teora) y que son los siguientes: a)Modificaciones ad hoc b)Distinciones sutiles c)Redefiniciones Una comunidad cientfica acuerda que una teora puede seguir vigente gracias a los estratagemas. a)Las modificaciones ad hoc son excepciones. Veamos un ejemplo: "Todos los perros excepto los cocker alemanes de la poca nazi se inquietan cuando el amo llega a casa. Hay alguien que ha observado que hay algo que falsa la teora ya que esta teora est falsada. Al final esta teora cae por su propio peso despus de x falsaciones. Llega un momento que son infalsables y ya no son ciencia. Hay algunas formas de modificar teoras que s son aceptables, por ejemplo cuando se puede comprobar. Es evidente que no se puede comprobar la excepcin del ejemplo anterior. Sin embargo si la excepcin es "El cocker Bobby de Barcelona" eso s puede comprobarse estudiando a Bobby durante un tiempo. b)Cuando queremos decir que los perros se inquietan, remitindonos al ejemplo anterior, quiere decir que mueven la cola, esto se define como una distincin sutil. Es decir, se refiere a aquellos ajustes que se hacen a ciertos conceptos de la teora. Por ejemplo: cuando hablamos de animales domsticos nos referimos a slo perros y gatos o a cualquier animal que se pueda tener en casa.

mailxmail - Cursos para compartir lo que sabes

5. El debate de las formas de evolucin del conocimiento cientfico


Para hablar sobre este debate tomaremos como ejemplo a Thomas Kuhn que escribi el libro "Estructura de las revoluciones cientficas" en 1962. Kuhn es un fsico que ha hecho estudios en la historia de la ciencia. l se llama a si mismo "historiador de la ciencia", a secas. Quiere dar a conocer cules son las claves de la historia de la ciencia. Tiene inters por saber cmo evoluciona la lgica del conocimiento cientfico. Veamos las diferencias entre el positivismo y el relativismo. Positivismo: todo comienza poe los enunciados singulares. Relativismo: todo comienza por los enunciados universales o teoras. Las teoras son estructuras complejas que incorporan los mtodos o tcnicas de investigacin. Son supuestos dados, definiciones de conceptos. Kuhn fue quien invent el concepto de paradigma que es lo que Popper llamaba enunciados simples o conjeturas. Pongamos un ejemplo para ver ms claro esto: Ejemplo.- "Los medios de comunicacin influyen a largo plazo en el conocimiento que tienen las personas del mundo social". Kuhn piensa que esto es una parte de la teora. Aqu tambin estara la audiencia positiva, la cognicin humana, efectos de los medios, indicadores para medir el mundo social, anlisis de contenido (encuestas, etc), encuestas longitudinales (aplicar un mismo cuestionario cada x tiempo a un grupo de personas). Se trata de una estructura compleja que contiene: -Una dimensin ontolgica (cmo definimos lo que queremos estudiar) -Una dimensin epistemolgica (cmo se ha de llegar a conocer eso, formas de razonamiento. -Una dimensin metodolgica (estrategias que debemos seguir). Popper, sin embargo, lo nico que vera sera el ejemplo que hemos dado, no ira ms all. La visin de los relativistas complica las cosas sobre cmo saber qu es conocimiento cientfico ya que las teoras no se pueden observar, no se pueden desligar del contexto social histrico. "Todo depende del contexto social y cultural"---> esta idea define a los relativistas, es decir, los congresos, las revistas, etc tambin estn dentro del paradigma. Comunidad cientfica no existe sin el pensamiento cientfico y el pensamiento cientfico no existe sin la comunidad cientfica. Para los no relativistas todo esto est fuera del paradigma, es decir, el contexto sociohistrico.

mailxmail - Cursos para compartir lo que sabes

6. Modelo de evolucin cientfica que propone Kuhn


El modelo de evolucin cientfica que propone Kuhn es el siguiente: Preciencia--->Ciencia---->Crisis----->Revolucin----->Nueva ciencia Normal A continuacin veremos cada una de estas estapas: Preciencia: periodo de caos donde surgen mltiples creencias de todo tipo para explicar un conjunto de problemas determinados de entre todas estas propuestas habr una que tendr xito. Ciencia normal: la respuesta que tiene xito constituye el paradigma y se instala un periodo de ciencia normal donde hay un paradigma que domina. Dentro de este periodo hay acumulacin de conocimiento cientfico, perfeccionar cosas. En este periodo tambin hay falsacionesde aspectos parciales. Crisis: el paradigma no lo explica todo, hay lmites. Esas dudas, a medida que se intentan solucionar y resisten se convierten en anomalas. Incognitas que hacen imposible el desarrollo del paradigma. Entoncs, este paradigma comienza a debilitarse y se empiezan a aplicar estratagemas convencionalistas (modificaciones ad hoc...) y finalmente se convierte en una no ciencia. Revolucin: esto slo se soluciona con una substitucin del paradigma. Surgen nuevos cientficos que intentan buscar nuevos paradigmas. Proliferacin de teoras. Kuhn distingue entre grandes revoluciones y pequeas revoluciones. Las primeras se refieren a los grandes avances cientficos como los de Newton o la revolucin Industrial y las segundas a revoluciones ms pequeas. Es importante establecer un vnculo entre la ciencia normal y la nueva ciencia normal. No se puede decir que una es mejor que otra. Esta capacidad para medir los paradigmas se le llama inconmensurable (ausencia de medida comn). Esto describe la no comparacin entre paradigmas. Paradigma = matriz disciplinar

10

mailxmail - Cursos para compartir lo que sabes

7. Feyerabend
Feyerabend defiende el Anarquismo Epistemolgico que es todo lo contrario de lo que hemos visto hasta ahora. Va en contra de las normas y los mtodos. Hay dos tipos de relativismo: 1.Cultural: se basa en la propuesta de Kuhn. Hay un contexto social que hace que se cree una ciencia basada en eso. 2.Epistemolgico: este es el que defiende Feyerabend. Defiende la Libertad, la subjetividad del individuo con el concepto basado en la explicacin objeto en la realidad. Todo depende del ojo con el que se mira. No se puede reducir la ciencia a un conjunto de reglas. Sobre la lgica del conocimiento cientfico afirma que "todo vale". Este "todo vale"debe ser para poder conseguir nuevas ideas. Es un todo vale matizado donde lo importante es convencer. Tambin defiende el concepto de inconmensurabilidad. Habla de contextos tericos. -Motivaciones -Prejuicios Ambos influyen en el individuo. Feyerabend inicia un proceso de desmitificacin de la ciencia. Nota.- Mucha gente tiende a confundir el mtodo con las tcnicas de investigacin. El mtodo es la reflexin sobre el camino elegido para llegar a la verdad, para conocer y las tcnicas de investigacin son el anlisis de contenido, las entrevistas, encuestas,... es decir, tcnicas que sirven para recoger datos.

11

mailxmail - Cursos para compartir lo que sabes

8. Fundamentacin de las ciencias sociales


En el siglo XVIII hay un estado de preciencia. Era una situacin que se caracterizaba por lo siguiente: -Ausencia de rigor en el desarrollo del conocimiento -Iniciativa de bsqueda poco solida -Obtencin de resultados inciertos, imprevisibles. -Intromisin de supersticiones: creencias, religiones Astronoma y matemticas son los que se alejan de estas caractersticas, el resto es como una mezcla de todo. Esta situacin cambia a partir del siglo XVII con Galileo y Francis Bacon. Bacon: establece las fases del empirismo. Galileo: pone en prctica el empirismo y funda la ciencia moderna a partir de Bacon y Descartes. Descartes: dice que la fuente de razonamiento es la razn (racionalismo). Galileo aportar una actitud cientfica basada en el empirismo para construir las ciencias naturales. En 1642 muere Galileo y nace Newton. Newton hace un progreso de uno de los paquetes iniciales de las ciencias naturales. Por qu avanzan ms las Ciencias Naturales que las ciencias Sociales? Galileo y luego Newton otorgan una independencia a las Ciencias Naturales. A lo largo del siglo XVIII aparecen unas iniciativas que convierten el conocimiento en algo a estudiar. Programa para encontrar la esencia natural. Esta es una va fracasada porque paralelamente aparece una va de pensadores conservadores que defienden la situacin del pensamiento humanista. Rechazan que se pueda desarrollar la estadstica moral. A lo largo del siglo XIX se comienzan a generar las dos grandes vas para dar estatuto cientfico al mundo social, relacin entre individuos. 1.Va empirista---------->Monismo metodolgico------>Positivismo---->Comte, Stuart Mill, Durkheim 2.Va Hermenutica------>Pluralismos metodolgico---->Webber, Simmel, Dilthey. En las prximas lecciones explicaremos estas dos vas.

12

mailxmail - Cursos para compartir lo que sabes

9. Va empirista
La va empirista est protagonizada por el positivismo de Comte (antecedente del positivismo de Popper). Compte dice que el mundo social puede estudiarse porque es real, est compuesto de cosas reales. El mundo social tiene existencia positiva porque es una realidad que tiene identidad. Esta propuesta positivista es muy diferente a la de las Ciencias Naturales. Pretende no reducir el conocimiento cientfico sino darle una nueva identidad. Es un proyecto francs aunque tambin hay algunos estudiosos ingleses, Stuart Mill y Comte son los ms destacados. Comte intenta averiguar el mtodo para llegar a conocer lo que estudia --->Mtodo positivo. Tiene una serie de caractersticas que veremos a continuacin: 1.El mtodo de estudio es slo uno, el que se aplicar en el estudio de los fenmenos naturales y fenmenos sociales. Comte unifica el mtodo utilizado entre las Ciencias Naturales y las Ciencias Sociales. 2.A travs de este mtodo las Ciencias Naturales se deben poder explicar (reconocer las causas) y establecer relaciones. 3.Esta explicacin se debe hacer en trminos de causalidad. Conectar hechos sociales diversos para identificar qu hechos son causas y cules las consecuencias. Ej: Los atentados son la causa de la bajada de la bolsa. 4.Formulacin de leyes generales que permitan explicar los fenmenos del mundo social. Este es el objetivo de la Va Empirista. Stuart Mill define el "Modelo de covertura legal/nomolgico deductivo". Con este trmino se refiere a cuando un cientfico formula una hiptesis en forma de ley general, se deduce un caso donde esto pueda pasar y se hace un experimento para comprobarlo. Ejemplo: "Los atentados masivos provocan descensos en las cotizaciones de la bolsa". De esto se deduce que en un pas de occidente si se comete un atentado bajan las bolsas

13

mailxmail - Cursos para compartir lo que sabes

10. Va hermenutica
La va hermenutica es una va que defienden tericos e historiadores alemanes. La hermenutica parte de la interpretacin cientfica y documentada. Defiende el pluralismo metodolgico que consiste en generar sus propios mtodos de interpretacin. Cada disciplina debe construir sus propios mtodos. Hay un rechazo al monismo metodolgico, al afn por la causalidad, contra la idea del conocimiento instrumental. La va hermenutica defiende la interpretacin comprensiva y la va emprica defiende la interpretacin explicativa. La escuela de Francfurt son los herederos de la va hermenutica, Popper es un ejemplo claro. Explicacin y comprensin.El objeto de estudio de la Hermenutica son las acciones sociales motivadas por el individuo (necesitan un sujeto que los ejecute). Estas acciones son subjetivas, por ejemplo, escribir noticia, votar. Se necesita a alguien que entienda estas acciones. La explicacin es la obtencin de las causas de la comprensin es comprender el por qu se hace una cosa y no otra, la intencionalidad de las cosas. Shutz da ms importnacia a la comprensin que a la explicacin. l defiende la comprensin. El debate entre explicar y comprender comienza en el siglo XIX. Es un tema estrella tambin en el siglo XX donde entran Popper, Giddens. En este debate se dice que la explicacin es una bsqueda cuantitativa y la comprensin es una bsqueda cualitativa. Esto es falso, ya que detrs de la explicacin y la comprensin no slo hay tcnicas de investigacin dependiendo de si es una investigacin cualitativa o cuantitativa. Hay ms cosas: una actitud del investigador, una forma de cmo es el objeto de investigacin. Johann Gustav Droysen: dice que la explicacin y la comprensin son dos vas para conocer: erklarn = explicacin werstehen = comprensin Este debate est protagonizado por un lado por los alemanes (va hermenutica) que defienden la comprensin y por otro los pensadores ms conservadores (va empirista). Droysen dice que el sentido humano no se puede observa pero se puede reconocer a partir de manifestaciones externas (gestos...) de los individuos. A partir de aqu se puede reconocer la existencia del mundo social. Toda expresin humana es el reflejo de la interioridad significativa . Karl Jaspers.- Para l la explicacin tiene como objetivo determinar las causas de los fenmenos. Orientar una investigacin a las causas. As es como operan las Ciencias Naturales, es un mtodo de las Ciencias Naturales segn Jaspers. El investigador debe establecer relaciones de causalidad y este procedimiento consiste en hacer asociaciones de ideas. Se trata de conectar hechos sociales. La comprensin es la captacin de las relaciones internas de un fenmeno respetando la indivisibilidad, mantenindolo como un todo. Ejemplo: la delincuencia. Cuando el investigador se plantea estudiar la delincuencia analiza el sentido de esta

14

mailxmail - Cursos para compartir lo que sabes


palabra en la sociedad actual, qu se entiende por delincuencia ahora, etc.El investigador a travs de la comprensin se buscan pruebas significativas, son pruebas que nos permiten entender mejor el problema. La interpretacin de los sentidos es lo que se ha de estudiar para llegar a la comprensin. Jaspers nos pone en una situacin de irreductibilidad (son dos vas diferentes de llegar al conocimiento, no se pueden establecer puentes entre ambos. Max Weber.- Propone la fusin entre ambos procedimientos. Slo puedo explicar de forma satisfactoria si la comprendo. La nica forma de obtener conocimiento de un fenmeno social es a partir de la comprensin de las causas.

15

mailxmail - Cursos para compartir lo que sabes

11. Paradigmas de la investigacin de las Ciencias Sociales


El mundo de las ciencias sociales es multiparadigmtico (tiene muchos paradigmas). Veamos los tres ms importantes: -P.Emprico-Analtico.....>Durkheim -P.Interpretativista..........>Webber -P.Crtico.......................>Escuela de Francfort (Adorno, Horkheimer) El primer paradigma tiende a separar el objeto de estudio y los mtodos a utilizar, tiene un objetivo instrumental, se elige un objeto de estudio, se acota, se explica, se hacen encuestas y finalmente se obtienen resultados. Desde el paradigma emprico analtico se ve el proceso de comunicacin de masas como un proceso de persuasin social. Vamos a ver cmo los medios de comunicacin intentan persuadir a la sociedad, se hace por medio de unos efectos. El segundo paradigma, el interpretativo, se ve la comunicacin de masas como un fenmeno de construccin social. Es un tipo de bsqueda que intenta ver cmo los individuos de la sociedad se comunican a travs de los medios de comunicacin construyendo una realidad. Ejemplo: newsmaking. Trabajos de recepcin (como se interpretan los contenidos de los medios de comunicacin). El paradigmo crtico entiendo que el proceso de comunicacin de masas son utilizados con la voluntad de dominar. Intentar reconocer cmo las lites sociales intentan transmitir mensajes para dominar, influir en la toma de decisiones, etc. Esquema: Emprico-analtico: comunicacin = persuasin Interpretativista: comunicacin = construccin social Crtico: comunicacin = dominacin Dentro del campo de las ciencias de la comunicacin hay siete mbitos de bsqueda: 1.Comunicacin productiva: estudiar rutinas, perfil de los comunicadores. 2.Discursos: reconocer qu tipo de contenidos transmiten los medios y de qu forma. 3.Tecnologas: afecta a la produccin, a los discursos. 4.Audiencias: cmo perfil y preferencias que reciben contenidos. 5. Recepcin: para saber qu interpretan y el uso social. 6.Organizacin: estudios sobre estructuras de la comunicacin social. 7.Influencia: estudio de los efectos de los medios de comunicacin en las elecciones, religin, etc.

16

mailxmail - Cursos para compartir lo que sabes

12. El problema de la bsqueda


Antes de realizar una investigacin lo primero que debes hacer es una lista de temas sobre los cuales se podran estudiar. Estos temas deben tener una serie de condiciones: -Que -Que -Que -Que se puedan detectar problemas. sea investigable desde el punto de vista cientfico se pueda abordar el tema con rigor, precisin el estudio aporte algo nuevo a lo que ya se sabe

Por ello, no se pueden formular problemas obvios. Ejemplo: las guerras son un problema o temas que se puedan responder con el sentido comn. Tambin hay que descartar aquellos temas que sean una recopilacin de conocimientos, ni tampoco un resumen o sntesis. Puntos clave del problema de la bsqueda.- Veamos cmo puede redactarse. 1.Se debe formular con claridad lo que se quiere investigar. Hay que ser preciso y simple en el enunciado. 2.Identificar los antecedentes del problema desde el punto de vista lgico no histrico. 3.Determinar la naturaleza del problema: de carcter metodolgico, de caracter emprico y de carcter lgico. 4.Explicar las disciplinas de investigacin desde las cuales es mejor tratar el problema: historia, psicologa, etc. 5.Explicar los antecedentes de carcter histrico del problema. El diseo del proceso de investigacin es de carcter terico. Es la construccin de un problema de investigacin en esta primera parte. Esta construccin debe servir para determinar unos objetivos de bsqueda, qu buscamos. Tambin hay que definir: a) El marco terico-conceptual: hace referencia a qu teoras utilizaremos para responder el problema. b)Estrategias metodolgicas: definir cmo se abordar la investigacin desde el punto de vista lgico para poder responder a la incgnita que hemos planteado. Cmo se pasa del tema al problema.- Nosotros debemos pasar a la estructura interna de este tema, dentro del cual hay una serie de cuestiones que veremos a continuacin. Tomemos como ejemplo el tema "Mujeres y medios de comunicacin". A)Estereotipificacin: cmo se presenta a la mujer en los medios de comunicacin. B)Feminizacin del periodismo (cada vez hay ms mujeres periodistas) Dentro de un problema hay subproblemas que debemos identificar, por ejemplo en el caso de la estereotipificacin est la diferencia entre sexos, la igualdad, etc y, cada subtema, est tratado desde diferentes perspectivas. Esto tambin debe tenerlo en cuenta el propio investigador quien ser el encargado de formular una teora, respuesta o explicacin de carcter terico. El marco terico no se compone de una teora sino de varias.

17

mailxmail - Cursos para compartir lo que sabes


El marco terico no se compone de una teora sino de varias. Estrategias metodolgicas de la investigacin.Metodologa cuantitativa: sincrnica, extensiva, subjetivista, sinttica, inductiva, neutral. Metodologa cualitativa: diacrnica, intensiva, objetivista, analtica, deductiva, reactiva. Despus de los medios de comunicacin debemos definir cmo abordaremos la investigacin, qu estrategia seguiremos para investigar.

18

mailxmail - Cursos para compartir lo que sabes

13. Las hiptesis


La formulacin de hiptesis debe ser precisa y rigurosa. Son un tipo de enunciados que estn dentro de las investigaciones del paradigma emprico-analtico. Despus del trabajo terico se deducen una serie de hiptesis que debemos confirmar. Las hiptesis tienen un papel clave. Convierte el problema en algo investingable, lo acota introduciendo un factor de duda. Cuando das la solucin a un problema ests diseando la investigacin. Hiptesis: respuesta al problema de la investigacin. Elementos de la hiptesis.- Las variables son los elementos con los que se elaboran las hiptesis. Veamos algunas de sus caractersticas. -Conceptos abstractos -Nociones generales -No son objetos observables -Categoras analticas que se deben concretar. Ejemplos: estudiante, mujer, prensa. Tipos: a)Dependientes: son el efecto b)Independientes: son la causa. Controla la variable dependiente. Ej: Fumar provoca cncer VI VD Hay hiptesis que pueden tener una, dos o varias variables de bsqueda. Normalmente tiene dos. Requisitos para formular una hiptesis.-Las variables deben estar bien definidas y precisadas. Por ejemplo: en la investigacin sobre minoras tnicas y prensa haba un apartado donde se defina correctamente qu era minora tnica. -Las hiptesis deben conducir a la verificacin de fenmenos observables, es decir, se han de formular para que se pueda dar paso a la verificacin emprica. -Cada hiptesis debe ser distinta a las dems para no solapar hiptesis dentro de una misma investigacin. -Debe ser siempre afirmativa, nunca negativa.

19

mailxmail - Cursos para compartir lo que sabes

14. Tipos de hiptesis


Veamos qu tipos de hiptesis existen. 1.Segn el papel que juegan dentro de la investigacin: dentro de este grupo encontraremos las hiptesis centrales y las secundarias. 2.Relacin hiptesis y objeto de estudio: a)Positiva: confirman lo que plantea el problema de investigacin. Son hiptesis formuladas donde las dos variables son positivas. b)Nula: niegan el problema de investigacin. Ej: Fumar no provoca cncer. c)Alternativas: dan una respuesta diferente a la planteada. Ej: Fumar no provoca cncer pero despierta el apetito. Ofrecen hiptesis diferentes a las que traten el problema central de investigacin. 3.Cmo se articula la relacin entre las variables: a)Descriptivas: dentro de estas encontramos las simples y comparativas. -SIMPLE: tiene una sola variable. Ej: La prensa es racista -COMPARATIVA: tiene dos variables que no tienen relacin de causalidad. Dentro de esta variante encontramos tres tipos ms. Comparativa de tiempo. Ej: La prensa del siglo XX es ms sexista que la del siglo XIX. Comparativa de espacio: Ej: La prensa catalana es ms sexista que la valenciana. Comparativa de grupos: Ej: Las mujeres leen ms libros que los hombres. b)Relacional: son hiptesis que manifiestan una relacin entre dos variables. Dentro de aqu encontramos dos variantes: - ANALTICA: son aquellas que no son predictivas. Analtica simple.Ej: El sexismo en prensa est relacionado con la violencia domstica. Analtica causal: relacin causa-efecto. Ej: El sexismo en prensa provoca violencia domstica. - PREDICTIVAS: hacen un pronostico (con dos variables). Ej: La prensa ayudar a ganar al PP.

20

mailxmail - Cursos para compartir lo que sabes

15. Operacionalizacin de las hiptesis


Con una hiptesis no podemos observar la realidad para detectar si se confirma o no. Para ello, debemos reducirla a una cosa operativa. De la hiptesis deben salir los elementos que se observan en la realidad de las variables de la hiptesis. Para tenerlo ms claro, acotar es un sinnimo de operacionalizacin. Esto se hace mediante indicadores y definiciones: 1.Hacer una definicin. Tipos de definicin. - TAXONMICAS: son las que proceden del diccionario. - DEFINITORIAS: las que un investigador recoge de una teora ya disponible. Esta definicin no coincide con l que aparece en el diccionario. Estas definiciones aparecen como acepciones en el diccionario. - OPERATIVAS: inventadas por el investigador. Como no hemos encontrado ningn tipo de definicin que se ajuste a la investigacin, la creamos nosotros. 2.Indicadores: manifestaciones observables de una variable. Tipos: a)De equivalencia: existe una identidad de equivalencia entre indicador y variable. Ej: violencia y golpe. V I

b)De inferencia: variables, significados, valores. Esto no se puede ver a simple vista necesitamos hacer un trabajo de deduccin a travs de una serie de indicadores. Por eso hay que hacer una prueba piloto para recoger el mayor nmero de indicadores en los cuales se manifiesta una variable. Ejemplo: si alguien quiere saber si en una casa viven nios se da una vuelta por los alrededores y si hay juguetes se deducen que hay nios. Otro ejemplo seria cuando preguntamos a cualquier persona si es racista.

21

mailxmail - Cursos para compartir lo que sabes

16. Delimitacin y diseo de las muestras


El universo es todo el conjunto de fenmenos, cosas y personas que estn incluidos en la hiptesis. El universo no se puede abordar al completo porque es imposible y es muy amplio. Para poder contrastar una hiptesis se extrae una muestra de ese universo que servir como muestra del universo que es objeto de estudio. Las muestras son representaciones del universoque se quiere investigar como es el caso de los anlisis de sangre. Teora del muestreo.- Esta teora indica cmo hacer muestras en las Ciencias Sociales. Est vinculada a la estadstica ya que intenta escoger muestras lo ms representativas posible. Los datos que se recogen pueden ser opiniones, actos y todos estos datos estn contenidos en lo que se denomina unidades de muestreo. Unidades de muestreo: unidades con las cuales se configura una muestra. No son las que nos muestran la informacin directamente. Ej: si analizamos el racismo en los medios: unidades de muestreo (diarios) y unidades elementales (la informacin contenida en el diario). Las unidades elementales son las que nos proporcionan informacin para verificar la hiptesis. En periodismo las unidades de muestreo son por ejemplo los medios de comunicacin. Sin embargo, los datos concretos de racismo se ven reflejadas en los contenidos, con las diferentes expresiones contenidas. Tipos de muestre.-Probabilsticos: hay dos tipos. Son aquellos muestreos que intentan representar de forma estadstica el universo. Objetivo: obtener el mximo de representacin. a)Heterogneo: se elige por nivel cultural, edad, lugar de residencia. Obliga a considerar el universo heterogneo. b)Homogneo: todas las unidades del universo son iguales, idnticas. Este tipo es aleatorio. -No probabilsticos: los que quieren tener una representacin no estadstica. Dentro de los homogneos estn los aleatorios que consisten en ponerlos en el mismo bombo y sortearlos para extraer una muestra. Todos tienen las mismas posibilidades de formar parte de la muestra. Aleatorios - sistemticos: son procedimientos en los cuales se aplica algn criterio objetivo para extraer la muestra. Por ejemplo: coger el listn telefnico y cada diez pginas se elige un telfono. En este caso no disponemos de todos los nombres. Dentro de los heterogneos encontramos los estratificados y los agregados, ambos sistemas por los cuales se pueden fragmentar para que refleje la heterogeneidad del universo. Los estratificados son los ms utilizados para hacer las encuestas de la intencin de voto. Se hacen en diversas etapas. Qu hacen: dividir el universo segn la cantidad de poblacin de cada municipio, despus se estratifica por barriadas. Muestras no probabilsticas.- No estn tan obsesionados por la representacin fiel.

22

mailxmail - Cursos para compartir lo que sabes


Muestras no probabilsticas.- No estn tan obsesionados por la representacin fiel. Acostumbran a ser aplicados en investigaciones cualitativas. Es muy difcil extraer generalizaciones. Tipos: 1)Accesible: muestreo del universo cmodo, prximo para la investigacin. Ej: los estudios universitarios en facultades (se hacen sobre estudiantes universitarios porque pueden accederse mejor).Este tipo son tpicos en bsquedas exploratorias. b)Voluntarios: normalmente se usa para experimentos. c)Estrategia: selecciona las unidades de muestreo ya que son muy significativas para el objeto de estudio. Ej: Los estudios de casos, el tratamiento del terrorismo en los medios de comunicacin se centrara en el atentado del 11M. A la hora de hacer muestreos se debe tener en cuenta el tamao de la muestra, sobre todo para las probabilsticas. Para determinados estudios el tamao de la muestra hay que tener en cuenta tres aspectos: -Nivel de confianza -Margen de error -Variacin Estos valores son clculos estadsticos que proceden de la "Ley de los grande nombres" que explicaremos a continuacin. Existen unas tablas que indican el tamao de la muestra segn el nivel de confianza que se desee aplicar. La variacin afecta tanto a probabilsticos como no probabilsticos. Esto indica si el universo es homogneo o heterogneo. Cuanto ms variado considere el universo mayor tendr que ser la muestra.

23

mailxmail - Cursos para compartir lo que sabes

17. Procedimientos de recogida de datos


En un trabajo de campo hay que tener en cuenta dos cosas, por un lado la observacin y por otro registrar lo que se observa. Se puede observar de diferentes maneras y ests maneras son las que nos proporcionan las tcnicas de investigacin. La encuesta es la tcnica ms sofisticada. Cada vez se ha ido perfeccionando ms con el paso del tiempo. Hay unos procedimientos determinados dentro de la encuesta para llegar a una conclusin. Procedimientos de recogida de datos son: el experimento, la encuesta, los grupos de discusin, observacin participante y anlisis de contenido. El experimento.- El experimento se hace con un grupo de personas conocido como grupo de experimento o de control y se le somete a un estmulo determinado y se extrae una conclusin. Ej: se coge un grupo se le hace una pequea encuesta y despus se les pasan unos spots publicitarios con violencia para finalmente volver a pasarles la encuesta. El grupo de control sirve para mirar si hay que aumentar el grupo experimental. Dentro del experimento encontramos el grupo de control y el grupo experimental. El primero se encarga de observar el experimento y el segundo de realizarlo. La mejor bsqueda es la que aporta originalidad y nuevas aportaciones al conocimiento cientfico. La creatividad forma parte del conocimiento cientfico. Plan de trabajo.- Primero hay que hacer una planificacin del trabajo donde hay que tener en cuenta diferentes factores: -Definir cuntos procedimientos de bsqueda se van a utilizar. -La flexibilidad del trabajo de bsqueda. -Si se trabaja en grupo o solo: es importante para la planificacin del trabajo ya que si se trabaja en grupo debe existir una cierta coordinacin, hay que ajustar perspectivas diferentes. -Si los investigadores deben aprender una serie de procedimientos. -Disponibilidad econmica y temporal. Dentro de estos factores debemos definir cules son las preguntas que debera responder la planificacin de trabajo. 1.Cuanto tiempo durar la investigacin. 2.Con qu frecuencia debo hacerlo. Ej: si la investigacin se centra en redacciones de diarios si hay que ir una vez a la semana, tres das, todos. 3.Se debe investigar de forma continua o discontinua. 4.Cmo puedo solucionar determinados problemas imprevisibles. Por ejemplo: quiero analizar la influencia de los dibujos en los nios. Problemas: no puedo hacer una entrevista en profundidad a un nio ya que no es la persona adecuada. Hay determinadas pocas en las que no podr trabajar (vacaciones de verano). Hay dos cuestiones importantes en al planificacin del trabajo: -El calendario: preveer y dar el doble de tiempo para el anlisis que para la recogida de datos. Tambin es conveniente que una vez que se han recogido los datos debe haber un periodo de reposo del investigador.

24

mailxmail - Cursos para compartir lo que sabes


datos debe haber un periodo de reposo del investigador. -Presupuestos: dividir el presupuesto en partidas razonables. a)Material fungible b)Material informtico c)Personal (analistas, estadsticos)

25

mailxmail - Cursos para compartir lo que sabes

18. Procedimientos de recogida de datos - Encuestas


Cuando hablamos de encuestas nos referimos a un procedimiento emparentado con la estadstica, de hecho, est basada en "La ley de los grandes nombres". Por ejemplo: si tiramos una moneda en el aire hay 50% de posibilidades de que salga cara y 50% de que salga cruz. Sin embargo, si se tira en el aire 100 veces es ms probable que haya el 50% de posibilidades que si se tira 10 veces. Por ello, cuantas ms encuestas se hagan mejor. La primera encuesta fue en el ao 1912 pero antes ya se haban hecho por Durkhein. Pero hasta la Segunda Guerra Mundial no se introdujo la encuesta como sistema de recogida de datos en el campo de las Ciencias Sociales. Esta aplicacin fue extrahordinaria ya que es la poca en la que se consolida la sociedad de consumo, expansin econmica, aparecen las grandes industrias. Estas industrias necesitan conocer a los consumidores y esto es el motor de desarrollo de las encuestas. La encuesta es uno de los procedimientos ms aplicados para analizar fenmenos de las Ciencias Sociales. Muchos trabajos de la MASS COMMUNICATION se han realizado con encuestas. El estudio de audiencias y efectos se han realizado mediante la encuesta . El Estudio General de Medios es un ejemplo de encuesta realizada a 13 mil personas tres veces al ao. A travs de esta tcnica se puede saber cmo influyen los contenidos en las personas. Un sondeo es la recogida de unos estmulos, no es una recopilacin de opiniones sino de estmulos, impresiones ante una pregunta. Se deben recoger los datos de forma objetiva, es decir, a todas las personas que se les haga la encuesta se les debe realizar de forma similar. Hay que evitar al mximo las distorsiones en el factor humano. La idea de ser lo ms objetivos posibles hace que tengamos en cuenta dos aspectos: -La elaboracin del cuestionario -La forma de hacer el cuestionario para obtener informacin. Tipos de sondeos.- Hay dos grandes tipos de sondeos: 1.Descriptivos: la explotacin de los datos se hace a travs de la estadstica descriptiva, es decir, se exponen los datos sin ms. 2.Analticos: intentan establecer sondeos para demostrar algo, hiptesis. 3.Longitudinales: -Tendencias: encuestas de intencin de voto. La muestra vara pero el cuestionario es el mismo. -Cohort: la muestra es la misma pero el cuestionario va variando -Panel: muestras diferentes y cuestionarios diferentes. Forma de recoger los datos: -Telefnicas: son las ms utilizadas por bajo coste de tiempo pero debe haber pocas preguntas porque la otra persona se cansa. -Correo: encuesta econmica. Tiene problemas como es muy lenta, los cuestionarios no se suelen devolver, no son profundos. - Cara a cara: permite obtener informacin de la comunicacin no verbal, el

26

mailxmail - Cursos para compartir lo que sabes


entrevistado puede intimidar o influir de un cierto modo en el resultado de estas encuestas. Tipos de preguntas.1.Segn la forma de la respuesta pueden ser: A. Preguntas de respuesta cerrada: son las preferidas porque estn codificadas (llevan un nmero cada una) y as se pueden ver los resultados mucho ms rpidos. La precodificacin de las respuestas facilita la obtencin de resultados. B.Preguntas de respuesta abierta: necesitan postcodificacin, se debe asignar un nmero una vez han repuesto todos los entrevistados. Hay que tipificar las respuestas siempre sintetizando. De este modo tendremos 5 6 respuestas comunes que se habrn expresado con palabras diferentes pero diciendo lo mismo. Dentro de la preguntas de tipo A encontramos las dicotmicas y las mltiples. 2.Segn el contenido de la pregunta (ligado al objeto de estudio). -Preguntas de identificacin como edad, estado civil, estudios... -Preguntas que intentan profundizar en la actitud de la persona. -Preguntas de creencia. -Preguntas de motivacin -Preguntas de opinin 3.Segn su funcin dentro del cuestionario: a)Sustantivas: tratan de los temas o hiptesis centrales del trabajo de investigacin. b)Filtro: filtran a los encuestados segn los criterios del trabajo de investigacin. c)De control: intentan controlar la veracidad de la respuesta. Por ejemplo: usted ve habitualmente documentales de la 2? Pregunta de control: dgame el nombre del ltimo que ha visto? d)De consistencia: intentan comprobar la coherencia de las respuestas del entrevistado. Son la misma pregunta formulada de forma diferente y colocada en lugares estratgicos de la encuesta. e)Introductorias: tienen una funcin de introducir un tema concreto en el cuestionario. f)Amortiguadoras: para amortiguar preguntas de tipo ha sido sobornado alguna vez?, etc.

27

mailxmail - Cursos para compartir lo que sabes

19. Orden y ritmo de las encuestas


Las preguntas personales conviene no hacerlas al principio de todo. Es aconsejable alternar preguntas para no aburrir al encuestado. Es un desorden que intenta mantener la tensin durante todo el cuestionario. -Se ha de evitar que unas preguntas influyan en otras. -Es mejor formular las preguntas fciles para el estudio en el medio y las ms comprometedoras al final de la encuesta. -Tambin debe haber unas determinadas personas que se ocupen de hacer las entrevistas. -Se desaconsejan los entrevistadores profesionales porque tienen muchos vicios, saben donde estn lso puntos clave. -Todas las entrevistas sean lo ms uniformes posibles: Un tipo de elementos de medida se utilizan las ESCALAS. Las escalas de medida intentan medir actitudes. A.Estimativas: estn compuestas por un item (una pregunta). Dentro de estas encontramos: -Escalas grficas: califican del 1-10 tu opinin. Estas escalas trabajan con la imagen que tenemos sobre las escalas en la vida cotidiana. Es evidente que la gente no se site en los extremos. Es mejor utilizar escalas de gradacin que valores negativos. -Escalas comparativas: intentan observar la posicin de un individuo con respecto a un grupo social. B.De actitud: compuestas por diversos enunciados. Dentro de este tipo de escalas encontramos las de Thustone, Guttmann y Likert pero slo veremos las de Likert. Likert: se construyen 30-50 sentencias sobre algn tema o variable, la mitad se redactan de forma afirmativa y la otra mitad de forma negativa. Se eligen entre 50-100 personas que deberan formar parte de la muestra final donde se les aplicar la escala. Estos individuos juzgan estas sentencias y cada sentencia tiene una escala grfica (de acuerdo, desacuerdo, etc). Cada una tiene una puntuacin para sumarla y luego se hace un ranking. Una vez obtenidos los resultados se eligen las que quedan en medio y se eliminan el 25% de arriba y el 25% de abajo. Es una escala que mide actitudes y que fue muy utilizado por la Mass Communication. El diferencial semntico Bueno--------------Malo Blanco-------------Negro Blando-------------Duro Es una escala en la que el entrevistado se debe identificar en un lugar determinado de esta tabla. Por ejemplo, la credibilidad.

28

mailxmail - Cursos para compartir lo que sabes

20. Los grupos de discusin


El grupo de discusin es un instrumento de recogida de datos poco tcnico, por eso no es una tcnica sino una prctica ya que cada grupo de discusin es diferente, aunque sigan los mismos patrones todos. Un grupo de discusin tampoco es un grupo teraputico, slo quiere recoger impresiones. No tiene un objetivo cualificador. Cmo se hace un grupo de discusin.1.Sobre la muestra: en ningn caso es una muestra probabilstica, es decir, es uno probabilstica. -Los individuos deben ser lo ms adecuados posible. -El nmero de grupos y nmero de personas de cada grupo es relativo. Lo que se debe tener en cuenta es que dependiendo de cmo ha de ser la muestra, si es muy variado el universo deberemos hacer ms grupos. 2.Cuanta gente es necesaria en cada grupo: se aconseja entre 6 y 9 personas. Por debajo de cinco la experiencia dice que puede ser difcil mantener una discusin dinmica y por encima de nueve se puede dar el caso de que unos individuos no participen, se refugian en las opiniones de otros. Adems, el trabajo para el moderadores ms difcil, dificulta el anlisis de los datos, etc. Se deben conocer o no los miembros de los grupos de discusin? Depende del estudio. Lo ms comn es que no se conozcan porque eso dificulta el desarrollo del grupo de discusin. Problemas de los grupos.1.Cmo hacer que la gente participe: a)Pagarles b)Obligarles de alguna forma a participar o bien, firmando algn tipo de documento. Antes de esto es importante hacerles unas preguntas para establecer un filtro. 2.Localizacin: depende de si queremos reconstruir lugares donde se ha dado o producido alguna situacin relacionada con el tema de la investigacin. No conviene reproducirlo sino encontrar un espacio neutral. Por ejemplo si haces un grupo de discusin con mujeres maltratadas no puede ser el domicilio propio ya que est lleno de connotaciones negativas. 3.El moderador: modera, facilita y estimula la participacin de los individuos. En ningn caso debe dominar o liberar el grupo de discusin. -Se debe preocupar de tratar todos los temas del guin y en un tiempo considerado hacer que todos participen. -Evitar que la conversacin derive a otras cuestiones que no tienen nada que ver con el tema. -El perfil del moderador. Por ejemplo: en un grupo de discusin con mujeres maltratadas mejor no utilizar un hombre como moderador. Esta persona debera tener "don de gentes", nivel de confianza necesaria para obtener respuestas sinceras. De este modo, la gente se siente cmoda. 4.Guin: el guin es un men de tiempo, se debe decidir antes de realizar el grupo

29

mailxmail - Cursos para compartir lo que sabes


4.Guin: el guin es un men de tiempo, se debe decidir antes de realizar el grupo de discusin y se debe aplicar a todos los grupos de discusin. Adems es conveniente que muestre el nfasis que se le dar, la potencia con la que se presentar. Tambin hay que remarcar y especificar si se presentarn cortes de voz, vdeo, recortes de prensa. Cmo registrar los datos.- Se deben grabar los datos obtenidos en cinta y vdeo ya que hay mucha comunicacin no verbal y el moderador debe apuntar tambin este tipo de comunicacin. Despus se debe transcribir este material para su posterior anlisis.

30

También podría gustarte