4-S: Las cinco incógnitas de las encuestas.
«No sabemos si las encuestas están capturando adecuadamente cinco fenómenos que, en el escenario del voto obligatorio, pueden ser clave al leer en los resultados del domingo.»
El plebiscito del próximo domingo será la primera votación realmente obligatoria en la historia de Chile. Hasta 2012, las votaciones eran ineludibles para quienes se inscribían en los registros electorales, pero anotarse ahí era un acto voluntario. Antes de 1973, el Estado estimulaba la participación con incentivos, pero, en rigor, tampoco era obligatoria. Por décadas, grandes grupos de la población estuvieron excluidos de sufragar, tales como las mujeres y los analfabetos.
Por eso el resultado de la elección de este 4 de septiembre es una incertidumbre. Nuestro mejor barómetro, las encuestas de opinión, siguieron estudiando el comportamiento electoral con la misma lógica que han usado para elecciones con voto voluntario.
En las dos elecciones previas su metodología tuvo diversos errores, pero se acercó exitosamente a los resultados en el plebiscito constitucional de 2020 y las elecciones presidenciales de 2021. ¿La razón? Los encuestadores botaron sus modelos de votante probable (cálculos que establecen qué porcentaje de los encuestados acudirá a votar) y entendieron que las bajas tasas de respuesta de sus encuestas generaban un efecto de «autoselección». Cuando solo el 10 ó el 5% de los contactados decide responder, hay una probabilidad fuerte de que se trate de personas con alto interés en política, que irán a sufragar y que se ubican en todo el espectro ideológico.
El problema de seguir bajo esa lógica para esta nueva elección es que no sabemos si las encuestas están capturando adecuadamente cinco fenómenos que, en el escenario del voto obligatorio, pueden ser clave al leer en los resultados del domingo.
(1)
Los jóvenes, después de un largo letargo electoral, salieron masivamente a votar a partir de 2020. Hasta 2013, votó cerca del 23% del segmento entre 18 y 29 años; el 2017, la cifra subió a 37% en segunda vuelta; y, en 2020, a 56%. Todos los estudios muestran que fueron vitales en el triunfo de Gabriel Boric, pero no sabemos cómo se comportarán este domingo.
(2)
El actual plebiscito podría significar la vuelta a las urnas de la población de 60 años y más, que se restó abruptamente en 2020 y con un poco menos de fuerza en la presidencial en 2021, probablemente a causa de la pandemia. Las encuestas han anticipado el regreso de este segmento y puede favorecer al Rechazo.
(3)
La obligatoriedad del voto puede significar que una gran cantidad personas de bajos ingresos participe, por primera vez, en una elección. Los datos son claros: en los últimos comicios la participación en las comunas más pobres ha sido muy inferior a las de mayores ingresos. Por ejemplo, en 2021, en La Pintana votó el 50% de los electores y en Vitacura, el 73%. En 2017, en Lo Espejo sufragó el 44% y en Las Condes, el 66%. ¿Habrá cambios en esta conducta?
(4)
Otra gran incógnita es la diferencia de participación e intención de voto entre la Región Metropolitana y el resto del país. En 2021, Boric superó a Kast en la capital con 60,3% contra 39,7%. Sin embargo, en regiones el resultado fue mucho más estrecho (52,6% versus 47,4%). Se produjo una suerte de clivaje centro-periferia que no se había visto antes con esa claridad. Tampoco tenemos claro qué pasará con esta situación.
(5)
Otro factor que está en la nebulosa es el bajísimo número de indecisos que las encuestas vienen mostrando desde comienzos de este año. La única excepción ha sido la del Centro de Estudios Públicos, que arrojó un porcentaje de 37% de indecisos en mayo —casi el doble que todas las demás encuestas—, resultado que se puede explicar porque es una metodología cara a cara, que permite una mayor tasa de respuesta y limita el efecto de autoselección que ya comentamos.
Hablando de indecisos, la encuesta del Comparative National Elections Project (CNEP) realizada por LEAS-UAI y Feedback apenas terminada la primera vuelta presidencial 2021, mostró que el 24% de electorado decidió su voto en la última semana, especialmente los votantes más pobres.
Por su enorme complejidad, esta elección será una buena prueba sobre cómo estamos estudiando la opinión pública en Chile. La opción Rechazo aparece como la mayoritaria en investigaciones que han tenido aciertos y fallas en sus proyecciones electorales. Este domingo tendremos la respuesta.
Andrés Scherman: Investigador LEAS, Escuela de Comunicaciones y Periodismo UAI. Periodista y magíster en Sociología (PUC). Doctorado (c) Universidad Pompeu Fabra.
Fuente: https://www.ciperchile.cl/2022/08/30/las-cinco-incognitas-de-las-encuestas/
Modelos de predicción matemáticos contradicen encuestas y dan por ganadora a la opción Apruebo.
por Gustavo Espinoza/El Mostrador.
En climas políticos de polarización, hay estudios que han ido ganando terreno y prestigio en la predicción política: los análisis de modelamiento matemático, que han tenido muy buenos resultados en las elecciones presidenciales de EE.UU. y Canadá, como también en referendos en Europa. Se trata de estudios inicialmente utilizados para la predicción financiera, que ahora se usan también para la política. Información extraída de Google y otros espacios abiertos, como las redes sociales, es sometida a inteligencia artificial para procesarla y llegar a conclusiones. Dos organizaciones dedicadas a este quehacer dan por ganadora a la opción Apruebo este 4 de septiembre en Chile, con un 55,1% (en el caso de Espacio Político) y un 56% (en el de Daoura), contradiciendo así los pronósticos de las encuestas de opinión pública. “Nosotros somos científicos, estamos constantemente expuestos al fracaso, no estamos prisioneros de la verdad, pero lo que pasa es que hemos sido muy precisos antes”, sostiene Francisco Vergara, experto en Big Data.
Según el quinto estudio matemático de Espacio Político, concluido el pasado 19 de agosto, que extrajo datos de los últimos 21 días (500 horas) de interacciones en Internet, con filtros de exclusividad para el Apruebo y el Rechazo, a partir de datos masivos obtenidos de las tendencias de Google, se proyecta que la opción Apruebo gana con un 55,1% el plebiscito de salida este domingo 4 de septiembre. Esto, según relata el máster en ciencias y doctor en Filosofía por la University College London, con estudios de posgrado en Big Data e Inteligencia de Negocio, Francisco Vergara Perucich. Espacio Político ha estado realizando reportes con la misma metodología usada en el plebiscito de entrada, donde el modelo arrojó como resultado que la opción Apruebo ganaría con un 77,80% de las preferencias, y el resultado final fue de 78,28%. Para la segunda vuelta entre Boric y Kast, el modelo pronosticó un triunfo del primero por un 57% contra 43% del segundo, siendo el resultado final de 55,64% para Boric; este último estudio fue publicado en Research Gate.
En cuanto a la diferencia que tiene el estudio de Espacio Político respecto a las encuestas tradicionales que se han difundido en Chile, Vergara explica que cuando estas son probabilísticas, pueden ser más confiables, pero no están exentas de errores metodológicos.
Las encuestas más frecuentemente citadas hoy «constan, en su mayoría, de un panel probabilístico, por ejemplo, de 250 mil usuarios o algo así y de eso sacan su muestra para hacer el estudio. Eso no es un error en sí… si estás probando un producto, por ejemplo, una coca-cola, o una marca nueva, porque tú tienes un segundo universo representado de potenciales clientes. El problema es cuando tienes una votación general que es obligatoria y donde eventualmente tienes dos grupos de encuestados que son poco propensos a responder encuestas, que son jóvenes y el grupo socioeconómico E, que son a los que menos registran las encuestas».
Entonces, prosigue Vergara, ahí “podría haber una distorsión que explique por qué hay tanta distancia entre nuestros pronósticos, que son los de las modelaciones matemáticas, y los números de la encuesta, porque hay un registro al que nosotros sí podemos llegar, porque no le preguntamos a nadie, simplemente sacamos datos que existen en las redes sociales”.
Reporte 20 agosto 2022 Plebiscito Salida 
Resultados distintos
A pesar de tener confianza en su modelo predictivo, Vergara reconoce la complejidad del plebiscito de salida, “Ahora, históricamente, en el caso de nosotros, que venimos haciendo esto hace un rato, nunca nos había tocado ver que la encuestas y nuestros datos fueran tan distintos. Ahora vamos a ver si los computadores o la encuesta son las que van a ser el mejor instrumento para predecir elecciones. Esta distancia que se ha producido entre los dos métodos es interesante de observar, ya que hay algo que no se está viendo. Por mi parte, estoy muy expectante y ansioso por saber qué pasó, porque en el fondo, o está mal nuestro modelo, lo que no ha sido así antes, o están malas las encuestas, lo que tampoco ha sido así antes”.
A pesar de sus dudas, el experto en Big Data e Inteligencia de Negocios señala que la inteligencia artificial hoy es el instrumento más exacto para predecir escenarios electorales. “Hoy en día está bastante demostrado en la literatura que, más que una encuesta, es mucho más útil hacer mediciones en redes sociales en países donde hay mucha penetración de redes sociales, como Chile. Nosotros, según Google, tenemos una mención muy alta, de un 70% de su plataforma. Por ejemplo, un modelo de machine learning –que nosotros no hacemos porque es muy costoso en tiempo– es tremendamente preciso, mucho más que una encuesta”.
Respecto a la posibilidad de que el modelo matemático elaborado por Espacio Político falle, Vergara no tendría complejos en reconocer el error: “Nosotros somos científicos, estamos constantemente expuestos al fracaso, no estamos prisioneros de la verdad, pero lo que pasa es que hemos sido muy precisos antes. Ahora que no se parezcan en nada a ninguna encuesta, ni de izquierda ni de derecha, ya nos tiene preocupados”.
Vea el informe completo y la metodología de Espacio Político entregado el pasado 20 de agosto
Inteligencia artificial y el procesamiento de lenguaje natural de Daoura
Daoura es una empresa brasileña experta en inteligencia artificial y procesamiento de lenguaje natural, es decir, a través de machine learning (aprendizaje de máquinas) para entender el lenguaje humano y desde ahí extraer información de las redes sociales que obtengan insights que sean relevantes. Ellos utilizan una metodología basada en una teoría denominada “Social Sensing”, que refiere al monitoreo de la sensación del sentimiento social. Y generan un indicador que se llama “termómetro social”, a partir de esa información. Esta teoría explica que hay un actor importante que influencia a la comunidad, de alguna forma, entonces, con esta teoría puesta en el contexto social digital, aplican y proyectan escenarios futuros.
Según su informe elaborado el 14 de agosto pasado, ellos proyectaron que la opción Apruebo gana con 56%, con un 95 % de confianza y 2 puntos porcentuales de error. El monitoreo es 24/7, pero publican informes semanales. Básicamente de ahí se extrae una proyección, según el promedio de todos los días, y en este caso fueron 100 días o 15 semanas, desde el 1 de mayo hasta el 14 de agosto.
“Daoura empezó en 2017 y era una plataforma para entender qué hablaba la gente sobre una ciudad, esa información era entregada en principio a las municipalidades o para la gestión de demandas ciudadanas o detectar problemas de inseguridad, salud o educación. Eso fue al principio del proyecto, pero después de dos años nosotros empezamos a tener empresas también que tenían mucho interés en monitorear lo que la gente hablaba sobre productos, servicios o marcas y entender la tendencia social y las oportunidades de negocios”, detalla Daniel Merege, uno de los cofundadores de la empresa y que dirige la operación en Chile y Latinoamérica, Ingeniero informático y con estudios de emprendimiento y negocios en la Universidad de Stanford.
“Como método, la plataforma realiza la escucha social y nosotros configuramos palabras clave, que estén relacionadas con el plebiscito, por ejemplo, yo apruebo, yo rechazo, yo apruebo de salida, etc. Recolectamos todo eso en la base de datos, que almacena esa información y nuestra inteligencia artificial empieza a procesar texto a texto, extrayendo los insights y las “informaciones contextuales”, como las llamamos, es decir, el sentimiento, el engagement (alcance), la localización del texto y la emoción que la persona expresó en el texto, hay muchas habilidades cognitivas extraídas para que nosotros podamos generar los insights, para que nuestros científicos de datos entiendan lo que se está hablando, ese es nuestro principal objetivo”, explica Merege.
Para el plebiscito de entrada de 2020, Daoura proyectó que la opción Apruebo ganaría con aproximadamente el 75% de los votos, frente al 25% de la opción Rechazo. Tras el cómputo final de votos, llegó la confirmación: el 78,27% de los chilenos votó por la aprobación, frente al 21,73% que optó por rechazar, resultado de solo 3 puntos porcentuales de diferencia entre la realidad y la proyección de la inteligencia artificial.
Respecto a los resultados de las encuestas tradicionales, el ingeniero informático apunta que son cosas muy distintas, “nosotros no podemos compararnos directamente a las encuestas porque no hacemos preguntas. Ahí ya está la primera gran diferencia entre lo que hacemos y lo que hacen las encuestas. En nuestro caso, nosotros monitoreamos a gente que se expresa de manera natural y por sí misma y no provocadas por preguntas. Como las redes sociales tienen una presencia muy importante en todo el mundo y también en Chile, entendemos, a partir de la teoría del social sensing, que lo que la gente expresa, puede y de hecho está influenciando a otras personas que quizás no estén en el mundo digital, pero son influenciadas por la información que se genera ahí”.
En cuanto a la diferencia de resultados que tienen con las encuestas tradicionales, Merege plantea que hay que revisar muy bien cómo se hicieron, las preguntas, cuántas personas llamaron y conversaron, cómo fue toda la recolección de datos. “No hay mucha información de las encuestas sobre quién exactamente contestó efectivamente y, por lo tanto, el resultado que estamos viendo ahora puede ser un resultado con un sesgo específico, como puede ser que no. En cambio, cuando vemos las redes sociales –y nuestra plataforma tiene la ventaja de no estar en la burbuja del Apruebo o del Rechazo–, estamos viendo todo, entonces, a partir de esa amplia visión de lo que la gente está hablando, nosotros podemos leer de una forma distinta lo que las redes sociales están entregando. Hay que ver también el resultado que están reportando, hay una proporción de indecisos muy alta en las encuestas y sabemos, de acuerdo con lo que ellos publicaron, si esas personas están siendo influenciadas por personas que votan Apruebo o Rechazo, y ahí hay un margen muy grande para decir que el Apruebo ganará”.
Qué dicen los encuestadores
Al ser consultado sobre las organizaciones que utilizan modelos matemáticos o de inteligencia artificial para predecir los resultados del plebiscito de salida, el sociólogo Axel Callís, director de Tú Influyes, se muestra escéptico. “No los conozco, no sé su metodología, no sé qué va a ser de ellos después del plebiscito. Nosotros nos jugamos nuestro prestigio en cada elección, somos parte de la Asociación de Investigadores de Mercado y Opinión Pública de Chile (AIM), donde publicamos nuestros resultados y estudios. Y vamos a seguir haciendo encuestas después de la elección cuando a nadie le importe. Hay que ver si estas personas van a seguir haciendo estudios después del domingo 4 de septiembre. Yo tampoco sé si ellos se juegan su prestigio», sostiene algo incómodo.
Por su parte, Marta Lagos, directora de Mori, si bien tiene sus dudas, no se cierra a la posibilidad de que la predicción matemática o inteligencia artificial acierten. “Creo que toda la gente que está haciendo experimentos me parece súper interesante y yo los miro todos seriamente. Repito, una cosa es que un experimento que tú dices ‘mira, esta gente lleva dos elecciones haciendo lo mismo’, bueno, que escriban el método a ver si otra persona lo puede replicar. O sea, el método no existe hasta que no esté publicado y no esté aplicado por terceras personas en circunstancias distintas”.
Respecto a la complejidad de predecir el resultado del referéndum constitucional de salida, Marta Lagos asegura que el problema no es solo acá en Chile. “El punto es que este no es un plebiscito que, porque sea chileno, porque seamos nosotros, porque haya circunstancias chilenas específicas… los plebiscitos son animales feroces. En el Brexit se equivocaron las encuestas, en Colombia también, porque son animales feroces, son mucho más difíciles de medir porque, lo que tú estás votando, no es una persona. Entonces es más difícil identificar tu voto, porque tu voto depende de valores, de impresiones, de actitudes, por eso que un incidente como el de Valparaíso puede influir, ¿te fijas? ¿Por qué? Porque resulta que tú estás votando por un conjunto de valores, y ese valor se te puede derrumbar por un hecho. Bueno, ha pasado en muchas elecciones en el mundo que las elecciones se dan vuelta por un hecho”, señala.
Fuente: https://www.elmostrador.cl/noticias/pais/2022/09/01/modelos-de-prediccion-matematicos-contradicen-encuestas-y-dan-por-ganadora-a-la-opcion-apruebo/
Redes sociales versus encuestas en tiempos electorales: una falsa dicotomía.
por Andrés Azócar y Cristián Valdivieso (*).
La mayoría de las encuestas en tanto, han mostrado sistemáticamente la primacía del Rechazo por sobre el Apruebo, en una suerte de contradicción con el análisis que han mostrado algunos modelos basados en big data. Una contradicción que, era que no, ha sido usada como arma electoral donde los partidarios del Apruebo han aparecido impugnando las encuestas arropados en las predicciones basadas en algoritmos y, viceversa, el mundo del Rechazo ha salido a confrontar dichas predicciones acusándolas de poco rigurosas por su falta de aleatoriedad.
“Si bien las búsquedas no son votos, brindan información en lo que está en la mente colectiva del electorado”, decían los investigadores que durante la campaña de Obama en 2008 se sentían atraídos con la idea que una elección tan vinculada a Internet, podía ser predicha desde los buscadores y desde el entonces juvenil Twitter.
Desde ese momento, con campañas políticas desplegadas en las RRSS, investigadores han creado modelos matemáticos o han llevado las ciencias sociales a la web con el fin de imitar a las encuestas y ser capaces de anticipar elecciones. Y no sólo elecciones. Pero aún hay dudas de qué tan precisas pueden ser.
Para la campaña de Obama, investigadores lograron vía Twitter predecir quién ganaría. Pero los porcentajes por Estados fueron subestimados. Lo mismo pasó con Trump. Los científicos sociales se concentraron en Facebook, pero fallaron en el porcentaje de apoyo de la derecha estadounidense en la votación final.
Sin duda es atractivo estudiar las RRSS para los investigadores. Hacer inferencias utilizando datos de redes sociales es económico, se puede realizar casi en tiempo real y se puede rastrear a las personas repetidamente a lo largo del tiempo transformando el modelamiento matemático en predicciones sin necesidad de preguntarle directamente nada a las personas.
En Chile, los científicos sociales también han buscado cómo predecir las elecciones más allá de las encuestas. El entusiasmo viene pues tanto en el plebiscito de entrada como en la pasada segunda vuelta presidencial la evolución de las RRSS estuvo de la mano con las encuestas. Casi milimétricamente la suma de Facebook e Instagram marcaron la misma tendencia que el resultado final. Algunos han ido más allá de las redes sociales agregado otras capas de información a sus modelos predictivos dándole un preminente valor a la capacidad predictiva de la inteligencia artificial.
Con el plebiscito de salida de este domingo, sin embargo, las encuestas corren por otro camino a las RRSS. Desde julio Facebook e Instagram le han dado ventaja al Apruebo. Pero hay algunas consideraciones: Facebook ha perdido fuerza como tracción social y en una disputa con dos opciones, la conversación se hace confusa. La medición de sentimientos (si el post es positivo, negativo o no sabe) se hace más compleja. De hecho, algunos papers dicen que medir sentimientos no es mejor que los clasificadores aleatorios, la más popular de las técnicas de predicción.
La mayoría de las encuestas en tanto, han mostrado sistemáticamente la primacía del Rechazo por sobre el Apruebo, en una suerte de contradicción con el análisis que han mostrado algunos modelos basados en big data.
Una contradicción que, era que no, ha sido usada como arma electoral donde los partidarios del Apruebo han aparecido impugnando las encuestas arropados en las predicciones basadas en algoritmos y, viceversa, el mundo del Rechazo ha salido a confrontar dichas predicciones acusándolas de poco rigurosas por su falta de aleatoriedad.
“Lo que está claro es que el fin de semana habrá un antes y un después en la pelea entre encuestas (jugadas por el Rechazo) y la medición de datos (que dicen hace rato que gana el Apruebo). Hasta aquí -plebiscito de entrada y segunda vuelta- ganó la medición de datos”, argumentó en Twitter el periodista Felipe Bianchi, instalando una polémica en códigos polarizadores como si ya no hubiera suficiente tensión ambiente.
Una falsa polémica porque quienes hacemos investigación sobre tendencias mediante encuestas, también modelamos tantos sobre la data mismas de las encuestas como sobre la de las redes sociales para entender complementariamente los fenómenos políticos, sociales y de mercado.
Nos mueve el conocimiento, el aprendizaje y la investigación. Gane el Apruebo o el Rechazo ni las encuestas ni los análisis mediante modelamientos matemáticos serán derrotados. Será un aprendizaje colectivo.
Es precisamente, la lógica de vencedores y vencidos la que ha emporcado el ambiente polarizándolo. No seremos nosotros, quienes absurdamente nos pleguemos al juego de la polémica, por muy sabroso que resulte mediáticamente.
(*) Andrés Azócar y Cristián Valdivieso, Director digital de Comsulting y director de Criteria
Fuente: https://www.ex-ante.cl/redes-sociales-versus-encuestas-en-tiempos-electorales-una-falsa-dicotomia-por-andres-azocar-y-cristian-valdivieso/
Be the first to comment