La guía práctica sobre las señales que no son de engagement

Leif Sigerson | Científico de datos sénior ; Wendy Matheny | Gerente sénior de políticas públicas

El engagement de los usuarios es una señal muy importante que Pinterest y otras plataformas en línea usan para determinar qué contenido deben mostrarles a los usuarios. Sin embargo, es de público conocimiento que la optimización puramente para el engagement de los usuarios puede dar lugar a que se muestre contenido de baja calidad (como "ciberanzuelos") o incluso perjudicial. 

En este blog, hablaremos sobre las señales que no son de engagement, un componente muy importante a la hora de garantizar que no se optimice para el "choque que nadie puede dejar de mirar". Observaremos cómo las empresas pueden aprovechar la nueva "Guía práctica sobre las señales que no son de engagement", publicada por autores de Pinterest y otras instituciones, para beneficiar tanto a los usuarios como a las empresas. En última instancia, esperamos que más empresas adopten las señales que no son de engagement y trabajen juntas en colaboración para crear una Internet más inspirada.

¿Qué son las señales que no son de engagement y por qué son importantes?

Por lo general, las señales que no son de engagement provienen de dos fuentes:

• Encuestas dentro de la aplicación, donde los usuarios pueden enviarnos comentarios sobre la plataforma directamente (ver la encuesta de ejemplo de Pinterest a continuación)

• Evaluaciones independientes de la calidad del contenido, usualmente generadas mediante el etiquetado manual

Más allá de brindar un equilibrio importante para las señales de engagement en nuestra clasificación de contenido, las señales que no son de engagement ayudan a Pinterest a pasar de los valores a la acción. Por ejemplo, nuestro trabajo en productos inclusivos líder en el sector ha dependido en gran medida en las señales que no son de engagement. Cuando un usuario nos indica el tipo de cuerpo, el tipo de cabello o el tono de piel que quiere priorizar en su feed, Pinterest puede ajustar lo que este ve primero.

¿Por qué es necesario crear una guía práctica sobre las señales que no son de engagement?

Como el signatario fundador del Inspired Internet Pledge, Pinterest está comprometido a "compartir prácticas recomendadas, descubrimientos de investigaciones clave y soluciones creativas en todo el sector para hacer que Internet sea un lugar más sano para todos". Nuestro equipo aborda este compromiso desde varios ángulos: incluidos los productos, las políticas, las donaciones estratégicas y el liderazgo intelectual.

Desde una perspectiva de ingeniería y desarrollo de productos, sentimos que las señales que no son de engagement eran un excelente lugar para empezar a compartir prácticas recomendadas en todo el sector. A pesar de que las señales que no son de engagement pueden ayudar a proteger a los usuarios y aportar valor a la empresa, las plataformas pueden tener dificultades para usarlas en la clasificación de contenido por varias razones:

• Escala limitada: si bien las plataformas pueden registrar miles de millones de puntos de datos sobre el engagement de los usuarios, por lo general, las señales que no son de engagement requieren el etiquetado manual de contenido (ya sea por parte de usuarios en encuestas o expertos en contenido contratados por empresas). 

• Las recompensas llevan tiempo en dar frutos: a pesar de que se descubrió que las señales que no son de engagement se benefician de la retención de usuarios a largo plazo, en el corto plazo pueden inhibir el engagement de los usuarios, como por ejemplo mediante la eliminación de los ciberanzuelos. 

Estas barreras significan que las empresas, especialmente las pequeñas y medianas sin recursos para invertir en experimentos a largo plazo, podrían estar perdiendo oportunidades de beneficiar a sus usuarios y su empresa mediante el uso de señales que no son de engagement en su clasificación de contenido. Por lo tanto, trabajamos con colegas de todo el sector para armar una "guía práctica" definitiva, líder en el sector, sobre las señales que no son de engagement.

Cómo creamos la guía práctica

Pinterest se enorgullece de haber colaborado con expertos de UC Berkeley y el Integrity Institute para organizar la guía práctica. Esta coalición interdisciplinaria comenzó con la recopilación de todas las investigaciones que pudimos encontrar publicadas sobre las señales que no son de engagement. Esto incluyó trabajos de calidad tanto del mundo académico como del sector. Luego organizamos estas investigaciones en un conjunto de "principios" (también conocidos como "triunfos y descubrimientos") sobre las señales que no son de engagement.

Una vez realizada la investigación, llevamos a cabo un seminario de un día entero con expertos de siete plataformas de redes sociales con experiencia práctica en el uso de señales que no son de engagement. En este seminario, hablamos sobre los principios y pusimos a prueba de presión su aplicabilidad en las plataformas.

Los 19 principios que soportaron la prueba de presión se convirtieron en la guía práctica, publicada por 11 autores de cuatro instituciones. 

¿Por qué lo llamamos una guía práctica?

Llamamos a este recurso una guía práctica por dos razones principales:

1. Brinda información, no instrucciones

El objetivo es simplemente ayudar a las personas de las plataformas a tomar decisiones informadas sobre cómo usar las señales que no son de engagement, no decirles qué hacer.

      2. Está pensada para ser usada como referencia

La guía práctica no tiene una única tesis ni una conclusión simple. Más bien tiene muchas aplicaciones diferentes (más sobre eso a continuación).

Y como una ventaja añadida…

Tiene mayor autoridad que cualquier otro documento que se haya publicado. 

La guía práctica está basada en más de 140 recursos públicos, además de conocimientos prácticos de personas que trabajan en siete plataformas de redes sociales distintas. Como dijo uno de nuestros autores: "Me gustaría haber podido leer esto hace años".

Cómo se puede aplicar la guía práctica directamente a las decisiones relacionadas con los productos

Debido a que la guía práctica surge de conocimientos implementados en el sector, tiene varias aplicaciones concretas en relación con los productos. Estas son algunas de las que más nos entusiasman:

Primera aplicación: Cómo tener en cuenta el bienestar emocional

El primer principio del Inspired Internet Pledge insta a las empresas a "Tomar en consideración el bienestar emocional": entender qué acciones y que contenido se relacionan con el bienestar de los usuarios en una plataforma. Creemos que la Internet sería un mejor lugar si todas las plataformas pudiesen hacer esto a gran escala en su clasificación de contenido; pero es más fácil decirlo que hacerlo. Afortunadamente, la guía práctica incluye orientación aplicable y de calidad sobre qué hacer y qué no hacer a la hora de pensar en el bienestar.

Las plataformas pueden dirigir todos sus esfuerzos a tipos de contenido específicos que ayuden al bienestar de los usuarios o que lo perjudiquen. En el principio 6.1 de la guía práctica, remarcamos que "Por lo general, los cambios en la clasificación afectan las declaraciones sobre la exposición al contenido". Investigar meticulosamente qué tipos de contenido se deben promocionar para fomentar el bienestar de los usuarios, les da a las plataformas una gran oportunidad de beneficiar a sus usuarios.

Por otro lado, debido a que el bienestar de cada persona depende de varios factores en su vida, probablemente no sea una buena idea intentar optimizar el bienestar general de los usuarios, sino más bien dirigir todos los esfuerzos a factores que contribuyen al bienestar. En el principio 6.3 de la guía práctica, remarcamos lo siguiente: "Por lo general, las medidas amplias, como el bienestar general, la satisfacción con la vida, la polarización o las actitudes frente a la empresa, no muestran cambios estadísticamente significativos debido a la clasificación, incluso con experimentos relativamente grandes y a largo plazo". Optimizar para el bienestar general es una idea interesante (especialmente para quienes les entusiasma encontrar "la métrica justa"), pero simplemente no funciona.

Segunda aplicación: Usar la IA generativa para regular las señales de calidad del contenido

La guía práctica deja en evidencia que las señales de calidad del contenido benefician tanto a los usuarios como a la empresa:

• Brindan un complemento crítico para el engagement gracias a que identifican contenido que genera engagement pero que es de baja calidad. (Principio 4.2)

• Pueden mejorar la retención si se usan en la clasificación de contenido. (Principio 4.1)

Si bien las señales de calidad del contenido pueden ser extremadamente útiles, también pueden ser costosas y difíciles de regular, especialmente en casos donde las plataformas necesitan humanos para etiquetar manualmente el contenido. Los expertos que participaron en el seminario estuvieron de acuerdo en que la IA generativa podría ayudar a abordar problemas de costos y regulación, aunque es importante hacerlo con cuidado y atención. 

Tal como se indica en la guía práctica, "Hubo consenso en cuanto a que es probable que la IA generativa brinde una opción más barata y rápida, lo que podría permitir un control más exhaustivo del contenido. Si bien los participantes estuvieron de acuerdo sobre el impacto potencial de la IA generativa en esta área, hubo varias preguntas sobre el modo de hacerlo, tales como la necesidad de mantener la participación de los humanos en las decisiones de moderación de contenido individuales". 

Creemos que el uso de la IA generativa para regular las señales de calidad del contenido podría ser una gran oportunidad para que las plataformas puedan aprovechar el talento y los recursos (humanos) existentes a fin de beneficiar tanto a sus usuarios como a sus empresas. Sin embargo, es primordial que esto se haga de forma intencional, basándose en el juicio y los valores humanos.

Tercera aplicación: Mejorar la retención del usuario

La guía práctica se centra mucho en la retención del usuario a largo plazo debido a lo siguiente:

• Creemos que la retención del usuario es la métrica más importante para la mayoría de las plataformas (debido a que el indicador MAU se informa en todas las convocatorias de resultados).

• Es particularmente difícil para las plataformas comprender qué causa la retención del usuario; obtener conclusiones definitivas sobre esto generalmente requiere experimentos a largo plazo o análisis muy sólidos. 

Esperamos que la guía práctica pueda brindarles a las plataformas algunas ideas sobre qué causa la retención y ayudarlas a perseguir este objetivo.

En la guía práctica, afirmamos que la clasificación por el engagement de los usuarios verdaderamente fomenta la retención (principio 3.1): "La clasificación por engagement previsto aumenta significativamente el tiempo dedicado y la retención en comparación con la clasificación cronológica". Más específicamente, parece que el engagement más activo por parte de los usuarios (como los repines) es más valioso para la retención de usuarios (principio 3.3).

Sin embargo, las señales que no son de engagement pueden brindar beneficios adicionales para la retención de usuarios:

• "Por lo general, una ponderación positiva en la clasificación de métricas de calidad aumenta significativamente la retención a largo plazo" (principio 4.1).

• "Existe evidencia de que usar respuestas de encuestas a nivel del artículo en la clasificación ayuda a mejorar la retención" (principio 5.4).

Dado que las métricas de calidad y las respuestas de encuestas a nivel del artículo pueden ser más difíciles de regular, creemos que estas dos señales pueden ser una oportunidad por descubrir para muchas plataformas.

Trabajo en una plataforma de clasificación de contenido, ¿cómo puedo usar la guía práctica?

Redactamos la guía práctica para ayudar a las plataformas a usar las señales que no son de engagement, así que esperamos que sea útil para ti.

Los principios de la guía práctica se basan en mucha evidencia, pero es posible que no se apliquen a todos los casos. Si la guía contradice un análisis interno de calidad, se debe ignorar la guía. Sugerimos usarla en áreas en las que no se tienen análisis de calidad: donde actualmente se debe confiar en la intuición, las anécdotas o análisis más limitados.

Por ejemplo, podrías completar esta tabla, teniendo en cuenta dónde la guía práctica agrega información nueva para la plataforma:

Conclusión

Como probablemente ya notaste, nos apasionan las señales que no son de engagement. Dependemos de ellas para beneficiar a nuestros usuarios y a nuestra empresa, y creemos que la Internet sería un mejor lugar si todas las plataformas de clasificación de contenido pudieran aplicarlas más fácilmente. Es por esto que publicamos esta guía práctica y estamos compartiendo esta información aquí.

Esperamos que la guía práctica te sea útil: comunícate con nosotros si es así (o incluso si no lo es).

Este trabajo no habría sido posible sin la colaboración y el apoyo de muchas personas, en Pinterest y fuera de la plataforma, incluidas las siguientes:

• Nuestros coorganizadores: Tom Cunningham, Sana Pandey y Jonathan Stray

• Nuestros coautores: Jeff Allen, Bonnie Barrilleaux, Ravi Iyer, Smitha Milli, Mohit Kothari y Behnam Rezaei (él).

• Nuestros colaboradores: Aidan Crook, Kathy Gu (ella), Daron Sharps (ella) y Crystal Espinosa.

Y por último, si te interesa participar de esta labor, comunícate con nosotros y considera la posibilidad de firmar el Inspired Internet Pledge.

Para obtener más información sobre la ingeniería de Pinterest, consulta el resto de nuestro Blog de ingeniería y visita nuestro sitio de Pinterest Labs. Para explorar los puestos vacantes y postularte para ellos, visita nuestra página de Empleos.