/ Proyectos / Negocio / Social listening en YouTube
Social listening en YouTube: detección de tendencias de noticias emergentes con NLP
Cómo usar la capa gratuita de la API de YouTube y modelado de tópicos para entender qué temas de noticias están ganando conversación, sin pagar por infraestructura ni exponer credenciales.
El objetivo era entender qué temas de noticias están ganando tracción entre las personas, no a partir de titulares curados por un medio, sino a partir de lo que la gente comenta en YouTube. La pregunta detrás es de social listening: si un tema aparece cada vez más en la conversación pública, eso suele adelantarse a que se vuelva noticia relevante.
El reto no era solo de modelado, era de diseño de pipeline. La API de YouTube tiene una capa gratuita generosa, pero limitada por cuota diaria, no por dinero, y ciertas operaciones cuestan mucho más que otras. Vale la pena ser honestos sobre el alcance: este es un buen punto de partida para entender cómo se pueden encontrar tendencias emergentes en el interés de las personas, no un sistema de monitoreo exhaustivo con todas las categorías y fuentes que un estudio completo necesitaría.
Otros casos de uso del mismo enfoque
El social listening sobre comentarios no sirve solo para noticias. La misma arquitectura, capa gratuita de la API más modelado de tópicos, aplica a otros escenarios donde detectar un cambio en la conversación temprano tiene valor:
- Monitoreo de marca. Detectar una queja recurrente sobre un producto antes de que escale a una crisis de reputación
- Investigación de mercado. Identificar necesidades que la audiencia menciona una y otra vez en una categoría de producto, sin haber preguntado directamente
- Curaduría editorial. Entender qué ángulo de un mismo tema genera más conversación, para priorizar cobertura
- Seguimiento de política pública. Rastrear cómo evoluciona el sentimiento y los temas asociados a una discusión regulatoria a lo largo de meses
Mapa del casoContenido
- Diagrama de la solución. Los bloques del pipeline, de los comentarios crudos a los temas emergentes
- Construcción de la solución. Por qué diseñar alrededor de la cuota gratuita importaba tanto como el modelo
- Condiciones del proyecto. Restricciones reales y opciones descartadas antes de construir
- Pasos. Qué se dejó al agente y qué criterio se aplicó en cada uno
- Proceso de iteración. Qué tan lejos llega este alcance y dónde se queda corto
- Descargables. Notebook, diagrama y repositorio del proyecto
- Lecciones importantes. La lección concreta que deja este caso
Estructura de alto nivelDiagrama de la solución
Pasa el cursor sobre cada bloque para ver qué hace ese paso.
El pipeline evita las búsquedas por palabra clave tanto como puede, porque cada búsqueda cuesta 100 unidades de cuota contra 1 unidad de leer una página de comentarios. Esa diferencia de costo definió buena parte del diseño.
Cómo se construyóConstrucción de la solución
Condiciones del proyecto
| Restricción | Dato |
|---|---|
| Presupuesto de cuota | 10,000 unidades gratuitas al día por proyecto de Google Cloud, sin costo pero con techo fijo |
| Dato de entrada | Comentarios públicos de YouTube: texto corto, coloquial y con ruido, no titulares curados |
| Objetivo | Detectar qué temas ganan conversación con el tiempo, no clasificar contenido ya publicado por un medio |
| Alcance | Exploratorio y de bajo presupuesto, no un sistema de monitoreo de producción con cobertura total |
| Opción | Por qué se descartó |
|---|---|
| Usar búsquedas por palabra clave para explorar libremente cualquier tema | Cada búsqueda cuesta 100 unidades, la cuota gratuita se agota en apenas 100 búsquedas al día |
| Pedir transcripciones automáticas de videos de terceros vía la API oficial | No existe un endpoint oficial para eso sobre videos que no son propios |
| Guardar la API key directamente en el notebook | Riesgo de exponerla si el notebook se comparte o se sube a un repositorio |
| Fijar canales y videos semilla, leer comentarios (barato) y manejar la key como variable de entorno | Mantiene el pipeline dentro de la cuota gratuita todos los días y es seguro de compartir |
Pasos
Diseñar alrededor del costo real de cada operación
Agente: propuso usar búsquedas por palabra clave de forma recurrente para explorar cualquier tema nuevo.
Criterio aplicado: fijar un conjunto pequeño de canales y videos semilla relevantes, y listar sus comentarios en vez de buscar constantemente, porque leer cuesta 1 unidad de cuota y buscar cuesta 100.
Manejar la credencial de forma segura
Agente: generó el código con la API key pegada directamente en la celda del notebook.
Criterio aplicado: cargarla como variable de entorno o secreto de Colab y nunca dejarla escrita en el código, para poder compartir el notebook sin exponer la credencial.
Adaptar el preprocesamiento al comentario, no al titular
Agente: propuso vectorizar el texto tal cual, con el mismo tratamiento que se usaría sobre un titular editorial.
Criterio aplicado: ajustar la limpieza a la naturaleza del comentario de YouTube, informal, con emojis y errores ortográficos, antes de vectorizar, porque tratarlo igual que un texto editorial diluye la señal de tema.
Definir qué cuenta como "tema emergente"
Agente: proponía reportar los temas con mayor volumen de comentarios, sin más.
Criterio aplicado: medir el cambio en el peso de cada tema entre ventanas de tiempo y marcar como emergente solo el que crece de forma sostenida, no el que simplemente acumula más comentarios en total.
Proceso de iteración
Ajuste documentado, no forzado
Con un conjunto acotado de categorías temáticas y de canales semilla, el sistema sí detecta movimientos claros en el peso de un tema a lo largo del tiempo. Pero hay que ser honestos con el alcance: un estudio más completo necesitaría más categorías, más fuentes y un horizonte de tiempo más largo para distinguir con confianza una tendencia real de una fluctuación de corto plazo. La cuota gratuita también obliga a elegir qué canales monitorear en vez de cubrir todo YouTube, así que este sistema es un buen primer paso, no un reemplazo de un estudio de mercado completo.
Descargables
Nota: el dataset del repositorio es sintético, generado para fines demostrativos. Simula comentarios cortos y coloquiales con una tendencia temporal, pero no son comentarios reales extraídos de YouTube.
CierreLecciones importantes
La capa gratuita de una API no es solo un tema de dinero, es un techo de diseño. Entender qué operación cuesta qué, leer es barato, buscar es caro, cambió por completo cómo se construyó este pipeline, mucho antes de pensar en qué modelo de tópicos usar. Esa lectura del costo real de cada llamada es tan parte de la ingeniería como el modelo mismo.
La segunda lección es de alcance honesto. Un sistema de social listening con pocas categorías y fuentes acotadas es un excelente punto de partida para entender el método, no un reemplazo de un estudio de mercado completo. Decirlo así, en vez de exagerar lo que el sistema puede hacer, es parte de construir con criterio.
Si quieres ver un enfoque publicado con una idea similar, modelado de tópicos para detectar tendencias emergentes en texto, este paper es una buena referencia del nivel de la contribución: BERTrend: Neural Topic Modeling for Emerging Trends Detection.
Termina ya tu proyecto
¿Tienes un proyecto similar y no sabes por dónde empezar? Yo te ayudo a diseñarlo.
El 92% de los profesionales de datos desbloquea sus proyectos al ver ejemplos completos resueltos.
Sin registro. Acceso inmediato