Cómo predecir eficazmente las instalaciones de la semana de lanzamiento en dispositivos móviles

¿Cerca de lanzar un nuevo juego? ¿La plataforma Gods te ha prometido visibilidad en sus tiendas? ¿Está intentando predecir el volumen de instalación que obtendrá la visibilidad? Si buscas un número exacto, probablemente deberías recurrir a una bola de cristal. Pero, si estás buscando una variedad, ¡sigue leyendo!

Nota del editor: esta es una publicación invitada de Abhimanyu y Victoria publicada por primera vez en Deconstructor of Fun. El trabajo que se muestra aquí se realizó durante su estancia en Flaregames.

Para muchos ha quedado claro que los volúmenes de instalación entregados a través de características (iOS más aún) no son tan fuertes como solían ser. Pero la visibilidad destacada de las tiendas sigue generando un tráfico significativo y las empresas planifican el futuro teniendo esto en cuenta. Desafortunadamente, trate de predecir los volúmenes de instalación semanales/mensuales que afectan a muchos equipos. No sorprende que también sea uno de los trabajos más críticos y difíciles para los PM/Ejecutivos cuando intentan justificar la previsión de ingresos de un proyecto. Cada empresa lo resuelve de manera diferente, y la mayoría opta por buscar juegos similares y hacer una estimación. Pero los índices de precisión son bajos y las opiniones pueden influir en las interpretaciones con tales metodologías.

Reconociendo la naturaleza difícil de este problema y que no hay ningún análisis disponible públicamente sobre el tema, nos propusimos aportar algo de ciencia a un problema de predicción aparentemente abstracto. Al centrarnos en los factores clave que un cliente potencial podría considerar antes de tomar una decisión de descarga, decidimos probar la siguiente hipótesis: “Existe una relación entre el volumen de instalación de la semana de lanzamiento de un juego y su ubicación, género y estilo. artísticos” . El análisis siguiente confirma esta hipótesis como verdadera. Y a través de este artículo, nos gustaría abrir nuestra metodología para que las empresas la pongan en práctica y los hallazgos asociados para que la industria pueda seguir avanzando.

Metodología de análisis

Como ocurre con cualquier ejercicio de esta naturaleza, la metodología de análisis incluye los pasos de creación de conjuntos de datos, pruebas estadísticas y generación de modelos.

Más específicamente –

Se analizaron más de 150 juegos presentados entre el 2 de abril y el 27 de septiembre de 2018.
Cada juego fue categorizado por ubicación, género y estilo artístico.
Se utilizó la prueba de hipótesis de Kruskal-Wallis (KW) para probar la hipótesis.
Se construyó un modelo de regresión lineal, que toma como entrada la clasificación de 3 variables de un juego hipotético y genera un rango de volumen de instalación de semana/mes de lanzamiento esperado.

Para la creación del conjunto de datos base, utilizamos las excelentes ofertas de servicios de App Annie para recopilar estimaciones de instalación orgánica de iOS y fechas de presentación de los juegos analizados. También se supuso que la fecha de presentación de iOS en todo el mundo coincidía con la fecha de presentación de iOS en EE. UU. En consecuencia, el análisis se limita a los datos de iOS.

Los juegos pagos y los juegos destacados con IP principales no se consideraron en el conjunto de datos base. Los principales juegos IP incluyen (entre otros) juegos basados en películas importantes, series de televisión, personajes famosos y secuelas de éxitos originales. Cabe mencionar que intentamos incluir los principales juegos IP en la primera ejecución del análisis, pero poco a poco nos dimos cuenta de que es una bestia de descifrar. Se concluyó que la cantidad de factores que contribuyen a los volúmenes de instalación de lanzamiento semanal/mensual de los principales juegos IP está fuera del alcance de este análisis. Pero planeamos abordar este problema en el futuro aprovechando el trabajo aquí.

Definiciones de variables

Cada juego del conjunto de datos se clasificó según 3 variables: ubicación, género y estilo artístico. Los valores asociados con estos se ven así:

Para Género, utilizamos una brillante taxonomía de género desarrollada por Game Refinery y Michail Katkoff (ver más abajo). Por ejemplo, "Casual" es una categoría, "Arcade" es un género y "Plataformas" es un subgénero. Los subgéneros no se consideraron para fines de clasificación de puntos de datos, ya que el conjunto de datos base era limitado y una clasificación compleja no produciría aprendizajes procesables. Sin embargo, cabe señalar que los subgéneros definitivamente se pueden utilizar para conjuntos de datos más grandes.

Demostrando la hipótesis

Para reafirmar la hipótesis inicial: "Existe una relación entre el volumen de instalación de la semana de lanzamiento de un juego y su ubicación, género y estilo artístico" .

Utilizando la prueba de hipótesis de Kruskal-Wallis (KW), se confirmó que la hipótesis anterior es verdadera. La hipótesis se amplió aún más para demostrar una relación similar con los volúmenes de instalación del mes de lanzamiento. La siguiente tabla resume la importancia de cada prueba a través de un valor p, que debe ser inferior a 0,10 para que sea estadísticamente significativo. En general, cada variable mostró significación estadística con diversas fortalezas. Aquí hay un resumen de nuestros hallazgos:

Si bien el “estilo artístico” es definitivamente el más débil de todos, se espera que logre una relación más sólida a medida que el tamaño del conjunto de datos base siga aumentando. Lo mismo con “Género”. Al mismo tiempo, es importante señalar que un resultado significativo es bastante relevante, independientemente de su fuerza.

Dada la tabla de relaciones anterior, a continuación nos propusimos:

Cree rangos de instalación para cada uno de los valores de las variables.
Cree un modelo que utilice estas variables en diferentes intensidades para proporcionar un pronóstico direccional sobre dónde se ubicaría el volumen de instalación semanal/mes de lanzamiento de un juego hipotético.

A continuación se muestra una visualización de los rangos de instalación de la semana de lanzamiento para algunos valores de las variables. Las barras azules representan promedios, mientras que las líneas negras representan un rango de sensibilidad. Una observación interesante es cómo una característica "Grande" no se traduce necesariamente en un mayor rango de volumen de instalación en la semana de lanzamiento en comparación con una característica "Medio-Grande", lo que respalda aún más el hecho de que hay más variables en juego al decidir descargar un juego. .

¿Podemos ahora mirar hacia el futuro?

El siguiente paso obvio del análisis anterior fue construir un modelo que proporcione un pronóstico direccional de los rangos de volumen de instalación de la semana/mes de lanzamiento para juegos hipotéticos/inéditos. Cabe señalar que un conjunto de datos base de más de 150 juegos no es lo suficientemente grande como para crear modelos predictivos estables. Aunque se puede intentarlo tomándose algunas libertades pragmáticas.

Nuestro intento se centró en crear un modelo de regresión lineal simple utilizando las 3 variables como entradas y probarlo con juegos destacados que no se consideraron en el conjunto de datos base. La esperanza era obtener resultados que justificaran la construcción de un modelo estadístico complejo, y nos alegró ver algunos resultados que justificarían una inversión de tiempo adicional. A continuación se muestra una comparación entre el volumen de instalación previsto para la semana de lanzamiento de nuestro modelo y los datos reales según las estimaciones de descarga de la aplicación Annie.

Como se vio arriba, tuvimos nuestra parte de predicciones buenas y malas con un rango de diferencia promedio de +/-50k. Esto se debe principalmente, en primer lugar, a un diseño de modelo muy primitivo y, en segundo lugar, a un pequeño conjunto de datos base. Definitivamente, se puede obtener una mayor precisión al probar modelos estadísticos diferentes y tal vez más complejos y, al mismo tiempo, aumentar el tamaño del conjunto de datos base. Dado que es muy fácil invertir demasiado en un esfuerzo de este tipo, encontrar un equilibrio entre la complejidad del diseño del modelo y la inversión de tiempo es clave y debe estar impulsado por los objetivos que estos pronósticos direccionales pretenden alcanzar.

Metodología para predecir las instalaciones de la semana de lanzamiento de forma eficaz

Dado el trabajo anterior, está claro que existe una relación entre las instalaciones de la semana/mes de lanzamiento y la ubicación, el género y el estilo artístico. Para continuar con el trabajo aquí, buscaríamos encontrar relaciones más sólidas al continuar aumentando nuestro conjunto de datos, probar modelos estadísticos más complejos y también considerar algunas variables clave más como IP, plataforma, tema, tamaño de la aplicación y mercado de lanzamiento.

También podemos decir con confianza que cuando se trata de predecir las instalaciones de la semana/mes de lanzamiento, uno debe ceñirse a la direccionalidad y jugar con rangos en lugar de hervir el océano para encontrar el número correcto. ¡Esperamos que la metodología y los hallazgos anteriores se sumen a su conjunto de herramientas para una mejor planificación empresarial!