El mercado móvil en proceso de maduración: por qué vale la pena fomentar la retroalimentación firme

Esta serie de dos partes explora las prácticas modernas en el desarrollo de juegos móviles entrevistando a 9 estudios de juegos móviles. El trabajo se basa en una tesis de maestría Conquering the Mobile de la Universidad Aalto, Finlandia, en la que se pueden encontrar referencias detalladas a casos y artículos.

"Cuando terminamos casi todo el arte del juego, decidimos cambiar todo el estilo visual", explicó un gerente de una empresa de juegos móviles como parte del estudio. El estudio había estado trabajando con el producto durante algún año, pero descubrió que la estética simplemente no resonaba en el público objetivo. “Se rehicieron todos los gráficos, ya sean personajes, entorno o interfaz de usuario. Fue la decisión correcta, pero lo hicimos demasiado tarde. Hoy hacemos estos cambios en las primeras etapas”.

La producción de juegos móviles requiere la capacidad de buscar información conscientemente durante todo el desarrollo para tener las mejores posibilidades de éxito en el mercado móvil. Durante la preproducción, dichos desarrolladores logran establecer una visión general de las oportunidades del mercado y los distintos competidores para ayudar a dar forma a su estrategia. A medida que avanza la producción, los estudios pueden buscar comentarios y validación a través de pruebas de juegos, cuyos resultados a menudo pueden generar ajustes muy necesarios.

Después del posible lanzamiento preliminar y, por supuesto, del lanzamiento del juego, los desarrolladores exitosos continúan mejorando el título, utilizando métricas y comentarios en vivo. Sin embargo, la investigación sugiere que existen diferencias considerables en lo que respecta a las prácticas empresariales para recopilar información y comentarios.

Crear comprensión en la preproducción

Es justo decir que la preproducción no genera demasiado revuelo dentro de la industria del juego. Es, sin embargo, un elemento fundamental en el desarrollo. Es durante esta fase cuando el estudio explora tanto el panorama competitivo como las necesidades del mercado, enmarcándolos en términos de recursos y capacidades del equipo. En definitiva, el objetivo es dar los primeros pasos en la estrategia del producto y evaluar su viabilidad financiera.

Cabe señalar, sin embargo, que realizar análisis de mercado y ser consciente de las oportunidades y amenazas particulares no garantiza por sí solo el éxito; más bien, ayuda a evitar una posible supervisión. Sólo entendiendo a los principales competidores y las tendencias de los clientes, una empresa de cualquier industria puede evitar la competencia directa con uno de los gigantes de la industria, dirigiéndose en cambio a aguas azules y no saturadas.

La investigación también sugirió que los estudios más pequeños y con menos experiencia tienden a prestar menos atención a formular y evaluar el proyecto antes de iniciarlo. En lugar de basar el proyecto en una posibilidad del mercado, era más probable que estas empresas basaran el proyecto en la visión intrínseca y creativa del equipo. Esto a veces generó desafíos y una mayor conciencia de que el proyecto debería evaluarse lo antes posible:

“Crear ideas es extremadamente fácil. La dificultad es considerar la idea en términos de desarrollo y negocio. Eso es más difícil que tener una idea y requiere gestión del producto”.

A medida que las empresas adquieren experiencia, comienzan a prestar cada vez más atención a la preproducción , la investigación de mercado y la comprensión de la competencia. La clave para esto es que muchos de los desarrolladores con los que hablamos utilizaron varias fuentes de información:

“Uno son todos los datos del mercado gratuitos y de pago. Hay muchos servicios de información y bancos como App Annie donde puedes consultar los datos de otros juegos, sacar tus propias conclusiones y hacer análisis más profundos. Además, casi todos los meses estamos presentes en algún evento de la industria del juego y discutimos con otras empresas”.

Por supuesto, es posible que los estudios más establecidos tengan más recursos a su disposición para facilitar dicho análisis. A menudo tienen más empleados y, por tanto, funciones más especializadas. Esto permite que la gerencia dedique más tiempo a la investigación y la estrategia de mercado en comparación con las empresas emergentes más pequeñas donde a menudo se requiere que todos tengan en sus manos el producto.

Algunas empresas más pequeñas también han enfrentado desafíos derivados de una planificación insuficiente. Un estudio descubrió que había desarrollado su juego para un público demasiado específico, lo que a su vez dificultaba la captación de usuarios. Otra empresa descubrió que el alcance del juego desarrollado era demasiado grande para que el equipo lo ejecutara. Al mismo tiempo, sin una posición establecida, los equipos pequeños están bajo presión para rendir. Esto crea una tensión difícil en la que las empresas tienen que hacer planes mientras funcionan:

“Cómo podría decir esto, no teníamos mucho tiempo ni recursos para planificar el marketing, ejecutarlo o pensar en el negocio. No hay tiempo para hacer planes maestros. ¿Sería sensato? Sí lo haría. No nos centramos lo suficiente en el marketing. Sin embargo, es fácil ser sabio en retrospectiva”.

Los desarrolladores que trabajaban con audiencias específicas eran más conscientes de que debían atender las necesidades específicas de los jugadores. En estos casos, los estudios a veces descubrieron que ellos mismos no eran el público objetivo. Más bien, estaban creando el juego para un grupo de personas cuyo estilo de juego podría ser considerablemente diferente al de ellos, lo que los llevó a recopilar información sobre su comportamiento, necesidades y estilo de juego durante la preproducción.

Dificultades en las pruebas.

As a game becomes more and more defined during production, it becomes possible to validate the concept with its target audience through testing. Interestingly, none of the nine companies interviewed had gone to the excess on this score: on the contrary, it could be said some of the problems encountered by said studios come from insufficient or unclear feedback.

When you add to this the fact many studios admitted their most considerable learnings came from feedback, its importance cannot be underestimated. Yet, several companies had found difficulties in gathering insightful and actionable feedback.

One of the interviewed companies had tested the game with friends and family, and found said testers weren’t motivated enough to give structured feedback. Another company found their testers focused on minor usability issues while the company wanted to understand the game experience far more broadly. A third company found feedback was useful in identifying usability challenges and discovering bugs, but contributed less towards understanding what makes the game fun and valuable to the player.

“We have put a lot lower importance on our online testing service provider reviews. The reviewers can evaluate the usability, how to use the user interface etc. That is wonderful with the online service. What it is not very good at is evaluating whether the game is fun.”

Several companies warned against listening to the views of players too closely. The players are likely to see the symptom but not the core issue embedded deep into the game system. The players are laymen in design, and it requires humility and patience to turn their comments into actionable insights.

“We didn’t do soft launch, we did some usability testing with other game developers. We got good feedback. After launch we got some feedback from the players on what they appreciated. However, you can never fully trust on what the players say. You need to deduce what they really want.”

Two of the nine companies actively sought to integrate both qualitative and quantitative feedback, believing the two kinds of data complement each other.

“User feedback is extremely valuable but also extremely dangerous because it is biased. We create hypotheses that we seek to validate through market testing. This market testing leads to numbers, data, and this is explained through user feedback.”

The nature of player feedback proposes a conundrum considering the timing of testing. The closer the product is to the launch, the easier it is for the players to elaborate on their thinking and give precise feedback the designers can take action on. Yet, the later the feedback highlights any issues or challenges, the more considerable the changes required to fix them may be. This makes late feedback difficult to accommodate to. Because of this, several of the companies had explicitly turned towards seeking feedback as early as possible.

“Discovering problems quicker, earlier in development means they cost less to fix. Every single game will have something that is not quite right. The longer it stays not quite right the harder it is to change. If you can find it four months in development as opposed to fourteen months in development, it will cost a tenth as much to change.”

The value of metrics

Soft launching a game in chosen territories was a common practice amongst the nine studios we spoke to. However, the practices behind those launches varied considerably.

Some companies opted for a rather passive approach and did not actively seek qualitative feedback. These developers used the soft launch to optimise the game and ensure its technical performance, with no significant changes made to the game or its mechanics. Some made incremental improvements through specific tests:

“We tweaked the game in soft-launch. We didn’t make any drastic changes. We fine-tuned the difficulty through funnel tests: we identified in which level the players end playing and then adjusted the levels accordingly.”

Analytics were seen as highly valuable, offering an objective, trusted metric of the product performance and its financial viability. Only one of the nine companies stressed the importance of both qualitative and quantitative feedback:

“If you are ever playing a soft launch title I encourage you to send any and all feedback to developers, because it really helps. – – Getting unfiltered player experience and feedback is extremely important. There are certain ways to understand the data without the player text input, but the feedback definitely helps. It gives context to the data.”

Making considerable changes to a game after launch is often challenging. It, for instance, requires taking into the account the existing playerbase and their opinions. One company reflected on their experience in changing the monetisation system in a live product:

“We were aware that if we make some makeshift solution it will be transparent to the users and will not work. We had to change the core logic of the game which required a lot of time and design. If I had a car and I changed change the power line and the engine, its character changes. When well executed, the whole will be balanced. However, if you just change a large engine to a small car it will not work.”

The current ethos and culture in mobile game development does little to support the use of qualitative methods such as interviews and focus groups. Big data is valued, and qualitative methods are sometimes dismissed as unreliable. Many companies have their backgrounds in natural sciences that lean towards quantitative methods and their experience in qualitative methodologies may be more lesser. This creates a vicious circle, where developers skip potentially impactful approaches and, as a result, positive case examples are not created.

Increasing learning

The developers improve the game throughout the production. However, without external feedback studios can find themselves unable to make informed decisions which, in turn, slows the development down or leads to work based on assumptions.

Iteration is the de facto way of creating any design: something is created, evaluated, and improved upon. Instead of creating a final, polished version, the work is produced in iterations that incrementally improve it in terms of its stated goals.

Game designer Jesse Schell goes as far as to state the rule of the loop: “The more times you test and improve your design, the better your game will be.”. The approach has had a significant impact on the startup scene as well through the idea of Lean Startup.

Too often, the critical evaluation of the game occurs too late. One reason for this may be that the mobile game industry lacks specific models that would guide the company focus. The iterative loop is unapologetically vague. It doesn’t state what you should create, nor how it should be tested. Useful in any field of design, it lacks specificity to address any particular industry.

To address the issue, the Design-Process-Stakeholders model was created. It guides the company to consider the key aspects of free-to-play (F2P) mobile game design particularly. It guides the company to map and test its key hypotheses with the stakeholders to validate them. The goal-oriented iterative process is structured and clarified to serve these aims. The model is described in detail in the book Conquering the mobile.

Hunger for learning

Mobile game development company goals are two-fold: to create value for the players by offering enjoyable experiences, and to transfer this customer value into revenue. It becomes difficult to evaluate whether the design is moving closer to this goal if the developer does not seek feedback from their players. Without constantly creating understanding on the product and combining this with sufficient understanding of the market and competitive products the players are engaged with, a developer operates in the dark.

Feedback is a wonderful remedy for inconspicuous ignorance. It is a tool in risk-management allowing the team to identify challenges in a game’s value proposition and improve upon them. In addition to tactical improvements, it facilitates strategic changes to the high-level, long-term product goals.

However, there is even more elevated side-effect: Feedback facilitates individual and company-level learning that spans multiple projects. Professionals in any field should be hungry for feedback that allows them to improve their performance and grow their competencies.

Ya sea individual o colectivamente, reconocer las limitaciones de nuestra comprensión guía a las personas a examinar su entorno de manera crítica. Este proceso de exploración y reflexión con mente abierta allana el camino para soluciones creativas e imaginativas que también encuentran a su público. Es a través de las opiniones de otras personas que podemos elegir enriquecer nuestra perspectiva.

Lauri Lukka es una psicóloga y diseñadora de juegos que vive en Helsinki y se centra en el diseño centrado en el usuario.