Exclusiva: El fundador de Geekbench responde a la polémica sobre el bloqueo del benchmark del Pixel 8

Notebookcheck publicó recientemente la noticia de que Google parece haber haber bloqueado a los escritores que reseñan su nuevo Pixel 8 y Pixel 8 Pro para que no pudieran instalar fácilmente apps de benchmarks populares como Geekbench 6 y 3D Mark durante el periodo de embargo. Fue un movimiento muy inusual y planteó preguntas sobre las motivaciones de Google para hacerlo. Google ha hecho sobre las capacidades del Tensor G3 chip en el corazón de sus últimos Pixel, en particular su rendimiento en IA. Sin embargo, al no poder instalar la aplicación, muchos revisores no pudieron comprobar las afirmaciones de Google ejecutando los puntos de referencia, como es práctica habitual en la mayoría de las revisiones, ya que proporciona una forma objetiva y estandarizada de evaluar el rendimiento del chip.

Uno de los principales puntos de referencia utilizados por los revisores es Geekbench. Se trata de una popular utilidad de evaluación comparativa multiplataforma que se utiliza principalmente para evaluar el rendimiento de la CPU, aunque también cuenta con una suite de cálculo para la GPU. La prueba evalúa tanto el rendimiento mononúcleo de un chip como su rendimiento multinúcleo, y es también una prueba "multiplataforma". Esto significa que los resultados que produce pueden compararse entre distintos dispositivos como teléfonos móviles y ordenadores portátiles, sistemas operativos como Android y Windows, y entre chips fabricados por empresas de la talla de Apple, Intel, Qualcomm, Google, Samsung, MediaTek y AMD.

Cuando Geekbench se actualizó recientemente a la versión 6, añadió la capacidad de probar nuevas áreas de aplicación, incluido el rendimiento de la RA, y también puso un mayor énfasis en el aprendizaje automático, que potencia el potencial de la IA de un chip. También es utilizado y avalado por empresas como Samsung, Microsoft, AMD, Dell, HP, LG, MediaTek y más. Como tal, se podría pensar que, dada la forma en que Google promociona el rendimiento de IA de sus conjuntos de chips Tensor, este sería un punto de referencia que Google estaría feliz de que los revisores instalaran en sus unidades Pixel 8 y Pixel 8 Pro. Hubo revisores con los conocimientos necesarios para eludir el bloqueo de Google Play Store simplemente descargando el paquete de aplicaciones para Geekbench 6 e instalándolo manualmente mediante un proceso conocido como carga lateral.

Los resultados Geekbench 6 producidos por el Tensor G3 fueron poco halagüeños - tanto durante el período de embargo de la revisión como después. Algunos fans del Pixel han publicado teorías de que había un problema de compatibilidad con los puntos de referencia y Android 14, y que Google no había bloqueado deliberadamente su fácil instalación. Sin embargo, esto no explica por qué las aplicaciones podían cargarse lateralmente y ejecutarse con éxito, o por qué los resultados pre y post-bloqueo de no eran diferentes. Nos hemos puesto en contacto con Google para que nos haga llegar sus comentarios, pero no hemos recibido respuesta en el momento de redactar este informe. También nos pusimos en contacto con Primate Labs, los creadores de Geekbench 6, que pudieron proporcionarnos una respuesta.

Al ponernos en contacto con Primate Labs, les preguntamos si tenían conocimiento de algún problema de compatibilidad que hubiera impedido instalar Geekbench 6 en los Pixel 8 y Pixel 8 Pro durante el periodo de embargo de la revisión. John Poole, creador de la versión original de Geekbench y fundador de la compañía proporcionó a Notebookcheck esta respuesta:

No sabemos por qué Geekbench 6 no estaba disponible en los dispositivos Pixel 8 (aunque sospechamos que tenía algo que ver con los embargos). No tenemos conocimiento de ningún problema de compatibilidad con Geekbench 6 en Pixel 8 o Pixel 8 Pro.

Tras nuestra cobertura de este asunto, Arun Maini, un YouTuber más conocido por su handle de @Mrwhosetheboss reveló que las nuevas características clave impulsadas por IA que incorporan técnicas de IA generativa, incluyendo Magic Editor, AI Wallpaper y Best Take, requieren una conexión persistente a Internet para funcionar como se anuncia. Durante la presentación de lanzamiento de Google, dio a entender que estas funciones estaban siendo procesadas por el chip Tensor G3. Este es un mensaje reforzado en el blog oficial de Google ensalzando las virtudes del chip y posicionándolo como "AI-first".

En el blogel vicepresidente de gestión de productos de Google afirma lo siguiente

Nuestro trabajo con Tensor nunca ha sido sobre velocidades y avances, o métricas de rendimiento tradicionales. Se trata de impulsar la experiencia informática móvil. Y en nuestro nuevo chip Tensor G3, se han actualizado todos los subsistemas principales, allanando el camino para la IA generativa en el dispositivo. Incluye la última generación de CPU ARM, una GPU mejorada, nuevos ISP y DSP de imagen y nuestra TPU de última generación, diseñada a medida para ejecutar los modelos de IA de Google.

Pusimos a prueba las afirmaciones de Maini sobre la necesidad de una conexión permanente a Internet para que funcionen algunas de estas nuevas funciones de IA generativa. A pesar de las afirmaciones de Google sobre la capacidad del Tensor G3 para impulsar la IA generativa en el dispositivo, en realidad Google está descargando los requisitos de procesamiento de estas funciones a la nube para que sean procesados por sus servidores, mucho más potentes, aunque parte del procesamiento pueda realizarse inicialmente en el dispositivo. Sin embargo, dado el rendimiento relativamente pobre del Google Tensor G3 en puntos de referencia como Geekbench 6, está claro por qué Google ha tenido que recurrir a la descarga del procesamiento.

Como explica el diseñador de chips Arm en su sitio web (teniendo en cuenta que el Tensor G3 utiliza núcleos de CPU diseñados por Arm), toda su arquitectura está diseñada teniendo en cuenta el rendimiento de la IA, y que los algoritmos de aprendizaje automático se realizan en todo el chip. Esto significa que si un chip no rinde bien en las pruebas comparativas de CPU y GPU, es muy poco probable que demuestre un gran rendimiento en IA. Esto se debe a que las tareas de aprendizaje automático son gestionadas por la CPU y la GPU en conjunción con el acelerador de IA a bordo del SoC conocido como Unidad de Procesamiento Neuronal (NPU) - o, como Google lo llama, la Unidad de Procesamiento Tensorial (TPU). A menudo leerá en foros y chats que "los puntos de referencia no importan", lo que importa es cómo se comporta el dispositivo "en el mundo real". Y hasta cierto punto, hay algo de verdad en esa opinión: los puntos de referencia son una parte de la ecuación general.

Sin embargo, no se puede eludir que la potencia bruta de procesamiento también es una necesidad para un dispositivo que se promociona como "AI-first". La IA generativa requiere claramente más potencia de procesamiento de la que el Tensor G3 es capaz de ofrecer, a pesar de las afirmaciones de Google en sentido contrario - de lo contrario, no habría necesidad de una conexión persistente a Internet y la descarga de estas tareas a la nube para su procesamiento antes de que el resultado sea devuelto al dispositivo del usuario. Se procesaría a bordo. Parece que los algoritmos de software impulsados por IA de Google han llegado a su límite con la capacidad del Tensor G3 para gestionarlos localmente, y la narrativa de Google sobre la poca importancia de las "métricas de rendimiento tradicionales" se ha venido abajo.

Actualización: Artículo actualizado con capturas de pantalla de la página de producto del Pixel 8 Pro de Google con capturas de pantalla de Google describiendo las nuevas funciones avanzadas de IA, incluidas las funciones de IA generativa mencionadas en el artículo. También se incluye una captura de pantalla de la referencia a pie de página en letra pequeña '7' que explica los requisitos y las limitaciones. Tenga en cuenta que Google no hace ninguna referencia al requisito de una conexión persistente a Internet para que las funciones funcionen, ni a que el contenido deba descargarse en los servidores de Google en la nube para el procesamiento de la IA.

Compre el Google Pixel 8 Pro en Amazon a partir de 999 dólares.