Lo que necesitas saber

Primate Labs acaba de lanzar Geekbench 6, una nueva versión de su popular aplicación de evaluación comparativa. La nueva versión incluye nuevas pruebas y nuevos conjuntos de datos para medir mejor el rendimiento. Las nuevas pruebas incluyen desenfoque de fondo, similar a la tecnología utilizada durante las videoconferencias; filtros de fotos, similares a los que usan las aplicaciones modernas de redes sociales; y detección de objetos para cargas de trabajo de IA. Los nuevos conjuntos de datos incluyen fotos de alta resolución para alinearse con las capturadas por los mejores teléfonos de la actualidad (de 12 a 48MP) y ejemplos en PDF más grandes y modernos.

Un gran cambio para Geekbench 6 en comparación con Geekbench 5 y otras versiones es cómo se calculan las puntuaciones de varios núcleos. Anteriormente, se creaban y medían múltiples tareas individuales para ver qué tan rápido se completaban. Cuantos más núcleos tuviera, más rápido se completarían. Sin embargo, en Geekbench 6, se usa una carga de trabajo y todos los núcleos trabajan juntos en ese único objetivo compartido. Todavía es cierto que cuantos más núcleos tenga, más rápido se completará. Sin embargo, ahora hay interacción entre los núcleos.

Coincidiendo con el lanzamiento, tuvimos la oportunidad de conversar con John Poole, CEO y fundador de Primate Labs y autor original de las primeras versiones de Geekbench, para discutir todo lo relacionado con Geekbench 6.

Para conocer los resultados de referencia de Geekbench 6, asegúrese de volver a consultar con autoridad de Android durante los próximos días y semanas mientras lo ponemos a prueba con los últimos y mejores dispositivos. También puede consultar una transcripción completa de nuestra entrevista con John Poole en el enlace o viendo el video de arriba.

En 2003, Apple lanzó la primera computadora de escritorio de 64 bits del mundo, la Power Mac G5. Poole compró uno, pero una vez que llegó a casa sintió que no era mucho más rápido que la generación anterior. Así que descargó algunos puntos de referencia estándar de la época, pero después de algunas pruebas se dio cuenta de que los puntos de referencia existentes no estaban haciendo un buen trabajo. ¡Así que decidió escribir el suyo propio! Avance rápido tres años y Geekbench 1.0 se lanzó al público. Hoy en día, Geekbench es el estándar de facto para probar dispositivos informáticos de consumo, desde computadoras portátiles y de escritorio hasta teléfonos Android e iOS.

A pesar de su popularidad, algunas personas aún desconfían profundamente de los puntos de referencia, ya que afirman que son sintéticos y no representan casos de uso del mundo real. Le planteé esta pregunta a Juan. «Entonces, en Geekbench 6 tenemos quince cargas de trabajo separadas que usamos para medir el rendimiento de la CPU y tratamos de elegir una variedad de tareas diferentes que reflejen, al menos creemos, para qué usan las personas sus computadoras a diario. día tras día o lo que usan sus teléfonos inteligentes para un día tras otro”, me dijo. El objetivo de Geekbench 6, dice Poole, es «realmente reducir lo que la gente realmente hará con sus computadoras». Él continúa:

Así que realmente estamos tratando de reducirlo a lo que la gente realmente hará con sus computadoras. Entonces, algo como la compresión es importante porque cuando descargas aplicaciones a tu teléfono inteligente, Android las descomprime y luego las instala. Otras cosas, como las pruebas de HTML, están ahí porque las personas pasan mucho tiempo en sus navegadores web hoy en día, esa es una métrica importante para capturar. Otras cosas que surgieron de la pandemia, cosas como videoconferencias y tenemos una carga de trabajo de desenfoque de fondo para ese efecto de Zoom en el que se ve su cara pero no el fondo, que de repente se convierte en una nueva carga de trabajo que no lo era. Ni siquiera era relevante hace tres o cuatro años.

Agregó que: “Tratamos de ver qué va a ser interesante para los usuarios, qué es realmente intensivo en CPU, qué va a ser realmente importante para el dispositivo día tras día. Realmente no queremos que Geekbench exista en el vacío, queremos que sea representativo de lo que la gente realmente hace».

Poole me confirmó que no es posible comparar las puntuaciones de Geekbench 5 con las puntuaciones de Geekbench 6, ya que es un punto de referencia completamente nuevo. Para Geekbench 5, las puntuaciones se calibran frente a una puntuación de referencia de 1000, que es la puntuación de un Intel Core i3-8100. Una puntuación más alta significa una mejora en el rendimiento, y una puntuación doble significa una mejora doble en el rendimiento.

Curiosamente, Poole también señaló que no necesariamente se puede comparar una versión menor (por ejemplo, la 5.0) con otra versión menor (como la 5.1):

Siempre habrá algunos comentarios que recibiremos después de enviar un punto de referencia, alguien señalará algo y diremos «ups», cometimos un error allí, debemos corregirlo. Siempre tratamos de hacer eso en los primeros meses, así que de 6.0 a 6.1, ¿será comparable? Es difícil decirlo, pero después de ese punto, realmente tratamos de mantener el punto de referencia comparable para 6.1, 6.2, 6.3, etc. Por lo general, cuando hacemos un lanzamiento puntual es porque estamos agregando soporte para nuevo hardware. Por lo tanto, si está comparando hardware nuevo, es posible que desee usar solo la versión más reciente. En su mayor parte, es comparable, tratamos de indicar explícitamente dónde es o no comparable en las notas de la versión.

A veces recibo comentarios Gary explica que Geekbench está mejor optimizado para un sistema que para otro, lo que genera una disparidad en las puntuaciones entre los dispositivos móviles y de escritorio. Le pregunté a Poole si Geekbench está igualmente optimizado para todos los sistemas, «absolutamente, pasamos mucho tiempo [on that].”

«Digamos, por ejemplo, que escribimos una versión NEON de una función, no queremos tomar esa versión NEON e intentar anidarla encima de una versión SSE», explica. “Tratamos de escribir las cosas de una manera que sea natural para el conjunto de instrucciones específico, que aproveche y sea consciente de las desventajas de ese conjunto de instrucciones. Entonces obtienes algo que debería ser comparable en ambas plataformas».

Los procesadores, ya sea en computadoras de escritorio, portátiles o teléfonos inteligentes, tienden a tener aceleración de hardware para diferentes tareas como el cifrado o la codificación/descodificación de video. También hay conjuntos de instrucciones especiales como SSE y AVX en x86-64, o NEON y SVE en chips Arm. Le pregunté a Poole sobre el enfoque de Geekbench para la aceleración de hardware. El primer punto que mencionó es que Geekbench no incluye pruebas específicas de codificación de video. Esto no se debe a que no quieran incluirlos, sino a que todos los sistemas de codificación de video modernos deben tener licencia y patentes adjuntas. Entonces, por ahora, Primate Labs se ha alejado de ellos. Pero para otras pruebas, como una prueba de filtro al estilo de Instagram, los ingenieros usan lo que usaría una aplicación común, por lo que para Arm sería NEON (y SVE llegará pronto, tal vez en Geekbench 6.1), y para x86-64 esto significa SSE y AVX2.

“Trabajamos con las empresas de hardware, las que crearon o implementaron las instrucciones, trabajamos con ellas para asegurarnos de que lo que tenemos no es necesariamente lo mejor que puede ser, sino que es una muestra justa y representativa de lo que el uso de instrucciones podría ser”, explicó Poole. «Hacemos esto con todos los diversos conjuntos de instrucciones que admitimos, así que ya sea NEON en el lado Arm o AVX en el lado x86, tratamos de asegurarnos de que lo que hemos escrito sea justo y razonable».

Todas las decisiones importantes se toman en el entorno de prueba y desarrollo de Primate Labs, denominado «The Hardware Computer Museum», que alberga más de 150 dispositivos de prueba, desde un sistema Intel Core Duo hasta sistemas Raptor Lake (es decir, utilizando un procesador Intel Core de 13.ª generación). ). ¡Le bromeé a Poole diciendo que realmente me gustaría ver un recorrido por ese laboratorio! Estuvo de acuerdo en que un recorrido por el laboratorio y su proceso de desarrollo habría sido útil «porque creo que habría eliminado muchos de esos temores que la gente tiene acerca de que Geekbench es una caja negra, ‘¿quién sabe qué hay dentro?'».

Tour o no, Poole tiene muy claro qué tan en serio se toman el desarrollo de Geekbench, y Geekbench 6 no es una excepción.