Coin World News, el último informe técnico de Gemma 4 lanzado por Google muestra cómo una arquitectura minimalista permite que los modelos grandes se ejecuten más rápido en teléfonos y dispositivos periféricos, ahorrando más memoria. El modelo Gemma 4 12B logra por primera vez una integración bimodal sin codificador de visión y audio, eliminando directamente el 93 % del traductor visual y eliminando por completo el traductor de audio, resolviendo el desperdicio de memoria causado por los "traductores externos". Además, este modelo reduce el uso de memoria en un 37,5 % mediante la reutilización de la atención global al procesar textos largos. Su versión ligera para dispositivos periféricos, el acelerador de predicción, también reduce el rango del diccionario de 260 000 a 4096, mejorando significativamente la velocidad de decodificación.

Ver original
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • 5
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
MultisigOnRocks
· hace3h
Si la arquitectura sin codificador realmente funciona, en el futuro, los modelos pequeños también podrán ejecutar multimodal de forma local.
Ver originalResponder0
AirdropTaxPanic
· hace7h
La optimización local de Google allana el camino para la IA en teléfonos, Apple siente la presión.
Ver originalResponder0
DepegDaydream
· hace7h
El aumento de la velocidad de decodificación con un vocabulario de 4096 es interesante, pero ¿se sacrificará la cobertura multilingüe?
Ver originalResponder0
GateUser-f78f1f3e
· hace7h
Elimina el 93% del traductor visual y además no necesita codificador de audio, esta intensidad de adelgazamiento es incluso más feroz que yo.
Ver originalResponder0
LimitOrderMonk
· hace7h
La reutilización de la atención global ahorra un 37.5% de memoria, por fin los textos largos no explotan la memoria.
Ver originalResponder0
  • Fijado