20B Modelo Pequeño Iguala a GPT-5 y Opus en Capacidad de Búsqueda: Chroma Lanza Modelo de Agente de Búsqueda de Código Abierto Context-1

robot
Generación de resúmenes en curso

Según el monitoreo de 1M AI News, la base de datos vectorial de código abierto Chroma ha lanzado Context-1, un modelo de búsqueda de agente de 20 mil millones de parámetros diseñado específicamente para tareas de recuperación de múltiples turnos. Los pesos del modelo son de código abierto bajo la licencia Apache 2.0, y el código para la generación de datos sintéticos también está disponible públicamente. Context-1 se posiciona como un subagente de recuperación: no responde preguntas directamente, sino que devuelve un conjunto de documentos de apoyo para los modelos de razonamiento posteriores a través de búsquedas de múltiples turnos. La tecnología central es el ‘contexto de autoedición’, donde el modelo descarta activamente fragmentos de documentos irrelevantes durante el proceso de búsqueda, liberando espacio dentro de una ventana de contexto limitada para búsquedas posteriores, evitando así la degradación del rendimiento causada por la sobrecarga de contexto. El entrenamiento se lleva a cabo en dos fases: primero, utilizando modelos grandes como Kimi K2.5 para generar trayectorias SFT para el calentamiento de ajuste fino supervisado, seguido del entrenamiento en más de 8,000 tareas sintéticas a través del aprendizaje por refuerzo (basado en el algoritmo CISPO). El diseño de recompensas emplea un mecanismo de currículo, fomentando una amplia exploración en las primeras etapas y cambiando gradualmente hacia la precisión en las etapas posteriores para promover la retención selectiva. El modelo base es gpt-oss-20b, adaptado utilizando LoRA, y realiza inferencias con cuantización MXFP4 en B200, logrando un rendimiento de 400-500 tokens por segundo. En los cuatro benchmarks de dominio autoconstruidos de Chroma (web, finanzas, derecho, correo electrónico) y benchmarks públicos (BrowseComp-Plus, SealQA, FRAMES, HotpotQA), la versión paralela de cuatro vías de Context-1 coincide o se acerca estrechamente a las métricas de ‘tasa de aciertos de respuesta final’ de modelos de vanguardia como GPT-5.2, Opus 4.5 y Sonnet 4.5; por ejemplo, logró 0.96 en BrowseComp-Plus (comparado con 0.87 para Opus 4.5 y 0.82 para GPT-5.2), mientras que su costo y latencia son solo una fracción de los últimos. Notablemente, el modelo se entrenó solo con datos web, legales y financieros, pero también demostró mejoras significativas en el dominio del correo electrónico, que no fue incluido en el entrenamiento, lo que indica la transferibilidad de las capacidades de búsqueda entre dominios.

Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Anclado