BinEval separar la evaluación en preguntas de sí/no es un truco ingenioso, el espacio para inflar puntuaciones se comprime directamente, y las alucinaciones que parecen fluidas pero son factualmente incorrectas finalmente pueden ser detectadas.

BinEval convierte la evaluación en preguntas de verdadero/falso, que se responden una por una y se puntúan según la tasa de aciertos, mejorando la transparencia y suprimiendo informes falsos. Las investigaciones muestran que su puntuación se acerca o supera a Unieval en múltiples conjuntos de datos, y es especialmente buena para detectar respuestas que son superficialmente coherentes pero fácticamente incorrectas. Tomando como ejemplo el resumen de intercepción de aeronaves, el evaluador anterior otorgó una puntuación perfecta de 5.0, mientras que BinEval obtuvo 1.57 a través de siete preguntas de verdadero/falso, cercano al 2.0 humano. La optimización con retroalimentación mejora el cumplimiento del formato en aproximadamente 17 puntos porcentuales, pero sigue siendo difícil mejorar restricciones rígidas como el número de palabras.