Desde que se lanzó DeepSeek, he estado experimentando con la creación de mi propio producto.

Al principio, no sabía nada, así que usé un "flujo de trabajo desacoplado": escribir un archivo .md para cada pequeño paso, leerlo, confirmar la lógica y luego pasar al siguiente paso.

Luego aprendí a escribir JSON, intenté poner datos en LiteSQL y descubrí cómo inspeccionar la base de datos. Pero una vez que los datos se hicieron más grandes, LiteSQL IO simplemente no pudo seguir el ritmo.

Así que mi compañero de equipo y yo nos mudamos a Redis para la aceleración, luego a la transmisión distribuida de Kafka. Incluso investigué RisingWave para ejecutarlo directamente sobre Kafka.

Pero eventualmente la computación en streaming se convirtió en el cuello de botella, así que pasé al procesamiento vectorizado con Polars.
¿Y para el almacenamiento? Volvimos a archivos parquet simples.

Mirando hacia atrás, no puedo evitar reírme—
Si hubiera aprendido a leer parquet al principio, nada de esto habría sucedido 😂