Все понимают больные точки итерации обучения больших моделей — данные зачастую начинаются с 10TB, и каждое обновление требует повторной загрузки, что при таком объеме занимает много времени и ресурсов.

Walrus недавно оптимизировал этот вопрос. Основное улучшение — функция инкрементального обновления на уровне сегментов — загружайте только измененные блоки данных, остальные остаются без изменений. Звучит просто, но эффект действительно заметен. Есть практический пример: при итерации обучающего набора данных объемом 10TB после внедрения этой системы время сократилось с нескольких часов до 15 минут. В плане затрат снижение тоже значительное — расходы на хранение удалось сократить на 70%.

Для малых и средних AI-компаний такое решение особенно полезно. Оно экономит время и значительно снижает операционные расходы, повышая эффективность данных итераций и уменьшая нагрузку на хранилища. Кажется, это отличный выбор.