Наконец-то наступил этот день, когда черный ящик стал прозрачным, но действительно ли Transformer может заменить ручные признаки?

По сообщению AIMPACT, 15 мая X опубликовал на Github открытую исходную кодовую базу алгоритма информационной ленты «Рекомендуем для вас», предоставляющего полностью автоматизированную цепочку обработки. Система использует Thunder для сбора интересующего контента, Phoenix для поиска релевантной информации по всему интернету, а затем применяет модифицированный Transformer Grok-1 для оценки и сортировки взаимодействий, таких как лайки, ответы, репосты и клики. Также добавлены внедрение рекламы, классификатор понимания контента (детекция спама и соблюдение политики контента) и расширение данных с помощью hydrator, заявляя о полном отказе от ручных признаков и использовании Transformer для определения релевантности.