Снизить расходы на хранение и обработку данных, связанных с таргетированием рекламы.
Разработана и построена графовая БД поверх HBase, которая может эффективно фильтровать дубликаты и выполнять транзитивный поиск идентификаторов. В результате затраты на хранение и обработку данных снижены в разы.
Мы активно прототипировали и тестировали решения на различных типах хранилищ:графовые базы данных (AWS Neptune, TigerGraph, Nebula),столбцовые базы данных (Сassandra, ScyllaDB).
AWS Neptune не справлялся с нагрузкой, TigerGraph был слишком дорог.
Нам потребовались десятки часов на общение со службой поддержки TigerGraph по устранению технических ошибок, и в конце концов мы решили использовать вместо него HBase, который оказался в десять раз дешевле.
Разработка архитектуры хранения данных и создание Linkage хранилища данных с 10*109 новых связанных записей данных из 40 различных систем ежедневно с TTL 90 дней.
Хранилище Linkage хранит 10*109 (!) новых связанных записей данных из 40 различных систем ежедневно с TTL 90 дней.
Заказчик планирует использовать данные о связях для решений на основе ИИ, чтобы значительно повысить финансовую эффективность показа рекламы для своих издателей.
Раньше заказчику приходилось работать с интенсивно дублируемыми данными (коэффициент дублирования 4х), теперь данные дедуплицируются автоматически при закладке в хранилище.
Благодаря дедупликации размер хранилища Linkage для хранения данных за 90 дней будет меньше, чем объем хранилища необработанных данных за 7 дней.
Хранилище Linkage на базе HBase будет стоить не более 10 тысяч долларов в месяц, что будет выгодно заказчику, который планирует ежемесячно возвращать 20 тысяч долларов от этой инвестиции.
Отправь заявку