Построить ETL процесс, который позволит легко подключать новые источники данных к системе. Создать единый UI интерфейс для работы с данными вместо набора разрозненных инструментов.
Обновленный сервис агрегирует и обрабатывает данные о транспортных средствах для анализа сегментов дороги и позволяет легко добавлять новые источники данных. Новый единый UI позволяет работать с данными даже не техническим пользователям.
Сложная система развертывания с использованием AWS Kubernetes была разработана на ранней стадии проекта, поэтому команде пришлось разобраться в ней в сжатые сроки (3 недели).
Создание процесса единого входа (SSO), который позволяет пользователям беспрепятственно перемещаться между пользовательским интерфейсом Galileo, RoadIQ, JupyterHub и Google Cloud без необходимости повторного входа в систему на каждой границе приложения.
Данные, необходимые для пользовательского интерфейса, были распределены между множеством источников — таблицами BigQuery, облачными функциями, базой данных Postgres, Auth0. Мы разработали GraphQL API для взаимодействия с пользовательским интерфейсом, который агрегирует данные из этих источников.
Единый пользовательский интерфейс, в который включены интерфейсы обработки и анализа данных (табличные данные, тепловые карты, графики и диаграммы, интеграция Kepler).
Новый ETL процесс, которые позволяет легко добавлять новые источники данных
Интеграция с Kepler.gl и загрузка сложных наборов данных, обеспечивающих представление транспортных событий на основе местоположения и времени
Разработан настраиваемый инструмент предварительного просмотра, где мы показываем интерактивные карты улиц и местности, а также сами необработанные данные
На основе Google Cloud Functions создан адаптер для существующего загрузчика данных, что позволило пользователям использовать данные и создавать модели из локальных файлов, а не только из таблиц BigQuery.
Отправь заявку