Развитие проекта Big Data

Департамент информационных технологий города Москвы

Длительность: 9 месяцев
Команда: 10 специалистов
Технологии: Apache Hadoop, HDFS, HBase, Solr, Apache Oozie, MapReduce, Apache Spark, Pig!, Python, Hive, Vue.js, nginx, Java, Spring Boot, web, Apache Tomcat, PostgreSQL

Задача: Разработать систему обмена и обработки данных для Правительства Москвы, которая должна анализировать обезличенные Большие данные о населении, собираемые со всех ИТ-систем города, а также приобретаемые у операторов «большой четверки». На основе полученных данных система должна позволять руководству прорабатывать новые инициативы в сфере транспортной логистики, демографии, социальных услуг и статистических данных.

Решение: В результате Система, разработанная специалистами ITFB, обеспечивает:
- Консолидацию, унификацию и хранение данных объект-событие, полученных из информационных систем Правительства Москвы
- Упорядочивание Больших данных, расчет достоверности значений атрибутов, оценку полноты их состава, дообогащение готовой и синтетической информацией
- Предоставление актуальных данных в различных срезах для машинного обучения и анализа
- Удобный пользовательский интерфейс с возможностью управления метаданными, выполнения поиска и навигации по данным, формирования отчетов и управления статистическими и аналитическими витринами
- Все необходимые методы аутентификации, авторизации и идентификации для повышения уровня информационной безопасности
- Унифицированный API для внешних систем.

Услуги: Дизайн и проектирование

Услуги: Разработка

Услуги: Оптимизация

Технологии: Database & DWH

Технологии: Big Data

Дизайн и проектирование: Бизнес и системный анализ

Дизайн и проектирование: ИТ-архитектура

Разработка: Web-разработка

Разработка: Backend-разработка

Разработка: Big Data

Оптимизация: Оптимизация разработки и внедрения

Database & DWH: PostgreSQL

Big Data: Apache Hadoop

Big Data: HDFS

Big Data: HBase

Big Data: Solr

Big Data: Apache Oozie

Big Data: MapReduce

Big Data: Apache Spark