ВТБ для работы с большими данными «подружил» Hadoop с ПО Microsoft

Интеграция Hadoop с Microsoft Power BI Как стало известно CNews, первый эксперимент ВТБ повнедрению инструментов больших данных с использование свободного ПО в своемразвитии сделал ставку на более традиционные проприетерные программные продукты.Пользователям созданной в банке системы ГАУСС для формирования аналитической иуправленческой отчетности на открытой платформе Hadoop с использованием свободнойСУБД PostgreSQL и применением технологий обработки данных Apache Spark и ApacheZeppelin потребовались привычные инструменты бизнес-аналитики, а именно MicrosoftPower BI. С учетом того, что напрямую Power BI с Hadoop взаимодействоватьне может, но хорошо работает с данным в Microsoft SQL Server, в ВТБ решилиосуществить интеграцию этой СУБД с Hadoop, задействовав для этого MicrosoftPolybase. Эта технология обращается к информации за пределами базы данных спомощью языка Transact-SQL (T-SQL — процедурное расширение языка SQL). В SQLServer она позволяет выполнять запросы к внешним данным в хранилище BLOB-объектов(массивов двоичных данных) Hadoop, а также импортировать в него данные иэкспортировать их из него. Помощь из Microsoft Polybase призвана считывать данные из Hadoop в разныхрежимах, однако в ВТБ при использовании некоторых из них возникли определенныесложности. Для их устранения банк обратился к вендору решения — Microsoft. http://filearchive.cnews.ru/img/news/2018/01/16/vtb1600.jpg"> Для работы с большими данными из Hadoop банк ВТБ привлек Microsoft Как сообщил CNews начальник управления автоматизациитранзакционного бизнеса департамента ИТ группы ВТБ [b]Артем Батюков[/b], в итоге над вопросом импорта данных из Hadoopнепосредственно в таблицы SQL Server совместно работали специалисты и ВТБ, и Microsoft,и компании Luxoft, которую в банке именуют вендором проекта по созданию ГАУССа. «Мы привлекли технических специалистов Microsoft суникальными навыками, например, специально для этой задачи дополнительнопривлекли архитектора и разработчика, которые эффективно справляются с задачамиR&D и проведения POC (Proof of Concept, проверочные испытания; — [i]прим. CNews[/i]), — говорит Батюков. — Кромеэтого, Microsoft также выделял дополнительно специалистов для поддержки решенияэтой задачи». В итоге, как рассказали CNews в ВТБ, на данный момент всепроблемы решены, а проект интеграции носит статус завершенного. [b]В чем именнопреимущества Power BI для ВТБ[/b] Рассуждения об объективных причинах использования в работе сбольшими данными в ВТБ Power BI Артем Батюков в разговоре с CNews начал суказания на то, что Hadoop и Apache Spark позволяют банку обрабатывать большиеобъемы данных по заранее согласованным алгоритмам. «В большом банке, а ВТБ — этоогромный банк, таких транзакций в день несколько миллионов только по крупнымклиентам банка, — говорит он. — Таким образом, есть предварительно настроенныеалгоритмы, применяя которые, система ежедневно эффективно формируетдетализированный массив данных, который показывает заданные параметры покаждому продукту банка для каждого счета, клиента». По словам Батюкова, для реализации любого алгоритма в Hadoopтребуются навыки в программировании. Что же касается Microsoft Power BI, то онпозволяет аналитикам строить любые отчеты в рамках предварительно настроенноймодели данных, источником которых является Hadoop, без каких либо навыковпрограммирования — инструмент очень прост и похож на MS Excel и другиеинструменты MS Office. «Например, мы хотим изучить объемы транзакций по продуктам,клиентам и счетам за произвольный период, — поясняет Батюков. — С помощью PowerBI мы быстро выбираем сущности “продукт”, “клиент”, “счет”, задаем период инаходим требующиеся для отображения детали. В результате пользователь быстрополучает необходимую информацию в нужных разрезах в рамках заданной модели,которая в отличие от Hadoop ограничивает детализацию данных. В Hadoop хранитсябольшое количество деталей, например, номер, дата, сумма транзакции, а в PowerBI используются только агрегированные данные, например суммы комиссий». Кроме того, Батюков обращает внимание на то, что MicrosoftPower BI — это инструмент бизнес-аналитики, который уже и так используется вбанке централизовано, а приверженность единому ИТ-ландшафту более выгодна сэкономической точки зрения. [b]Прошлое, настоящее ибудущее проекта ГАУСС[/b] Напомним, о завершении пилотного проекта по созданию наоснове Hadoop системы ГАУСС (GAUSS — Global Transaction Business AnalyticUnified Source & System, единая аналитическая система-источник длятранзакционного бизнеса) CNews писал в июле 2017 г. Планы по интеграции системыс Microsoft Power BI были анонсированы еще тогда. Для банка это стало первым опытом в области большихданных, хотя в целом в группе ВТБ (в частности, в ВТБ 24) уже [url=http://www.cnews.ru/news/top/2018-01-16_bank_vtb_podruzhil_hadoop_s_microsoft] Ссылка на источник[/url][img]http://filearchive.cnews.ru/img/news/2018/01/16/vtb1600.jpg"> Для работы с большими данными из Hadoop банк ВТБ привлек Microsoft Как сообщил CNews начальник управления автоматизациитранзакционного бизнеса департамента ИТ группы ВТБ Артем Батюков, в итоге над вопросом импорта данных из Hadoopнепосредственно в таблицы SQL Server совместно работали специалисты и ВТБ, и Microsoft,и компании Luxoft, которую в банке именуют вендором проекта по созданию ГАУССа. «Мы привлекли технических специалистов Microsoft суникальными навыками, например, специально для этой задачи дополнительнопривлекли архитектора и разработчика, которые эффективно справляются с задачамиR&D и проведения POC (Proof of Concept, проверочные испытания; — прим. CNews), — говорит Батюков. — Кромеэтого, Microsoft также выделял дополнительно специалистов для поддержки решенияэтой задачи». В итоге, как рассказали CNews в ВТБ, на данный момент всепроблемы решены, а проект интеграции носит статус завершенного. В чем именнопреимущества Power BI для ВТБ Рассуждения об объективных причинах использования в работе сбольшими данными в ВТБ Power BI Артем Батюков в разговоре с CNews начал суказания на то, что Hadoop и Apache Spark позволяют банку обрабатывать большиеобъемы данных по заранее согласованным алгоритмам. «В большом банке, а ВТБ — этоогромный банк, таких транзакций в день несколько миллионов только по крупнымклиентам банка, — говорит он. — Таким образом, есть предварительно настроенныеалгоритмы, применяя которые, система ежедневно эффективно формируетдетализированный массив данных, который показывает заданные параметры покаждому продукту банка для каждого счета, клиента». По словам Батюкова, для реализации любого алгоритма в Hadoopтребуются навыки в программировании. Что же касается Microsoft Power BI, то онпозволяет аналитикам строить любые отчеты в рамках предварительно настроенноймодели данных, источником которых является Hadoop, без каких либо навыковпрограммирования — инструмент очень прост и похож на MS Excel и другиеинструменты MS Office. «Например, мы хотим изучить объемы транзакций по продуктам,клиентам и счетам за произвольный период, — поясняет Батюков. — С помощью PowerBI мы быстро выбираем сущности “продукт”, “клиент”, “счет”, задаем период инаходим требующиеся для отображения детали. В результате пользователь быстрополучает необходимую информацию в нужных разрезах в рамках заданной модели,которая в отличие от Hadoop ограничивает детализацию данных. В Hadoop хранитсябольшое количество деталей, например, номер, дата, сумма транзакции, а в PowerBI используются только агрегированные данные, например суммы комиссий». Кроме того, Батюков обращает внимание на то, что MicrosoftPower BI — это инструмент бизнес-аналитики, который уже и так используется вбанке централизовано, а приверженность единому ИТ-ландшафту более выгодна сэкономической точки зрения. Прошлое, настоящее ибудущее проекта ГАУСС Напомним, о завершении пилотного проекта по созданию наоснове Hadoop системы ГАУСС (GAUSS — Global Transaction Business AnalyticUnified Source & System, единая аналитическая система-источник длятранзакционного бизнеса) CNews писал в июле 2017 г. Планы по интеграции системыс Microsoft Power BI были анонсированы еще тогда. Для банка это стало первым опытом в области большихданных, хотя в целом в группе ВТБ (в частности, в ВТБ 24) уже Ссылка на источник