Как работать с Big Data быстрее и эффективнее: Kubernetes для Data Science

_[Big Data by Batjorge]( https://www.deviantart.com/batjorge/art/Big-Data-844940615)_ Традиционный подход к построению работы с большими данными — развернуть Hadoop-кластер, установить дополнительные инструменты и построить на нем платформу для работы с данными. Но в таком подходе есть несколько ограничений, вроде невозможности разделения Storage- и Compute-слоев, сложностей масштабирования и изоляции сред для разных приложений. Даже несмотря на то, что Hadoop можно арендовать у облачного провайдера как сервис (aaS), такой подход все равно мало чем отличается от развертывания на собственном оборудовании.
Однако есть другой, Cloud-Native подход работы с большими данными. Он позволяет решить эти проблемы, а также получить дополнительные возможности от облачных технологий. Для этого используют Kubernetes, интегрируя его с различными инструментами.
Я Александр Волынский, архитектор облачной платформы [ Mail.ru Cloud Solutions]( https://mcs.mail.ru/ ). Расскажу, как Kubernetes помогает в работе с Big Data, какие используются инструменты и какие преимущества можно получить по сравнению с классическим развертыванием.
> Также вы можете посмотреть видеовыступление на [митапе «Большие данные: не хайп, а индустрия»]( https://youtu.be/HVqVEQb991c?t=1406 ).
[Читать дальше ->]( https://habr.com/ru/post/564680/?utm_source=habrahabr&utm_medium=rss&utm_campaign=564680#habracut ) https://habr.com/ru/post/564680/?utm_source=habrahabr&utm_medium=rss&utm_campaign=564680