Данные - неотъемлемый аспект любого бизнеса. Они позволяют разрабатывать решения, отслеживать метрики и создают структуру для упорядоченных и интегрированных процессов. Данные дают возможность принимать бизнес-решения.
Я говорю это, основываясь на том, что такие консалтинговые фирмы, как McKinsey, в своих исследованиях обнаружили, что компании, использующие искусственный интеллект и аналитику, могут приписать им 20% своих доходов.
Аналогичным образом, мне удалось проконсультировать нескольких клиентов и помочь им найти новые источники дохода, а также возможности сокращения расходов.
Есть одна загвоздка.
Вам необходимо создать определенную инфраструктуру данных или обновить существующую, чтобы убедиться, что вы сможете в полной мере использовать все преимущества, которые предлагает современный мир данных.
Чтобы прояснить ситуацию, я не имею в виду, что вам нужно использовать самые современные и дорогие инструменты для работы с данными. Иногда я подталкиваю клиентов к гораздо более простым и экономически эффективным решениям, когда речь заходит об инструментах для анализа данных.
Одним из важных решений является выбор правильного конвейера данных и поставщика коннекторов. Именно эти конвейеры данных обеспечивают поступление данных в хранилища данных и озера данных будущего.
Многие компании испытывают трудности на этом этапе и часто просто выбирают конвейеры данных, созданные на заказ. Это не всегда хороший выбор.
Это может привести к большому техническому долгу и будущим расходам, которых можно избежать.
Именно здесь на помощь приходят такие инструменты, как Airbyte.
Что такое Airbyte?
Airbyte - это платформа конвейера данных с открытым исходным кодом, которая служит альтернативой Stitch data и Fivetran. Хотя существующие платформы конвейера данных предлагают значительное количество интеграций с такими известными источниками, как Stripe и Salesforce, в текущей модели есть пробел, который не позволяет интегрировать небольшие сервисы.
Airbyte решает эту проблему, создавая и поддерживая коннекторы, одновременно развивая сообщество пользователей, которые пользуются преимуществами пользовательских коннекторов друг друга. Создание пользовательских коннекторов для поддержки своих приложений - обычная практика для компаний. Модель Airbyte с открытым исходным кодом создает сообщество, в котором компании могут поддерживать друг друга, создавая и поддерживая свои уникальные коннекторы.
Коннекторы на Airbyte работают в контейнерах Docker, что обеспечивает независимую работу. Вы можете легко отслеживать каждый из своих коннекторов, обновлять их по мере необходимости и планировать обновления. Airbyte сначала сертифицирует новые коннекторы, чтобы убедиться, что они готовы к производству; в настоящее время доступно более 46 коннекторов. Уже более 250 компаний пользуются преимуществами этой платформы конвейера данных с открытым исходным кодом.
Почему компании обращаются к Airbyte?
Существует постоянная проблема, с которой сталкиваются компании. Их существующие платформы ETL (извлечение, преобразование и загрузка) обычно трудно поддерживать.
Большинство из них требуют большого количества пользовательского кода и, в свою очередь, большого количества разработчиков только для того, чтобы создать несколько конвейеров.
Во многих компаниях создаются собственные коннекторы. Проблема в том, что обслуживание собственных коннекторов обходится недешево. ETL ориентируются на свою прибыль, ограничивая количество предлагаемых коннекторов, хотя это создает пробелы в решениях для компаний, использующих их платформы.
Кроме того, существующие ETL имеют модель ценообразования на основе объема, что может обойтись компании в тысячи долларов, если один из ее сотрудников случайно продублирует большую базу данных. Поскольку проблемы безопасности находятся на самом высоком уровне, отсутствие у компаний видимости систем ETL порождает сомнения и недоверие.
Поскольку эти проблемы сохраняются, компании ищут менее дорогостоящие решения, которые позволят им масштабироваться без необходимости строить и поддерживать те же виды конвейеров, которые должны покрывать решения ETL.
Почему ETL нуждается в открытом исходном коде - по мнению Airbyte
ETL нуждается в открытом коде, потому что он предоставляет вам прямой доступ для исправления ошибок в коде. Вместо того чтобы терять время на переписку с техподдержкой, у вас есть необходимый доступ для редактирования кода, очистки данных и перехода к следующей задаче.
С открытым исходным кодом вы больше не зависите от поставщика ETL. Вместо того чтобы пытаться убедить его в том, что требуемый вам коннектор стоит времени и денег, потраченных на его разработку и поддержку, вы можете вообще обойтись без поставщика ETL и двигаться вперед с помощью сообщества Airbyte, создавая нужный вам коннектор.
Модель Airbyte с открытым исходным кодом повышает эффективность по всем направлениям. Вместо того чтобы полагаться на команду обслуживания клиентов, которая будет рассматривать ваш запрос в течение нескольких рабочих дней, вы получаете возможность отладки по своему усмотрению. Сократите время, необходимое для устранения проблем, более чем в два раза, исправляя любые ошибки самостоятельно.
Куда идет Airbyte?
Airbyte ставит перед собой цель предоставить 200 коннекторов к концу этого года. Разработчики могут писать коннекторы на любом языке, а их графический интерфейс идеально подходит для пользователей, которые не так хорошо разбираются в технологиях, как разработчики.
Поскольку коннекторы запускаются в виде образов Docker, они поддерживаются множеством систем, включая Fargate и Kubernetes. Такая оптимизация позволяет пользователям запускать коннекторы по мере необходимости, не беспокоясь о том, в какой среде они находятся.
Последние добавления Airbyte
Совсем недавно компания Airbyte выпустила комплект для разработки разъемов (Airbyte CDK), который позволяет пользователям создать разъем примерно за два часа. Это стало возможным благодаря использованию кода, специфичного для коннектора, что означает, что пользователи могут наслаждаться упрощенным процессом, который убирает 75 процентов кода с этапа разработки.
Airbyte решает проблему интеграции с помощью своей модели с открытым исходным кодом и сокращает процесс создания коннекторов, создавая при этом поддерживающее сообщество, которое пользуется изобретательностью друг друга.
Их долгосрочной целью является реализация стратегии открытого ядра, что означает, что они могут предложить корпоративную версию. Они работают над включением простой регистрации, управления ролями и доступом, функций соответствия и протоколов качества данных.
Отзывы текущих пользователей также заставляют их работать над созданием хостинговой версии. Airbyte стремится стать стандартом данных для отрасли. Развивая свое сообщество и инструментарий, компания находится на этом пути.
Стоит ли мне нанимать архитектора решений по данным для Airbyte
Такие инструменты, как Airbyte, делают разработку ELT очень простой. Планирование, коннекторы и преобразования устраняют большую часть тяжелой инфраструктуры, которая требует участия инженеров по данным и программному обеспечению.
Однако это не означает, что вам не нужен специалист по данным.
Если вам необходимо создавать информационные панели на основе данных, а также создавать надежные и устойчивые SQL-запросы, наличие сильного специалиста по данным очень важно.
