Экстрактор данных 1С в BI

Материал из Циклопедии
Перейти к навигации Перейти к поиску

Экстрактор данных 1С в BI-системы — специализированное ETL «расширение» (дополнение) к конфигурациям 1С на платформе 1С 8.2 и 1С 8.3.

Позволяет автоматизировать выгрузку произвольных данных 1С в аналитическую базу Clickhouse автоматически, без участия программиста.

Проблематика[править]

Решение 1С 8.х является одним из самых распространенных в России и странах СНГ.

1С 8.х является классической OLTP-системой, решающей задачи ввода и обработки данных.

Однако с точки зрения аналитики — 1С 8.х крайне неудобна, особенно в свете self-made подхода к анализу данных, который все более и более набирает популярность.

Достаточно обратиться к поисковым запросам в сети Интернет по связке слов: «1С и Power BI», «1С и Yandex Datalens», «1С и Qlik Sense». Сразу становится понятно, что данная тема является головной болью всех BI-аналитиков.

Проблема в том, что:

  1. Прямое обращение к таблицам в БД 1С (в клиент-серверном варианте) прямо запрещено лицензионным соглашением 1С. При тэтом в файловом варианте к БД, 1С невозможно обращаться в принципе из-за проприетарного формата файловой базы данных 1С
  2. Таблицы в БД 1С не являются «человеко-читаемыми» (что требует использования специализированных средств декодирования структуры таблицы базы 1С из «внутренних идентификаторов» метаданных)

Известные интернет-ресурсы признают эту проблему[1][2].

Возможности Экстрактора[править]

  1. Выгрузка произвольных наборов данных (запросов) 1С в таблицу-приемник БД Clickhouse
  2. Автоматическое создание и модификация структуры таблицы в базе-приемнике Clickhouse
  3. Автоматическая выгрузка по произвольному расписанию данных 1С
  4. Многопоточность (распараллеливание выгрузки данных на множество партиций (partitions)
  5. Отслеживание и регистрация изменений в базе 1С для последующей автоматической выгрузки

История создания решения[править]

Изначально, Экстрактор данных 1С в BI" разрабатывался для решения проблемы организации доступа к данным 1С из BI-системы — Yandex Datalens. В связи с чем, была выбрана следующая архитектура:

  • из 1С, данные автоматически выгружаются в аналитическую базу Clickhouse
  • а уже на данных этой базы Clickhouse строятся Датасеты, чарты и дашборды в Yandex Datalens

Однако, Экстрактор 1С показал свою эффективность в работе не только с Yandex Datalens, но и как средство извлечения данных из 1С для таких продуктов как:

  • Loginom
  • Visiology
  • Power BI
  • Qlik Sense
  • и других BI
  • а также как основа для разработки корпоративных хранилищ данных (DWH)

Данный программный продукт прошел регистрацию в «Реестре российского ПО»

Источники[править]

  1. ↑ К примеру на сайте powerbirussia.ru выпущено несколько материалов по данной теме
  2. ↑ статья на сайте Павла Чистова, где описана попытка решить проблему извлечения данных из 1С для BI средствами программирования на 1С

Ссылки[править]

Источник — http://cyclowiki.org/w/index.php?title=Экстрактор_данных_1С_в_BI&oldid=1906839