11 августа 2016 г.

Data Volume Management в SAP ERP


16 июня был в Московском офисе компании SAP CIS на инфо дне, который назывался "Управление объемами данных в SAP ERP системах" или Data Volume Management.

В целом мне понравилось.

Мои заметки.

Data Volume Management это проект по управлению данными на системе SAP ERP, который достиг определенной точки роста базы данных. Ориентиры: размер базы данных от 500 Гб и прирост от 30 Гб ежемесячно.

Аргументы для начала проекта Data Volume Management:
  • рост базы данных, который часто происходит по экспоненте,
  • требования законодательства к хранению данных,
  • требования со стороны законодательства к удалению персональных данных (особенно в США и Европе),
  • планирование перехода на SAP HANA.

Состоит из массового первого этапа и последующих, выполняемых на регулярной основе.

Основные шаги методологии:
  1. Определение top 30 самых больших таблиц (обычно это > 60 % от размера всей базы данных). Анализ этого списка таблиц.
  2. Избегание. Ненужные данные (например, логи). Отключение позволит избежать роста. В определении обращений к логам на чтение поможет транзакция ST10.
  3. Уменьшение. Например, слишком много детальной информации. Перенастройка.
  4. Обобщение. Исключение детальных данных из функциональных модулей при отображении их в других модулях. Например, MM данные в FI.
  5. Удаление. Старых ненужных данных. Например, spool requests, batch-input sessions.
  6. Архивация. Несет положительный эффект на быстродействии системы, но не всегда явный и не на все таблицы/программы. 
Последний этап (архивация) необходимо проводить на регулярной основе.

Архивация поддерживает уровень бизнес объектов. Необходимо учитывать зависимости между объектами архивации. Система делает это автоматически. 

В основной транзакции SARA есть кнопка Network Graphic, где отображается связь объектов и последовательность проведения процедуры архивации (рис. 1).

Рис. 1. Network Graphic для объектов архивации.

Основные понятия:
  • Residence time – время жизни документа – от создания до архивации.
  • Retention time – от создания до удаления документа из архива.
  • Archiving object – часто это бизнес-объект. Настройка объектов архивации в транзакции AOBJ. Транзакция DB15 – связь таблиц и объектов архивации.

Archive File – сжатый плоский файл, обычно степень 1:5.

Стадии процедуры архивации:
  1. Программа записи – создание N-файлов архивов.
  2. Удаление (1 процесс удаления на 1 архивный файл).
  3. Перенос архивных файлов на External Storage System (часто это Content Server, желательно работа по протоколу Archive Link).

Рекомендуется фаза резервного копирования файловой системы с архивными файлами перед фазой удаления данных из БД.

В программе удаления commit в конце. Поэтому либо удаляет всё, либо ничего.

Для особо важных данных рекомендуется этап удаления данных проводить со считыванием архивных данных из Content Server, то есть рекомендуемая последовательность:
  1. Программа записи.
  2. Перенос архивных файлов на External Storage System.
  3. Удаление архивных файлов из файловой системы.
  4. Удаление данных из базы данных с чтением из External Storage System (Content Server).

Данные по архивации содержатся в таблицах ADMI_RUN и ADMI_FILES. По их содержимому можно понять проводилась ли архивация когда-либо в системе.

Способы доступа к данным в архивах:
  • Транзакция SARA,
  • Транзакция SE38,
  • Стандартные транзакции, в которых есть эта функциональность
  • Reload (для очень редких объектов). Возможно только на тестовой системе или сразу после процедуры архивации. В целом, не рекомендуется.
  • SAP Archive Information System (SAP AS). Транзакция SARI. Построенные индексы для архивов. Таблицы ZARIX_* в БД. Поля настраиваются. Если все поля, что и в архивных данных, то очень большие. Содержат ссылки на смещения в конкретном архивном файле. Иначе очень медленный Full Scan по архивным файлам.

С появлением SAP HANA появились новые нюансы. Вводится понятие Data Aging for SAP HANA.

3 типа данных:
  • Hot data – данные в памяти (In-memory).
  • Warm data (только для BW) HANA Dynamic Tiering 
  • Cold data – для BW – Near Line Storage, для всех систем на SAP HANA - Data Archiving, для SAP S4/HANA – Data Aging – разбиение всех данных на партиции и определение устаревших данных, которые не грузятся в БД, а лежат на дисках БД.

Технология SAP ILM – удаление архивных файлов по расписанию.

Для проведения проекта по Data Volume Management в SAP Solution Manager (начиная с версии 7.01) есть инструмент DVM Workcenter (DVM Cockpit). Транзакция SM_WORKCENTER. Дает больший профит только на большом ландшафте.

Материалы презентаций инфо-дня можно скачать по ссылке.

По архивации в SAP системе есть курс "SAP BIT660 - Data Archiving".

3 комментария:

  1. Вячеслав, добрый день,

    постоянно слежу за Вашими постами, спасибо за работу, которую Вы делаете.
    Очень много информации почерпнул из блога и статей SAPLand.
    Просьба, если не составит труда выложить повторно материалы презентации этого инфо-дня, старая ссылка уже "умерла".

    Спасибо,
    Александр

    ОтветитьУдалить
    Ответы
    1. Добрый день, Александр!

      Спасибо за бдительность. :-) Материалы перевыложил, пользуйтесь.

      Удалить
    2. Спасибо!

      Александр

      Удалить