No description
Find a file
2023-08-25 19:46:28 +07:00
archive actualization 2023-08-15 18:23:25 +07:00
current_requests_general_metrics актуализированы запросы и ddl 2023-08-24 15:13:28 +07:00
requests_for_checkers updated queries 2023-05-28 14:26:34 +07:00
shedule_scripts Develop eloktev 2023-07-27 07:05:59 +00:00
.gitignore тест переливки с вертики 2023-02-17 16:26:20 +03:00
.gitlab-ci.yml timeout added on retention 2023-08-20 08:28:54 +07:00
__init__.py Созданы инит модули 2022-07-12 19:05:58 +03:00
acc_from_eog.py changed function 2023-05-26 19:46:14 +07:00
accept_conversions_main.py added macroclusters from mdm 2023-06-07 20:15:56 +07:00
additional_tables.py update 2022-09-16 15:04:03 +07:00
calc_dict.py update 2022-09-16 15:04:03 +07:00
checker_result_for_web.py updated 2023-06-01 13:35:54 +07:00
defect_rate_availability.py update 2022-09-16 15:04:03 +07:00
dictionary_updater.py update 2022-09-16 15:04:03 +07:00
for_testing_a.py update 2022-09-16 15:04:03 +07:00
for_testing_i.py update period changed 2023-04-04 16:37:19 +07:00
functions.py update 2023-05-29 20:01:21 +07:00
functions_for_reloading_fields_in_datamarts.py hotfix 2023-08-08 16:12:25 +07:00
functions_for_start_process.py logs added 2023-07-05 20:33:45 +07:00
general_schema_updater.py добавлена проверка перед обновлением источника словарей 2022-11-29 22:01:26 +07:00
global_variables.py added new email 2023-07-07 19:15:36 +07:00
gmm_and_aggregate_tables_validation.py update 2023-05-26 20:29:22 +07:00
gmm_step_1_day_before_yesterday.py test 2023-05-25 22:27:11 +07:00
gmm_step_1_nightly_update_shard_3.py environment variable deleted 2023-07-05 23:41:13 +07:00
gmm_step_1_nightly_update_shard_4.py environment variable deleted 2023-07-05 23:41:13 +07:00
gmm_step_1_nightly_update_shard_5.py environment variable deleted 2023-07-05 23:41:13 +07:00
gmm_step_1_nightly_update_shard_6.py environment variable deleted 2023-07-05 23:41:13 +07:00
gmm_step_1_yesterday.py update 2023-05-25 21:23:06 +07:00
gmm_step_2.py year unlocked 2023-07-05 20:04:29 +07:00
gmm_step_2_day_before_yesterday.py new logic for day updater 2023-07-28 19:54:22 +07:00
gmm_step_2_update_pre_aggr_tables_shard_3.py update 2023-07-05 17:10:32 +07:00
gmm_step_2_update_pre_aggr_tables_shard_4.py update 2023-07-05 17:10:32 +07:00
gmm_step_2_update_pre_aggr_tables_shard_5.py update 2023-07-05 17:10:32 +07:00
gmm_step_2_update_pre_aggr_tables_shard_6.py update 2023-07-05 17:10:32 +07:00
gmm_step_2_yesterday.py new logic for day updater 2023-07-28 19:54:22 +07:00
gmm_step_3_day_before_yesterday.py new logic for day updater 2023-07-28 19:54:22 +07:00
gmm_step_3_yesterday.py new logic for day updater 2023-07-28 19:54:22 +07:00
gmm_test_updater.py [EOG-831] - bug fixed 2023-06-13 20:12:39 +07:00
gmm_to_update_history_shard_3.py changed for manual dates 2023-08-25 19:46:28 +07:00
gmm_to_update_history_shard_4.py changed for manual dates 2023-08-25 19:46:28 +07:00
gmm_to_update_history_shard_5.py changed for manual dates 2023-08-25 19:46:28 +07:00
gmm_to_update_history_shard_6.py changed for manual dates 2023-08-25 19:46:28 +07:00
gmm_update_individual_days.py pipe for separate exec 2023-05-29 21:12:32 +07:00
gmv_analysis_requests.sql updated logic for the warehouse dict 2023-08-16 14:26:51 +07:00
kpi_for_god_eye.py пайп для переливки витрин по kpi и estim 2022-04-20 13:05:04 +03:00
libraries.py added math 2023-05-26 02:50:48 +07:00
marketing_metrics.py Update marketing_metrics.py 2022-04-29 10:35:46 +00:00
nps.py запрос для джобы по nps 2022-05-27 12:18:24 +03:00
pc2d_ozon.py переименовал столбцы 2023-05-26 11:01:10 +03:00
points_datamart_pfs.py update 2023-05-12 18:19:00 +07:00
pre_aggregate_shard_3.py changed table with dates to update 2023-06-30 10:02:30 +07:00
pre_aggregate_shard_4.py changed table with dates to update 2023-06-30 10:02:30 +07:00
pre_aggregate_shard_5.py changed table with dates to update 2023-06-30 10:02:30 +07:00
pre_aggregate_shard_6.py changed table with dates to update 2023-06-30 10:02:30 +07:00
README.md обновлено расписание обновлений 2023-03-16 15:13:50 +07:00
retention.py скрипт обновления витрин retention 2022-04-26 06:43:08 +03:00
rezon_item_source_update.py added list of fields in query 2023-08-15 18:25:09 +07:00
rezonitem_dict_short_version.py added list of fields in query 2023-08-15 18:25:09 +07:00
run.sh поменял путь к secrets vault 2022-03-17 17:29:36 +03:00
srv_ds_pd_team.keytab file for kerberos authorization 2023-01-31 13:40:41 +07:00
stock_for_god_eye.py Develop eloktev 2023-07-27 07:05:59 +00:00
test_fileds_reloading_in_gmm.py added functions for reloading fields in datamarts 2023-08-07 21:13:12 +07:00
top_50_brands_in_category1_ozon.py добавление словаря топ50 брендов 2022-09-13 19:00:23 +07:00
tracker_site.py add tracker_site.py, queries for tracker, change .yml 2022-04-22 16:14:27 +03:00
up_rezon_item_parts_after_rebut_node.py added list of fields in query 2023-08-15 18:25:09 +07:00
update_individual_days_in_gmm.py update 2023-03-21 16:38:02 +07:00
update_of_annual_tables.py update 2023-03-19 20:51:40 +07:00
update_of_quarterly_tables.py update logic 2023-04-04 21:26:59 +07:00
update_rezon_item_parts.py added list of fields in query 2023-08-15 18:25:09 +07:00
web_order_metrics.py Merge branch 'develop' into develop_ltretyakov 2023-06-14 12:31:54 +03:00
web_orders_acc_dr.py переход на general_metrics_d 2023-05-26 07:56:38 +03:00

gmv_analysis

Репозиторий проекта сборки витрин для проекта по анализу GMV

  • Сборка витрины general metrics
  • Сборка витрины маркетинга и метрик трекера
  • Сборка витрины client retention
  • Сборка витриы site
  • Собрка прочих витрин проекта
  • Запуск скриптов по расписанию, для переливок и обновления справочников и словарей, относящихся к собираемым, в рамках проекта, витринам

Расписание автоматического обновления витрин, часовой пояс Мск:

  • General metrics
    1. Витрина main_general_metrics:
      • ежедневно в 01:00, обновление данных за 8 предыдущих дней + дни с ошибками, выявлеными чекерами (предусмотрено 5 часов на пайплайн)
      • ежедневно, каждый час в промежуток с 07:00 до 17:00, обновление данных за перыдущий день (предусмотрено 1 час на пайплайн)
    2. Предагрегаты, день:
      • ежедневно в 01:00, обновление данных за 8 предыдущих дней + дни с ошибками, выявлеными чекерами (предусмотрено 5 часов на пайплайн)
      • ежедневно, каждый час в промежуток с 07:00 до 17:00, обновление данных за перыдущий день (предусмотрено 1 час на пайплайн)
    3. Предагрегаты, неделя:
      • ежедневно в 01:00, обновление данных за 8 предыдущих дней + дни с ошибками, выявлеными чекерами (предусмотрено 5 часов на пайплайн)
      • ежедневно, каждый час в промежуток с 07:00 до 17:00, обновление данных за перыдущий день (предусмотрено 1 час на пайплайн)
    4. Предагрегаты, месяц:
      • ежедневно в 01:00, обновление данных за 8 предыдущих дней + дни с ошибками, выявлеными чекерами (предусмотрено 5 часов на пайплайн)
      • ежедневно, каждый час в промежуток с 07:00 до 17:00, обновление данных за перыдущий день (предусмотрено 1 час на пайплайн)
    5. Предагрегаты, квартал:
      • полное обновление текущего квартала, в 01:00, без предыдущего дня (предусмотрено 6 часов на пайплайн).
      • ежедневно, каждый час в промежуток с 07:00 до 17:00, обновление данных за перыдущий день (предусмотрено 1 час на пайплайн)
    6. Предагрегаты, год:
      • полное обновление текущего года, в 01:00, без предыдущего дня (предусмотрено 6 часов на пайплайн).
      • ежедневно, каждый час в промежуток с 07:00 до 17:00, обновление данных за перыдущий день (предусмотрено 1 час на пайплайн)

  • Обновление справочников и словарей
    • ежедневно в 08:00, справочники по контрактам и warehouse_cluster_supermarket (выполняется 7-8 минут)

  • Витрина Marketing
    • ежедневно 00:30, dau (выполняется 30-60 секунд)
    • ежедневно 03:01, mau (выполняется около 10 минут)
    • ежедневно 07:00, wau, qau и yau (выполняется около 1-2 минут)
    • ежедневно 14:10, digital_cost (выполняется около 1 минуты)

  • Витрина defect rate availability
    • ежедневно 20:00, обновление данных по текущему месяцу (выполняется около 1 минуты)

  • Витрина Retention (клиентский и селлерский)
    • ежедневно в 21:00, обновление данных за 25 месяцев, включая текущий (выполняется 10-15 минут)

  • Витрина NPS (клиентский)
    • ежедневно в 05:15, обновление данных за текущий месяц (выполняется менее минуты)

  • Витрина конверсии аксептов
    • ежедневно в 05:00, обновление данных за текущий месяц (выполняется менее 5 минут)