Permitir geração diária da base `artigo` sem indexação, para uso pelo ISIS2mongo

[robertatakenaka]

Contexto

O GeraPadrao leva cerca de 3 dias para concluir, sendo que a indexação da base bases-work/artigo/artigo sozinha consome aproximadamente 54h — o gargalo mais significativo do pipeline.

Existem hoje dois procedimentos que dependem de artefatos gerados durante o GeraPadrao, mas com necessidades bem diferentes entre si:

1. Fluxo do site novo (Kernel/Airflow) — já é disparado em paralelo, a partir do início do GeraPadrao, via CallPrepSyncToKernel.bat, PrepSyncToKernelCpBases.bat e CallTriggerSyncIsisToKernel.bat (conforme o disparo em GeraPadrao.bat). Esse fluxo não é o foco deste issue — já existe e já roda de forma independente do término do GeraPadrao.

2. ISIS2mongo — precisa apenas da base artigo sem que ela esteja indexada. Hoje, no entanto, essa base só fica disponível depois que o GeraPadrao conclui a etapa de indexação (~54h), mesmo que o ISIS2mongo não dependa desse processamento. Esse é o gap real que este issue quer resolver.

Motivação

O ISIS2mongo consome a base artigo em seu formato bruto, anterior à etapa de indexação. Como essa base não precisa estar indexada para ser utilizada por ele, não há motivo técnico para o ISIS2mongo esperar as ~54h de indexação (nem os 3 dias totais do GeraPadrao) para ter acesso a dados atualizados.

A ideia é possibilitar que essa base artigo (não indexada) seja gerada diariamente, de forma independente e desacoplada da indexação pesada, permitindo que o ISIS2mongo tenha acesso a dados mais recentes em uma cadência diária, sem impacto no cronograma do GeraPadrao completo.

Problema a resolver

• A base artigo usada pelo ISIS2mongo só é disponibilizada ao final da indexação (~54h), embora não dependa dela.
• Não existe hoje um mecanismo de geração diária e independente dessa base não indexada.
• O fluxo do site novo (Kernel/Airflow) já resolve seu próprio caso de uso em paralelo ao GeraPadrao — este issue não deve alterar ou duplicar esse fluxo, apenas tratar a lacuna específica do ISIS2mongo.

Proposta

• Criar um fluxo alternativo que gere a base artigo (sem indexação) de forma diária e independente da execução do GeraPadrao, para consumo do ISIS2mongo.
• Garantir que esse fluxo não interfira no processamento principal do GeraPadrao, nem no fluxo já existente de sincronização com o Kernel/Airflow.

Critérios de aceite

• A base artigo não indexada é gerada diariamente, independente do estado (RUNNING/FINISHED) do GeraPadrao.
• O ISIS2mongo passa a consumir essa base gerada diariamente, sem depender da conclusão da etapa de indexação (~54h) ou do GeraPadrao completo (~3 dias).
• O fluxo de sincronização com o Kernel/Airflow (já existente) permanece inalterado.
• O processamento completo do GeraPadrao (incluindo a indexação) permanece inalterado quando executado normalmente.

Referências