Menu de navegação

[JamirJrParticipante]

Olá pessoal,

Implementamos Data Warehouse de uma forma bem simples, agora surgiram as dúvidas(qual a melhor implementação?):
observações:
– vários esquemas na produção
– servidor dw diferente da produção

dúvidas:
– Para cada esquema na produção deve existir um esquema no dw? ou é melhor ter td num esquema só?
– melhor implementação para atualizar os dados? triggers, campo de atualização, CDC (oracle change data capture)?

Muito obrigado

[CleitonHanzenParticipante]

Opá…

Nunca trabalhei com implantação de DW, mas já fiz manutenção neste tipo de ambiente, e levaria em consideração alguns fatores:

1. Como a aplicação que irá fazer as consultas no DW funciona? Caso for relatórios costumizados e a aplicação se “encarrega” de controlar os acessos, não vejo problemas em manter tudo num único Owner. Porém se isto não está bem definido, utilizaria owners diferentes para não liberar informações desnessárias entre setores diferentes. (Imagine um estagiário rodando um relatório de salários que ele pode ver o salário do presidente da empresa…rsrsrsrs.)

2. Como será feita a carga para o DW (vão ser utilizadas MV que mantém os dados “estáticos” ou teria q ser real-time)???

3. Qual a frequência de alteração de estrutura (tabelas/índices) e até mesmo a adição de aplicativos/módulos novos??? Geralmente a preocupação que existe é sobre o ambiente atual, mas esquece-se de pensar de como irá se proceder em caso de mudança nas aplicações….

Nada melhor nesta situação que uma boa reunião com os analistas de negócio e analistas das aplicações para entender exatamente o que procuram…

[]s

[JamirJrParticipante]

Então, queriamos evitar alguns problemas, mas ainda não sabemos se aparecerão.
– No caso de separar por esquemas, o problema é: podem existir muitos esquemas independentes, qdo precisar de informações de 2 esquemas ao mesmo tempo, será necessário criar outro esquema(com os 2 apenas), depois com 3 e assim sucessivamente.
– a segunda questão é minha dúvida tbem, estou estudando um tal de CDC do oracle que faz a identificação das mudanças no ambiente OLTP, alguem conhece ?
– mudanças na estrutura dos sistemas atuais são raras.

[vieriParticipante]

Administro uma base de BI com 1 tera.

A única diferença entre ambas as bases é :

Organizar por schemas orientados a assunto ao invês de sistema.

ex: dbo_datamart_vendas.

Alocar bastante memôria pro oracle SGA , PGA , principalmente buffer_cache.

Janelas entre atividades de manutenção e cargas..

Não tem muito oque se descabelar não..

[santosclayParticipante]

Bom tarde a todos.

Jamir.

Falando em infra-estrutura é extremamente recomendado que o DW esteja alocado em um servidor distinto ao da produção. Isso evita muitas dores de cabeça principalmente de concorrência durante a execução das aplicações ou algumas manutenções de emergência nesta base de dados.

Sobre a alocação das informações sou partidário da recomendação do Vieri. O projeto deve ser pensado em função dos assuntos necessários para o negocio e modelados em Data marts independentes.
Essa estrutura me permitiu unificar as informações e evitar redundâncias.
Exemplo: Hoje temos 5 sistemas que possuem informações sobre vendedores. Após algumas analises realizamos a conformidade das informações em 2 sistemas para que assim fosse possível geral uma única base de conhecimento no DW para os vendedores.

Sobre o CDC infelizmente não o utilizamos aqui. Em função do negocio da empresa (vendas) todas as informações do DW são carregadas durante a madrugada com o fechamento do dia anterior.

Um grande abraço.

Clayton.

[Rodrigo AlmeidaParticipante]

Jamir,

Já trabalhei algum tempo com Bi também, e lhe digo, deixe sempre o DW ou (Data Mart ou Mining) em servidor diferente, pois trabalham de modo diferente do OLTP, ou seja, nesses ambientes há um alto valor para:

1) Consumo de CPU
2) Banda de Rede
3) Consume de espaço em disco

Fora que deverá lhe atentar para o processo de ETL e a volumetria para backup.

Sobre trabalhar com 1, 2 ou N owners, vai depender a sua regra de negocio, pois um DW, por ser desnormalizado, geralmente trabalha com um ÚNICO owner, e se sua empresa possui N filiais, apenas entra como FLAGS.

O processo de ETL que faz todo esse processo. Simples!

Pois, com um ÚNICO owner no seu DW, você deverá criar as dimensões partindo do seu modelo dimensional, se tiver mais de um owner e posteriormente eles se conversarem, poderá entrar FUROS e até mesmo, grandes dificuldades de unir essas informações.

Abraços,

[JamirJrParticipante]

Pessoal,

muito obrigado a todas as informações(pelo jeito não há consenso ainda), agora preciso estudar este tal de CDC, se alguém interessar, o nome do livro é Elsevier.Oracle.Database.10g.Data.Warehousing.eBook-LinG.pdf, capitulo 5.

Muito obrigado

[Autor]

Posts