Daniel Cassini

contato@titcs.com.br

Agenda

1. Introduo Data Warehousing e Business Intelligence 2. Introduo SQL Server Business Intelligence 3. SQL Server Integration Services 4. SQL Server Reporting Services 5. SQL Server Analysis Services

Introduo Data Warehousing e Business Intelligence

O que Data Warehouse ?

Um grande amazenamento de dados

Todos os dados Agregao de dados de mltiplos sistemas

O que Business Intelligence ?

Aproveitar os dados que voc j tem para converter o conhecimento em

aes informadas

O que Business Intelligence ?

Agregaes de dados

O que Business Intelligence ?

Tendncias Correlaes (Data Mining)

Por que ter um Data Warehouse? Combinar dados de vrios sistemas e resolver inconsistncias entre esses sistemas

Relatrios mais fceis

Reduzir a carga em sistemas de produo.

Garantir a consistncia entre as transaes dos

sistemas Garantir o armazenamento em longo prazo dos dados

O que h de errado em relatrios de sistemas transacionais?

Projetado para trabalhar com um nico registro de cada vez. Os dados so altamente "normalizados", ou seja, os valores duplicados foram removidos. Obter todos os dados em um registro pode envolver muitas junes de tabela.

Confuso para "ad-hoc" de relatrios

Lentido, ocasionando um impacto no sistema OLTP (On line Transaction Processing).

O que diferente sobre um Data Warehouse?

Data Warehouse geralmente usam um projeto chamado OLAP (On-line Analytical Processing) O nmero de tabelas so reduzidos, diminuindo o nmero de associaes e aumentando a simplicidade Os dados so desnormalizados em melhores estruturas de

trabalho

Normalizado vs Desnormalizado
Normalizado - Os dados so divididos em vrias tabelas

Normalizado vs Desnormalizado
Desnormalizado - Dados combinados

Tipos de Tabelas no Warehouse

Fatos Dimenses Ambos exigem o conceito de chave substituta (Surrogate Key) Uma nova chave, geralmente do tipo INT (inteiro), usado no lugar de qualquer outra, como a chave primria

Razes para Surrogate Key

Presevar os dados em caso de mudana de fonte Combinar dados de mltiplas fontes em uma nica tabela A chave do sistema de origem pode ser multi-coluna ou complexa, diminuindo o tempo de resposta Muitas vezes, a chave no necessria para muitas funes de

armazenamento de dados, como a agregao

Tabelas Fato
Um fato marca um evento, um acontecimento discreto no tempo Fatos juntam dimenses: "quem", "o qu", "quando" e "onde" Fatos tambm realizam medidas numricas para quantificar o fato: "quanto"

Exemplo de tabela Fato de vendas

Empregado

Cliente

Produto

Dimenses
Dimenses mantm os valores que descrevem a tabela fato Pesquisa de valores - "look up values Alguns exemplos: tempo, geografia, funcionrios, produtos, clientes Muitos tipos de dimenses

Tipos de Dimenses
As caractersticas de uma dimenso so definidas pelos seus metadados, com base nas configuraes de vrias propriedades, alm dos atributos ou hierarquias contidas na dimenso.

KPI - Key Perfomance Indicators

Indicadores de Perfomance Dashboard - Painel de instrumentos Rpido, um indicador visual da sade do sistema

Links: Data Warehousing e Business Intelligence

Armazm de dados (Data Warehousing)

Minerao de dados

Esquema estrela
Tabela de fatos

Modelagem de dados
Dimenses (Analysis Services Dados Multidimensionais) Designer de Dimenso Entendendo a arquitetura Microsoft OLAP

Introduo SQL Server Business Intelligence

Microsoft BI Tools
ETL Extract Transform Load SSIS - SQL Server Integration Services Analytics

Aggregation, Trending, Correlations

SSAS - SQL Server Analysis Services Reporting SSRS - SQL Server Reporting Services SharePoint PerfomancePoint

PowerPivot
Add-in for Microsoft Excel

Microsoft BI Tools

SQL Server Sample DataBase

http://msftdbprodsamples.codeplex.com/

Microsoft SQL Server Management Studio

DEMO 1. LAB Ambiente pr-configurado SQL Server Management

Studio
Visual Studio

SSIS - SQL Server Integration Services

Overview
Package

Control Flow
Data Flow Data Source Error Rows Deployment

Voc sempre pode obter o que deseja

A movimentao de dados fcil. preciso um programa

O que voc tem

O que voc quer

SSIS Source

Destination

Package

DEMO 1. LAB Ambiente pr-configurado

Business Intelligence Development Studio SQL Server Data Tools

Visual Studio 2012

Control Flow
um "Programa" processual

Aes: este, em seguida que, se presente, ento que ...

Possui containers e tarefas No necessariamente linear executa vrias tarefas ao mesmo tempo

Data Flow
Processo aplicado para cada linha / dado

Fonte de dados / Source

Criar / consumir Transformao de dados

Data Flow
Define o acesso ao meio fsico

Entrada ou sada de dados

linha corrente

Connection Manager
A definio da tecnologia a

ser utilizada e o local que

contm os dados Define a autenticao a ser usada Especifica a connection string

Connection Manager Package vs. Project

Package connection: gerencia as conexes definidas dentro do

pacote
usar quando a fonte de dados exclusiva para o pacote Project connection: gerencia as conexes definidas ao nvel do projeto usado por qualquer pacote no projeto

utilizado quando vrios pacotes precisam acessar a mesma

fonte de dados

Data Source and Data Destination

Data Source: so os pontos de partida para todos os fluxos de

dados
Data Destination: so os pontos finais para todos os fluxos de dados Data flows: podem ter vrias fontes de dados e vrios destinos de dados

Tecnologias disponveis
Data source and destinations Destination only SSAS

Database
ADO. Net OLE DB File Excel

Data mining model

Dimension processing Partition processing Rowset

Flat file
XML

Data reader
Recordset

Data Source

DEMO 1. LAB Ambiente pr-configurado

Connect Manager Data Sources and Destinations

Database to Data file

Merge Transforms
Merge

As entradas so classificadas na mesma ordem

As entradas devem ser correspondentes as colunas de metadados Merge Join Suporte inner, left, and full joins

Requer que as duas entradas sejam classificadas na mesma

ordem A juno das colunas devem ter metadados correspondentes

LookupTransforms
Pode usar uma conexo OLE DB ou uma conexo de cache

Suporte OLE DB para SQL Server, Oracle e DB2

Possui um recurso de cache que pode ser configurado para armazenar" linhas existentes, utilizadas para pr-carregar os dados Reduz o nmero de idas fonte de dados

Data Modification Transforms

Drived column

Criar expresses usando colunas e funes internas para

substituio ou adio Data conversion Padro de converses dos dados disponveis Character map

Permite a manipulao da seqncia dos dados com funes

de string padro

Data Viewers
Os dados podem ser copiados na viso durante a execuo

Usado para auxiliar o fluxo de registros entre a transformao do

fluxo de dados Pausa a execuo do pacote de dados Pode ser ativado entre dois componentes de fluxo de dados

Data Modification Transforms

DEMO 1. LAB Ambiente pr-configurado

Derived column

Script Task
Permite desenvolver funcionalidades personalizadas que no

podem ser implementadas usando o SSIS padro

Programado em C # ou Visual Basic Fornece acesso a todas as funcionalidades do Net Framework. Limitado a sua imaginao

Uso de Script Task

Script Task pode transformar os dados, uma vez que h a

movimentao atravs do Control Flow

Script Task pode fornecer acesso a dados que no tem nenhum tipo Connection Manager Script Task pode fornecer acesso a destino de dados personalizados

Building a Script Task

Escolher a linguagem de desenvolvimento

Determinar as nformaes a serem passadas dentro ou fora do

roteiro Definir ou ler variveis de leitura / gravao Criar funcionalidade no editor net VBA. Net Fornecer Succes / code falta de SSIS

Script Task

DEMO 1. LAB Ambiente pr-configurado

Script Task

Error Rows
Toda transformao tem uma sada de Erro

Os erros podem incluir:

O truncamento de dados Pesquisa sem resultados Converso de tipo A transformao pode ser configurada para processar diferentes

tipos de tarefas, com diferentes respostas

OnError Event
Eventos Hadlers permitem que o Control Flow execute

eventos de respostas
O evento OnError para uma transformao ocorrer sempre que um registro tenha um erro

Erro Row

DEMO 1. LAB Ambiente pr-configurado

Configuring Error Handling

Common Task
Execute Tasks

Execute SQL
Execute package Execute process File system task FTP task

Task grouping

Containers
Sequence container

For loop
Foreach loop

Containers

DEMO 1. LAB Ambiente pr-configurado

Foreach loop

Variveis
As variveis de sistema so predefinidas e do acesso aos

componentes que precisam de informaes sobre a execuo

As variveis de usurio fornecem a capacidade de armazenamento de valores para o pacote

Parmetros
Parmetros do pacote esto disponveis para todos os

executveis dentro do pacote em que so definidos

Parmetros do projeto esto disponveis para todos os pacotes e todos os executveis dentro do pacote Os parmetros podem ter trs configuraes de valores: Valor padro de Desing

Valor padro do Servidor

Valor de Execuo Os parmetros so disponveis apenas para os projetos Deployment Model

Variveis

DEMO 1. LAB Ambiente pr-configurado

Variveis

Troubleshooting
Debugging

Setting breakpoint
Viewing execution progress Viewing / modifying variable values Viewing data flow Logging

Event Handlers

Breakpoints
Ao chegar no Breakpoint a execuo pausada

Habilitado para qualquer tarefa ou continer do pacote

Pode ser configurado para pausar em: qualquer tempo em cada tarefa encontrada contagem de ocorrncias, ou seja, igual a um determinado nmero de vezes que o ponto de interrupo atingido

nmero de ocorrncias maiores ou iguais ao valor limite

atingido

Watches
Exibe variveis e seu respectivo valor associado durante a

execuo
Os valores podem ser modificados durante a execuo que est em pausa Watch Windows displays exibe as variveis solicitadas Local Window displays todas as variveis no escopo corrente

Troubleshooting

DEMO 1. LAB Ambiente pr-configurado

Debugging Logging

Event Handlers

SSRS - SQL Server Reporting Services

O que o SSRS ?
A plataforma de relatrios baseada em servidor

Use SSRS para:

relatrios de negcios relatrios ad hoc portal de integrao

Report Services

DEMO 1. LAB Ambiente pr-configurado

Configuration Manager Report Services URL

Report Services Portal

Features
Pode criado a partir de uma variedade de fonte de dados: Relational databases

XML files
Multidimensinal data (OLAP) ODBC ou OLE DB source Visualize os dados em uma variedade de formatos: Tabular, Matrix , free report Capacidades de grficos e interatividade Export to PDF, Excel, Text, XML Extensibilidade

Server Components
Report Manager Manage permissions Manage data source Segurana Report processor Sheduling/Agendamentos URL access Web Services API Metadata Report catalog

Report Server

SSRS Database

Report Web Services

Report Services

DEMO 1. LAB Ambiente pr-configurado

Report Services URL Report Services Portal

Report Project Wizard

File -> New Project -> Report Server Project Wizard Ponto de partida rpida e fcil

Assistente o guiar os passos necessrios para cada relatrio

Report Wizard

DEMO 1. LAB Ambiente pr-configurado

New Project New Report Wizard

SSAS - SQL Server Analysis Services

Schema Design: Star vs. Snowflake

Star Schema

Snowflake Schema
Processing and Perfomance

Star Schema
Tem uma nica tabela para

cada dimenso
Cada tabela suporta todos os atributos para cada dimenso Tipicamente, uma soluo de modelagem desnormalizada

Snowflake Shema
Soluo normalizada

Contm vrias tabelas

por dimenso Cada tabela contm uma chave da dimenso, valor e o valor da chave

estrangeira da tabela pai

Processing and Performance

Star Shema requer normalizao durante o processo de carga

Pode impactar no tempo de execuo do ETL

Snowflake Schema pode aumentar a complexidade das dimenses Pode impactar a soluo Analysis Services, afetando negativamente o desempenho cubo

Design Schema

DEMO 1. LAB Ambiente pr-configurado

Criar o Data Source Criar/Importar o modelo de Dados Criar as Dimenses Criar a Fact Table - Create unique key Criar o Cubo Empty Criar as medidas Relaciomentos Dimiso X Cubo Deploy

Obrigado!
contato@titcs.com.br