Mostrar código-fonte de Observatório de dados/BI/Capacidade/Filtragem

{{BI/NavCapacidades|img=ObsDados-BI-capacFiltragem.png}}

Utilizamos o termo "filtar dados" de maneira vaga, para designar '''"redução na informação"'''. Para que seja de bem definido é necessário especificar melhor o "tipo de filtragem de dados" que desejamos realizar. A redução pode ser necessária por diversos motivos: ruído, redundância, foco, representatividade, etc. 
<!--[[file:(infográfico) INTELLIGENCE FUNNEL - Transformação de dados em inteligência.png|center|420px]]-->

== Objetivo ==
[[File:Fig7_tipaper.png|thumb|420px]]
Do ponto de vista da [[w:Teoria_da_informação|Teoria da Informação]], que conceitua mais rigorosamente o que são ''dados'' e o que é informação ('''redução da ignorância'''): uma grande quantidade de dados pode ser pobre de informação, por não trazer proporcionalmente maior redução da ignorância para quem recebe os dados. Reduzindo o volume de dados seletivamente (ou seja "filtrando"), sem perder os dados importantes, pode-se chegar a um volume bem menor, garantindo uma proporção maior de informação.

== Filtragem  por sumarização ==
''Sumarizar dados'' é reduzir a informação através de um "resumo", que tem como principal referência a Estatística:

* sumarização de listas de números: média, moda, mediana, etc.
* sumarização de texto livre: tabela de frequência de palavras, contagem de títulos, contagem de parágrafos, etc.
* sumarização de matrizes numéricas: determinante, correlação, etc.

== Filtragem  por seleção ==
Selecionamos, dentro de um mesmo ''dataset'', os dados que desejamos. Nesse tipo de filtragem os dados são "recortados", não há uma transformação sobre eles, apenas descartamos o que não precisamos.

A seleção, quando efetuada sobre dados tabulares, pode ser nitidamente classificada em dois tipos, o "corte horizontal" e o "corte vertical", o que, no [[w:en:Relational algebra|modelo de dados relacional clássico]] corresponderá a operações distintas, que servem de referência para outros tipos de estrutura de dados. Aqui, para preservar a consistência terminológica denominaremos ''seleção condicional'' ao corte horizontal, e ''seleção de campos'' ao corte vertical.

=== Seleção condicional ===
Numa tabela do modelo relacional corresponde a um corte na horizontal, operação que os matemáticos denominam  [[w:en:Selection (relational algebra)|''seleção'']], assim como a ''condição'' denominada [[w:en:Propositional formula|fórmula proposicional]].

=== Seleção de campos ===

Numa tabela do modelo relacional corresponde a um corte na vertical, operação que os matemáticos denominam [[w:en:Projection_(relational_algebra)|''projeção'']]. 

Se os dados não são numéricos, tal como num texto estruturado (por exemplo o Código Civil ou um romance dividido em capítulos), operações tais como extração de títulos podem ser entendidas como seleção de campos.

== Filtragem composta ==

Na linguagem SQL, por exemplo, numa mesma operação de "SELECT" podem ser realizadas simultaneamente a filtragem por seleção condicional, seleção de campos, e sumarização. Filtros compostos são em geral mais complexos e nem sempre podem ser decompostos em operações simples, de modo que fica difícil dar uma designação mais precisa.

=== Composição com junção ===
[[File:Venn0001.svg|thumb|Interseçãoof de dois ''datasets'':&nbsp; <math>~A \cap B</math>]]
Uma forma bastante simples e usual de filtragem é a [[#Seleção condicional|seleção condicional]] (acima) com uma ''condição baseada em relacionamento''. Pode-se relacionar dois ''datasets'' com mesma estrutura de dados através da [[Observatório de dados/BI/Capacidade/Junção#Junção por união|''união'']] e então submeter o resultado a uma seleção condicional. O resultado, quando a condição é referente itens comuns (igualdade), pode ser designada [[w:en:Intersection (set theory)|''interseção'']].

Existem diversas outras formas além da interseção, mas não requerem denominação específicas, podemos designá-las coletivamente "filtragem composta com junção".

[[Categoria:BI/Capacidades]]