Mostrar código-fonte de Observatório de dados/Convenções adotadas

A seguir as notações e demais convenções utilizadas nos relatórios e projetos do Observatório de dados. 

Uma introdução mais didática é apresentada nos seguintes tutoriais: [[Observatório de dados/Conjuntos|Conjuntos]], [[Observatório de dados/Multiconjuntos|Multiconjuntos]] e [[Observatório de dados/Definindo um núcleo semântico|Núcleo semântico]].

== Notação lógica ==
Utilizada principalmente na [[#Notação de conjuntos|definição intensional de conjuntos]] (abaixo), mas precede os mesmos por ser também uma "ponte" entre a linguagem formal e a natural nos relatórios do Observatório de Dados.

Adotam-se as mesmas convenções gráficas e sintáticas que a Wikipedia da lingua inglesa para [[w:en:First-order_logic#Syntax|Lógica de primeira ordem]]. <br/>Algumas restrições ou extensões podem ser adotadas para melhor acomodar o uso de expressões [[w:en:Resource Description Framework|RDF]] da [[w:Web Semântica|Web Semântica]], onde nos restringimos aos padrões http://Schema.org e http://Wikidata.org.

Existem vários símbolos lógicos, que podem variar um pouco conforme o contexto, mas geralmente incluem:

* Os símbolos '''quantificadores''' [[w:en:Universal quantification|<big>∀</big>]] e [[w:en:Existential quantification|<big>∃</big>]].

* Os '''[[w:en:logical connective|conectivos lógicos]]s''': <br/><big>∧</big> para [[w:en:logical conjunction|conjunção (e)]], <big>∨</big> para [[w:en:disjunction|disjunção (ou)]],  <big>→</big> para [[w:en:material conditional|implicação (se condição então)]], <big>↔</big> para [[w:en:logical biconditional|bicondicional (se e somente-se)]], <big>¬</big> para negação (não). 

* (Parênteses), [colchetes] e outros símbolos de '''pontuação'''. A escolha de tais símbolos varia de acordo com o contexto.

* Um conjunto infinito de '''variáveis''', geralmente denotado por letras minúsculas do final do alfabeto ''x'', ''y'', ''z'', ... . Os índices são frequentemente usados para distinguir variáveis: ''x''<sub>0</sub>, ''x''<sub>1</sub>, ''x''<sub>2</sub>, ...&nbsp;.

* Um símbolo de '''igualdade''', <big>=</big>.

Por conveniência, as convenções foram desenvolvidas em termos  da precedência dos operadores lógicos, para evitar a necessidade de escrever parênteses em demasia. Essas regras são semelhantes à ordem das operações em aritmética. A '''ordem de precedência''' é:
: <math>\lnot</math> é avaliado primeiro
: <math>\land</math> e <math>\lor</math> são avaliados a seguir
:  quantificadores são avaliados a seguir
: <math>\to</math> é avaliado em último lugar.

Além disso, a pontuação extra não exigida pela definição pode ser inserida para tornar as fórmulas mais fáceis de ler. Assim, a fórmula
:<math>\lnot \forall x P(x) \to \exists x \lnot P(x)</math>&nbsp;&nbsp;&nbsp;  pode ser reescrita (e será igualmente aceita) como &nbsp;&nbsp;&nbsp;<math>(\lnot [\forall x P(x)]) \to \exists x [\lnot P(x)]</math>.

Quanto ao contexto da expressão, as variáveis podem estar '''[[w:en:Free_variables_and_bound_variables|livres ou ligadas]]''': na expressão matemática usual de somatório, supondo inteiros ''k'' e ''n'',
:{|
|<math>\sum_{k=1}^{10} k \times n</math>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|| ''n'' é uma variável livre e ''k'' é uma variável ligada; consequentemente o valor desta expressão depende do valor de ''n'', mas não de ''k''.
|}
Na expressão lógica de um predicado ''P'', que depende das variáveis lógicas ''x'', ''y'' e ''z'', a avaliação de livres e ligadas é análoga:

:<math>\forall x\ \exists y\ P(x,y,z)</math>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ''z'' é uma variável livre, enquanto que ''x'' e ''y'' são variáveis ligadas.
Logo, o [[w:valor lógico|valor lógico]] do predicado ''P'' depende do valor de ''z'', mas não depende de ''x'' e nem de ''y''.

== Notação de conjuntos ==
[[File:Example of a set.svg|thumb|380px|O conjunto é o "cercadinho", as coisas dentro são os elementos. A ilustração em si é a ''definição extensional'' de um conjunto de polígonos coloridos, se a interpretarmos como [[w:en:Euler diagram|diagrama de Euler]]. <br/>A cor (ou o número de lados) é um ''atributo''  do elemento que não diz respeito à definição deste conjunto, mas pode vir a ser utilizada como critério para formar subconjuntos, portanto, numa ''definição intensional'', o atributo pode fazer papel de cercadinho.]]

'''Conjuntos''' podem representar zero, uma ou mais coisas, pessoas, lugares, animais, empresas, eventos... Qualquer tipo de ''entidade'' pode ser caracterizada por um conjunto, assim como seus elementos. Para não ter confusão deve-se ter sempre em mente o que é "o cercadinho" (conjunto) e o que "está dentro dele" (elemento), como ilustrado ao lado. Um cercadinho dentro do outro estabelece a noção de '''subconjunto'''.

Aqui no Observatório de Dados adotamos a convenção mais popular para o conceito matemático de  conjunto, conhecida como "[[w:en:Zermelo–Fraenkel set theory|teoria ZFC]]".

Tradicionalmente um conjunto pode ser definido de maneira [[w:en:Extensional_and_intensional_definitions|extensional ou intensional]], conforme o que for mais conveniente. O conjunto ''I'', por exemplo, dos números inteiros ímpares entre 0 e 14:
* definição extensional: <math>I = \{ 1,3,5,7,9,11,13 \} \subset \mathbb{N}</math>
* definição intensional: <math>I = \{ \forall x \in \mathbb{N}  ~|~ x~ \text{“impar entre 0 e  14”} \}</math> ou mais preciso,
: <math>I = \{ \forall x \in \mathbb{N},~ \exist k \in \mathbb{N}    ~|~ x=2k+1 ~~\land~~ k \leq 6  \}</math>

Tipicamente conjuntos muito grandes apresentam apenas a opção intensional, ou seja, ela se torna naturalmente obrigatória. Como o Observatório de Dados lida com o público e com conceitos pragmáticos, obriga-se que um subconjunto extensional de '''amostras''' seja também apresentado, para que seja minimamente didático e que se possa testar a definição intensional. 

No exemplo acima a definição intensional seria então complementada por um subconjunto ''A'' de amostras como <math>A = \{ 5,13 \} \subset I</math>, de onde é fácil testar que <math>5=2 \times 2+1</math> e <math>13=2 \times 6+1</math>, ou seja, que existem valores para ''k'' (2 e 6) na definição intensional que produzem os elementos da amostra. A amostra, quando pequena, pode ser expressa também sem um rótulo específico, usando reticências:
: <math>I = \{ 1,\dots, 5,\dots, 13 \} \subset \mathbb{N}</math>

A definição de conjuntos também lança mão do uso do "conjunto universo" ou [[w:en:Domain of discourse|'''domínio de discurso''']], que no exemplo foi o conjunto <math>\mathbb{N}</math> dos números naturais. O ''domínio de discurso'' estabelece um contexto de referência para podermos expressar os elementos. Os elementos de ''A'' acima não foram confundidos com o número decimal 5,13 porque o domínio é de inteiros.

Até aqui podemos expressar algumas convenções:
* Letras maiúsculas (''A'', ''B'',...) ou ''PalavrasComIniciaisMaiúsculas'' designam conjuntos.
* Letras minúsculas (''a'', ''b'',...) ou ''palavrasComIniciaisMinúsculas'' designam elementos.
* Entre chaves expressamos a definição do conjunto (intencional ou extensional), '''{'''definição'''}'''.
  
Na falta de preferências, adotar ''C'' para conjunto, ''c'' para elemento e ''U'' para domínio de discurso.

A '''sintaxe''' geral para a '''definição extensional''' é 
:<code>''C'' = {elemento1, elemento2, ..., elementoN} ⊆ ''U''</code>

A '''sintaxe''' geral para a '''definição intensional''' segue a [[w:en:set-builder notation|notação construtora de conjuntos]],
:<code>''C'' = { ∀''c'' ∈ ''U'' | ''PredicadoLógico''(''c'') }</code>

O [[w:en:Predicate (mathematical logic)|predicado lógico]] pode ser uma afirmação qualquer sobre ''c''. O "conjunto das pessoas vivas" por exemplo pode ser expresso simplesmente por  
:<math>P = \{ \forall p \in Pessoas    ~|~ p~ \text{ has “esta viva”} \}</math>
onde <code>has</code> apenas conecta a frase livre "está viva" com o elemento ''p'' dando o sentido de "tem esse atributo". Opcionalmente pode-se usar <code>is</code>  (ambos  podem ainda ser interpretados como "é do tipo" ou "é uma instância de"), por exemplo em &nbsp;<math>G = \{ \forall p \in Pessoas ~|~ p~ \text{is “mulher viuva”} \}</math>.

Para reduzir a ambiguidade do predicado lógico e do domínio de discurso, lançamos mão da referência direta às definições da Wikidata ou ShemaOrg. Por exemplo no lugar do conjunto ''Pessoas'' podemos usar "humano" (Q5) da Wikidata, para obter o conjunto  ''InstancesOf''([https://www.wikidata.org/wiki/Q5 Q5]), equivalente ao vago ''Pessoas''; no lugar de "está viva" podemos referenciar o conceito Wikidata [https://www.wikidata.org/wiki/Q18093573 Q18093573] de ''live person''.  Ver seção sobre '''"[[#Definição de núcleos semânticos|núcleos semânticos]]"''' abaixo.

[[File:Cartesian Product qtl1.svg|thumb|280px|Produto cartesiano <math>\scriptstyle A \times B</math> dos conjuntos <math>\scriptstyle A=\{x,y,z\}</math> e <math>\scriptstyle B=\{1,2,3\}</math>. Resulta num conjunto de 9 pares ordenados.]]

Se o predicado for complexo, pode ser necessário o acréscimo de mais ''quantificadores universais'', para demais ''variáveis ligadas'':
:<math>C = \{ \forall c_1 \in U ~[, quantificar ~ c_2,\dots,c_n]     ~|~ PredicadoLogico(c_1,c_2,\dots,c_n)  \}</math>

Estruturas complexas devem ser evitadas, e nas definições só são permitidos, além dos elementos simples,  pares ordenados, ou seja, conjuntos-universo  expressos como [[w:en:Cartesian product|produto cartesiano]].

=== Nomes e símbolos reservados ===
Algumas definições são bem conhecidas da escola, outras serão adotadas conforme o projeto. 

Os conjuntos numéricos básicos da matemática, <math>\mathbb{N}\sub\mathbb{Z}\sub\mathbb{Q}\sub\mathbb{R}</math>, correspondem respectivamente aos [[w:Número natural|Naturais]], [[w:Número inteiro|Inteiros]], [[w:Número racional|Racionais]] e [[w:Número real|Reais]]. Os [[w:Número irracional|Irracionais]] dispensam símbolo especial por serem facilmente expressos como ℚ-ℝ. Assim podemos dizer que, independente de sere um símbolo reservado ou não, alguns conjuntos requerem símbolos e definição detalhada, outros podem ser definidos diretamente por uma ''expressão conjuntiva'', sendo a própria expressão o seu rótulo.

Conforme veremos a definição formal de um conjunto do Observatório de Dados requer seu link com a Wikidata. Por exemplo os números Naturais seriam definidos da seguinte forma {{wdsetEq_tr|ℕ|x|NúmeroNatural|Q21199}}.

A seguir estes e outros símbolos "reservados", ou seja, que não podem ser utilizados de forma arbitrária:
:{|
|-
|colspan="3"| ''InstancesOf''(''Q'') &nbsp; ''conjunto'' das instâncias de uma [https://www.wikidata.org/wiki/Wikidata:Glossary#Item classe semântica ''Q'' da Wikidata].
|-
|colspan="3"| ''MultiInstancesOf''(''Q'') &nbsp; ''multiconjunto'' das instâncias de uma [https://www.wikidata.org/wiki/Wikidata:Glossary#Item classe semântica ''Q'' da Wikidata].
|-
|colspan="3"| ''is''(''x'',''P'') &nbsp; verifica se ''x'' tem a [https://www.wikidata.org/wiki/Wikidata:Glossary#Property propriedade semântica ''P'' da Wikidata]. <!--Pode-se ainda adotar "x is P", "x has P", "x has(P)" ou "x is(P)"-->
|-
| símbolo de "pertence", <big>∈</big> || &nbsp; &nbsp; &nbsp;  &nbsp;  || igualdade entre conjuntos, <big>=</big>  &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
|-
| símbolo de conjunto vazio, <big>∅</big> ||   || "igual ou está contido", <big>⊆</big>
|-
|  {{wdsetInst_tr|ℕ|NúmeroNatural|Q21199}}  ||   ||   {{wdsetInst_tr|ℤ|NúmeroInteiro|Q12503}} 
|-
| {{wdsetInst_tr|ℚ|NúmeroRacional|Q1244890}} ||   || {{wdsetInst_tr|ℝ|NúmeroReal|Q12916}}
|-
| ... ||   || ...
|}

=== Definições diretas e operadores conjuntivos ===
Se, num dado contexto, já foram definidos formalmente diversos conjuntos, a definição de um novo conjunto pode ser facilitada, e diremos que é uma definição exata, se puder ser expressa através de uma expressão conjuntiva. Por exemplo se ''X'' são todos os [https://www.wikidata.org/wiki/Q13366129 ímpares]  e ''A'' os números naturais entre 0 e 14, então ''I''=''X''∩''A'' define exatamente o que queremos.

Sejam ''A''={2,3} e B={♠,♥,3}
:{|
| [[w:União_(matemática)|união]]:  &nbsp; || ''A'' U ''B'' = ||  { 2, 3, ♠, ♥ }
|-
| [[w:Interseção|interseção]]:  &nbsp; || ''A'' ∩ ''B'' = ||  { 3 }
|-
| [[w:en:Complement (set theory)|subtração]]:  &nbsp; || ''A'' −  ''B'' = ||  { 2 }
|-
| [[w:União_(matemática)|produto]]: &nbsp;||  ''A'' × ''B'' = || { (2,♠), (2,♥), (2,3), (3,♠), (3,♥), (3,3) }
|}

== Notação de multiconjuntos ==
...

== Notação de função ==

[[File:Codomain2.SVG|thumb|Notação para a declaração de funções a partir do seu domínio e contra-domínio.]]

== Definição de núcleos semânticos ==
... ver tutorial [[Observatório de dados/Definindo um núcleo semântico|Definindo um núcleo semântico]]... e resumnir aqui

== Definição de ''Datasets'' ==
... Padrões http://FrictionlessData.io e repositórios públicos git com os datasets... 

=== Representação gráfica de relacionamentos ===

=== Datasets em contexto SQL ===
Além da vinculação com scripts e Github... recurso para destacar a origem da definição do conjunto na própria expressão SQL.

: ''P'' = [<syntaxhighlight lang="sql" inline>SELECT prenome FROM InstancesOf(Pessoa) WHERE isBrasileira</syntaxhighlight>] ⊆ ''MultiInstancesOf''({{wd|Q8171|Palavra}})  &nbsp;&nbsp; &nbsp;  (multiconjunto)

: ''Q'' = {<syntaxhighlight lang="sql" inline>SELECT DISTINCT prenome FROM InstancesOf(Pessoa) WHERE isBrasileira</syntaxhighlight>} ⊆ ''InstancesOf''({{wd|Q8171|Palavra}}) &nbsp;&nbsp;&nbsp;  (conjunto)

Nota: preferir declarações de conjunto (ex. interseção) a usar o WHERE, assim como evitar predicados longos ou complexos. Opção ''MultiInstancesOf'' pode ser usada diretamente, no lugar de ''InstancesOf'', desde que não tenha ficado isolada... evitar uso de multiconjuntos para não criar ambiguidades algébricas.

=== Datasets em contexto SparQL ===

== Agrupamentos, classificações e partições ==
... [[w:en:Grouped data]]

== Sumarizações gerais e índices estatísticos ==
.. Soma, Média, Mediana, Desvios, etc. ... [[Observatório de dados/Diversidade|índices de diversidade]]...

[[Categoria:Observatório de dados]]
[[Categoria:Convenções do Observatório de Dados]]