Skip to content

Commit

Permalink
Merge pull request #1077 from basedosdados/fix_links
Browse files Browse the repository at this point in the history
Fix links
  • Loading branch information
AldemirLucas authored Dec 11, 2024
2 parents 532c466 + 107f945 commit 3ae30f8
Show file tree
Hide file tree
Showing 18 changed files with 48 additions and 48 deletions.
4 changes: 2 additions & 2 deletions next/blog/pt/analisando-precos-de-combustiveis.md
Original file line number Diff line number Diff line change
Expand Up @@ -29,7 +29,7 @@ Qual o preço do combustível na sua cidade? Neste artigo vamos apresentar os da

A ANP fornece, a cada semana, a série histórica com os microdados dos preços praticados por diferentes postos de revenda em todo o Brasil. A base inclui informações dos preços da gasolina, etanol, diesel s10, gasolina aditivada, glp, diesel e gnv, desde 2004 até outubro de 2021.

A Base dos Dados disponibiliza estes dados de uma maneira mais intuitiva: tratados, padronizados e compatibilizados. Especificamente, o [script de tratamento](https://github.com/basedosdados/mais/blob/master/bases/br_anp_precos_combustiveis/code/%5Bdados%5D_br_anp_preco_combustiveis.ipynb) dos dados consistiu em unir os _dataframes_ com os diferentes tipos de combustíveis e meses do ano, além de incluir o código do IBGE para os municípios presentes na base — o que facilita o _merge_ com outras informações. A inclusão do código do IBGE também simplifica a visualização da tabela, mudando o formato da data ou ainda compatibilizando o endereço do estabelecimento. Vale ressaltar que a pesquisa abrange 883 municípios, ao longo dos 18 anos de pesquisa. Só em 2021 foram coletadas informações de 22.629 postos de revenda dos 27 estados.
A Base dos Dados disponibiliza estes dados de uma maneira mais intuitiva: tratados, padronizados e compatibilizados. Especificamente, o [script de tratamento](https://github.com/basedosdados/sdk/blob/master/bases/br_anp_precos_combustiveis/code/%5Bdados%5D_br_anp_preco_combustiveis.ipynb) dos dados consistiu em unir os _dataframes_ com os diferentes tipos de combustíveis e meses do ano, além de incluir o código do IBGE para os municípios presentes na base — o que facilita o _merge_ com outras informações. A inclusão do código do IBGE também simplifica a visualização da tabela, mudando o formato da data ou ainda compatibilizando o endereço do estabelecimento. Vale ressaltar que a pesquisa abrange 883 municípios, ao longo dos 18 anos de pesquisa. Só em 2021 foram coletadas informações de 22.629 postos de revenda dos 27 estados.

A base contém informações sobre a localização de cada posto (UF, município e endereço completo), especificidades do estabelecimento (CNPJ, nome e bandeira), além do produto e dos preços praticados nas mais de 26 milhões de observações.

Expand Down Expand Up @@ -405,4 +405,4 @@ Essa e outras análises você consegue acompanhar na íntegra pelo nosso [Github

A Base dos Dados é uma iniciativa open source e sem fins lucrativos que busca diminuir a distância entre sua pergunta e os dados. Esperamos que você se sinta inspirado em utilizar esse e outros dados. Afinal, muitas outras análises podem ser realizadas.

Compartilhe conosco seus achados em nossas redes sociais ou em nossa comunidade no [Discord](https://discord.gg/WzzzQs9T).
Compartilhe conosco seus achados em nossas redes sociais ou em nossa comunidade no [Discord](https://discord.gg/huKWpsVYx4).
2 changes: 1 addition & 1 deletion next/blog/pt/analisando-relacao-entre-idhm-e-eleicoes.md
Original file line number Diff line number Diff line change
Expand Up @@ -27,7 +27,7 @@ Neste breve artigo, proponho uma visualização simples e rápida de como a vota

O IDHM é uma medida composta de indicadores de três dimensões do desenvolvimento humano: longevidade, educação e renda. O índice varia de 0 a 1. Quanto mais próximo de 1, maior o desenvolvimento humano. Além de seguir as mesmas três dimensões, o IDHM brasileiro adequa a metodologia global ao contexto brasileiro e à disponibilidade de indicadores nacionais. Isso o deixa mais adequado para avaliar o desenvolvimento de municípios brasileiros.

A Base dos Dados disponibiliza dados do [Atlas do Desenvolvimento Humano (ADH)](http://atlasbrasil.org.br/), site que traz o IDHM e outros 200 indicadores, já tratados e prontos para análise. **São dados a nível de Brasil, UF e município** que podem ser analisados em Python, R, Stata, ou pelo próprio BigQuery via SQL. Para essa análise utilizamos o [pacote em R da BD](https://github.com/basedosdados/mais/tree/master/r-package). Acesse essa base por [aqui](/dataset/mundo-onu-adh).
A Base dos Dados disponibiliza dados do [Atlas do Desenvolvimento Humano (ADH)](http://atlasbrasil.org.br/), site que traz o IDHM e outros 200 indicadores, já tratados e prontos para análise. **São dados a nível de Brasil, UF e município** que podem ser analisados em Python, R, Stata, ou pelo próprio BigQuery via SQL. Para essa análise utilizamos o [pacote em R da BD](https://github.com/basedosdados/sdk/tree/master/r-package). Acesse essa base por [aqui](/dataset/mundo-onu-adh).

## Analisando a relação entre o IDHM e a Votação Presidencial

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -41,7 +41,7 @@ Neste artigo você vai conhecer um pouco sobre como funciona a infraestrutura de

O time de infraestrutura da Base dos Dados é responsável pelas ferramentas de ingestão de dados, que englobam desde o upload até a disponibilização de dados no ambiente de produção; pelo acesso de dados através de pacotes em Python e R; e pelo nosso [website](/). Neste cenário, o time é atualmente dividido em várias frentes, tratando da renovação do site e da implementação de pesos e contrapesos automatizados.

Procuramos simplificar e automatizar todos os processos, começando com o [upload de dados](https://basedosdados.github.io/mais/colab_data/) e inserção dos mesmos no **Ambiente de Experimentação**. Neste ponto, o colaborador pode adicionar dados em sua nuvem do Google, limpar e tratar os dados e então criar as tabelas locais com a interface de linha de comando desenvolvida pela infra. Por fim, é possível submeter a base de dados para revisão, criando um pull request no [Github](https://github.com/basedosdados/mais/pulls).
Procuramos simplificar e automatizar todos os processos, começando com o [upload de dados](https://basedosdados.github.io/sdk/colab_data/) e inserção dos mesmos no **Ambiente de Experimentação**. Neste ponto, o colaborador pode adicionar dados em sua nuvem do Google, limpar e tratar os dados e então criar as tabelas locais com a interface de linha de comando desenvolvida pela infra. Por fim, é possível submeter a base de dados para revisão, criando um pull request no [Github](https://github.com/basedosdados/sdk/pulls).

Após o pull request de revisão, entra em ação o sistema de Pesos e Contrapesos, com o time de dados checando a qualidade dos dados e metadados. Esse ponto é crucial para manter a qualidade dos dados, um diferencial da BD. O time de infra atua procurando automatizar o máximo possível o processo de revisão dos dados, realizando a validação de metadados, como descrições e nomes de colunas, e tipos de dados, como dados chaves primárias.

Expand All @@ -57,13 +57,13 @@ No caminho para se tornar um analista de dados ou desenvolvedor nos encontramos

Uma boa alternativa para lidar com dados reais e melhorar seu portfólio é ajudar a Base dos Dados com a sua ingestão de dados. No mínimo, você irá lidar com a captura de dados, preferencialmente de forma automatizada, com a arquitetura e a limpeza dos mesmos. Também vai interagir com ferramentas do dia a dia de um cientista de dados, como interfaces de linha de comando, YAML e BigQuery. A experiência conquistada pode ser crucial na entrada no mercado de trabalho.

Descrevemos em detalhes esse processo em [Colaborando com dados na BD](https://basedosdados.github.io/mais/colab_data/). Em resumo o processo é dividido em quatro partes. Inicialmente você informa seu interesse para a BD. Então, faz a limpeza e tratamento dos dados que pretende subir. Em seguida realiza upload dos dados em seu BigQuery pessoal. E, por fim, envia os dados para revisão.
Descrevemos em detalhes esse processo em [Colaborando com dados na BD](https://basedosdados.github.io/sdk/colab_data/). Em resumo o processo é dividido em quatro partes. Inicialmente você informa seu interesse para a BD. Então, faz a limpeza e tratamento dos dados que pretende subir. Em seguida realiza upload dos dados em seu BigQuery pessoal. E, por fim, envia os dados para revisão.

## Contribuindo com a infra

Outra forma de contribuir e melhorar seu portfólio, mas agora de desenvolvedor, é colaborando com a infraestrutura da BD.

A colaboração começa conversando conosco, no bate papo da infra ou nas reuniões às 19h da segunda-feira, ambas nos canais da infra no [Discord](https://discord.gg/huKWpsVYx4). Após este passo, podemos escolher uma _feature_ ou problema para desenvolvimento, isto é, caso ainda não tenha escolhido algum problema contido nas [issues](https://github.com/basedosdados/mais/issues).
A colaboração começa conversando conosco, no bate papo da infra ou nas reuniões às 19h da segunda-feira, ambas nos canais da infra no [Discord](https://discord.gg/huKWpsVYx4). Após este passo, podemos escolher uma _feature_ ou problema para desenvolvimento, isto é, caso ainda não tenha escolhido algum problema contido nas [issues](https://github.com/basedosdados/sdk/issues).

Como você pode colaborar? **Aqui estão algumas ideias:**

Expand All @@ -79,6 +79,6 @@ Como você pode colaborar? **Aqui estão algumas ideias:**
**Nosso projeto já te ajudou de alguma forma?** Somos uma organização sem fins lucrativos que depende do apoio de nossa comunidade. Veja como contribuir:

- [Apoie o projeto](https://apoia.se/basedosdados)
- [Seja um(a) colaborador(a) de dados na BD](https://basedosdados.github.io/mais/colab_data/)
- [Seja um(a) colaborador(a) de dados na BD](https://basedosdados.github.io/sdk/colab_data/)
- [Colabore com nossos pacotes](https://github.com/basedosdados/mais)
- Compartilhe nas redes sociais!
Original file line number Diff line number Diff line change
Expand Up @@ -149,7 +149,7 @@ WHERE

## Pontos de contato com outras bases

O censo escolar por si só já disponibiliza uma grande variedade de variáveis. Caso você queira obter ainda mais, com a [BD](https://basedosdados.github.io/mais/access_data_bq/) é fácil: como as bases têm os mesmos nomes de variável, podemos rapidamente juntar diferentes informações. A seguir separamos algumas bases já disponíveis na BD que podem complementar bem as tabelas do Censo Escolar:
O censo escolar por si só já disponibiliza uma grande variedade de variáveis. Caso você queira obter ainda mais, com a [BD](https://basedosdados.github.io/sdk/access_data_bq/) é fácil: como as bases têm os mesmos nomes de variável, podemos rapidamente juntar diferentes informações. A seguir separamos algumas bases já disponíveis na BD que podem complementar bem as tabelas do Censo Escolar:

[Os indicadores escolares do INEP](/dataset/63f1218f-c446-4835-b746-f109a338e3a1?table=cd65b1d2-45e8-432b-afe8-c3a706addbe8): O dataset `br_inep_indicadores_educacionais` apresenta uma série de medições sobre a qualidade de ensino, em diferentes níveis de agregação. Usando a tabela `escola` como ponte, podemos juntar **média de alunos por turma da escola** (proveniente dessa tabela) com **número de computadores da escola** (vindo do Censo) e **construir um mais amplo cenário socioeconômico da escola**.

Expand Down
2 changes: 1 addition & 1 deletion next/blog/pt/atualizar-google-bigquery-sql-101.md
Original file line number Diff line number Diff line change
Expand Up @@ -100,6 +100,6 @@ Usar o SQL para pré-processamento de dados é uma ótima saída para quem traba
**Nosso projeto já te ajudou de alguma forma?** Veja como nos retribuir:

- [Apoie o projeto](https://apoia.se/basedosdados)
- [Seja um(a) colaborador(a) de dados na BD](https://basedosdados.github.io/mais/colab_data/)
- [Seja um(a) colaborador(a) de dados na BD](https://basedosdados.github.io/sdk/colab_data/)
- [Colabore com nossos pacotes](https://github.com/basedosdados/mais)
- Compartilhe nas redes sociais!
Original file line number Diff line number Diff line change
Expand Up @@ -41,7 +41,7 @@ import basedosdados as bd

> **Atenção!** É necessário criar um projeto no Google Cloud para fazer consulta aos dados do datalake. Caso você rode qualquer função do pacote pela primeira vez, as instruções irão aparecer e basta seguir o passo a passo. Utilize o **ID do projeto** que será gerado para rodar as funções mais a frente.
Existem diversas funções no pacote, tanto para acesso quanto para publicação de dados no nosso ou em qualquer projeto do Google Cloud — você pode usar o pacote para construir seu próprio repositório de dados também. A lista completa dos módulos do pacote está na [nossa documentação](https://basedosdados.github.io/mais/py_reference_api), e veja também como colaborar [subindo dados no repositório](https://basedosdados.github.io/mais/colab_data/).
Existem diversas funções no pacote, tanto para acesso quanto para publicação de dados no nosso ou em qualquer projeto do Google Cloud — você pode usar o pacote para construir seu próprio repositório de dados também. A lista completa dos módulos do pacote está na [nossa documentação](https://basedosdados.github.io/sdk/py_reference_api), e veja também como colaborar [subindo dados no repositório](https://basedosdados.github.io/sdk/colab_data/).

## Explorando as funções do pacote

Expand Down
2 changes: 1 addition & 1 deletion next/blog/pt/como-acessar-dados-da-bd-no-power-bi.md
Original file line number Diff line number Diff line change
Expand Up @@ -69,7 +69,7 @@ Salve a tabela obtida clicando em **Salvar**. Você pode salvar a consulta ou a

<Image src="/blog/como-acessar-dados-da-bd-no-power-bi/image_3.png"/>

O BigQuery irá te pedir para criar um conjunto de dados onde você pode salvar essa tabela (caso não tenha um). Se já tem maior familiaridade com o PBI, é algo muito similar aos conjuntos de dados do PBI. Dê um nome intuitivo ao seu conjunto No caso da Base dos Dados, organizamos os nomes de conjuntos por abrangência geográfica, instituição e tema do dado, você pode ver mais sobre nossas regras de nomenclatura [aqui](https://basedosdados.github.io/mais/style_data/#nomea%C3%A7%C3%A3o-de-bases-e-tabelas). Esse conjunto é essencialmente uma “pasta”onde ficarão todas as tabelas do seu projeto. Neste exemplo, escolhemos o nome “tutorial” de forma mais genérica.
O BigQuery irá te pedir para criar um conjunto de dados onde você pode salvar essa tabela (caso não tenha um). Se já tem maior familiaridade com o PBI, é algo muito similar aos conjuntos de dados do PBI. Dê um nome intuitivo ao seu conjunto No caso da Base dos Dados, organizamos os nomes de conjuntos por abrangência geográfica, instituição e tema do dado, você pode ver mais sobre nossas regras de nomenclatura [aqui](https://basedosdados.github.io/sdk/style_data/#nomea%C3%A7%C3%A3o-de-bases-e-tabelas). Esse conjunto é essencialmente uma “pasta”onde ficarão todas as tabelas do seu projeto. Neste exemplo, escolhemos o nome “tutorial” de forma mais genérica.

<Image src="/blog/como-acessar-dados-da-bd-no-power-bi/image_4.png"/>

Expand Down
4 changes: 2 additions & 2 deletions next/blog/pt/como-acessar-dados-publicos-em-r.md
Original file line number Diff line number Diff line change
Expand Up @@ -23,7 +23,7 @@ Neste texto vamos explicar **como usar a biblioteca** `basedosdados` no R para e

Organizamos no _datalake_ as principais bases de dados públicas já tratadas e prontas para análise. O _datalake_ é mantido no ambiente da Google (BigQuery) e o acesso às bases é gratuito, com um limite mensal de 1TB por mês — acredite, nem a gente chega a tanto.

O pacote `basedosdados` te permite acessar esse banco através do R de um jeito rápido e fácil. Para isso, é necessário que você possua um projeto (gratuito) no Google Cloud — veja como criar seu projeto com estes [5 passos](https://basedosdados.github.io/mais/access_data_bq/) ou siga as instruções na primeira vez que usar o pacote.
O pacote `basedosdados` te permite acessar esse banco através do R de um jeito rápido e fácil. Para isso, é necessário que você possua um projeto (gratuito) no Google Cloud — veja como criar seu projeto com estes [5 passos](https://basedosdados.github.io/sdk/access_data_bq/) ou siga as instruções na primeira vez que usar o pacote.

## Conhecendo a biblioteca `basedosdados`

Expand Down Expand Up @@ -219,7 +219,7 @@ Outra aplicação importante do pacote é a possibilidade de **juntar diferentes

Para exemplificar, vamos comparar os dados que obtemos de saneamento com o **nível de mortalidade por doenças relacionadas à falta de saneamento**. Para explorar mortalidade precisamos de _número de óbitos_, que estão na tabela do [Sistema de Mortalidade do Ministério da Saúde (SIM)](/dataset/5beeec93-cbf3-43f6-9eea-9bee6a0d1683?table=dea823a5-cad7-4014-b77c-4aa33b3b0541), e da _população_, na [tabela de população do IBGE](/dataset/d30222ad-7a5c-4778-a1ec-f0785371d1ca?table=2440d076-8934-471f-8cbe-51faae387c66). Ambas as tabelas estão disponíveis na BD nos links acima!

Para cruzar as tabelas vamos filtrar ambas para o ano de 2013, referente ao Atlas Esgotos (tabela anterior), pela coluna `ano` presente em todas as tabelas. Além disso, vamos também escolher somente a mortalidade de `causa_basica` referente a **doenças diarréicas**, relacionadas à falta de saneamento básico. Os códigos de referência da coluna `causa_basica` na tabela SIM podem ser [consultados aqui](https://github.com/basedosdados/mais/blob/master/bases/br_ms_sim/dictionaries/CID10/CID-10-CATEGORIAS.CSV). A query abaixo faz esses filtros e seleciona as colunas tanto da base de população e quanto de mortalidade:
Para cruzar as tabelas vamos filtrar ambas para o ano de 2013, referente ao Atlas Esgotos (tabela anterior), pela coluna `ano` presente em todas as tabelas. Além disso, vamos também escolher somente a mortalidade de `causa_basica` referente a **doenças diarréicas**, relacionadas à falta de saneamento básico. Os códigos de referência da coluna `causa_basica` na tabela SIM podem ser [consultados aqui](https://github.com/basedosdados/sdk/blob/master/bases/br_ms_sim/dictionaries/CID10/CID-10-CATEGORIAS.CSV). A query abaixo faz esses filtros e seleciona as colunas tanto da base de população e quanto de mortalidade:

```r
base_mortalidade <- basedosdados::read_sql('
Expand Down
4 changes: 2 additions & 2 deletions next/blog/pt/construimos-um-novo-site.md
Original file line number Diff line number Diff line change
Expand Up @@ -91,7 +91,7 @@ Mas processo todo de desenvolvimento começou com a nossa contratação de um (d

A**ntes do desenvolvimento, é necessário muito (e muito) desenho.** Nossas grandes artistas de Comunicação, [Fernanda](http://github.com/fernandascovino) e [Nayara](https://www.linkedin.com/in/nayaramoraesdacosta/), passaram dias e semanas pensando, rascunhando e redesenhando muitas versões possíveis do site. Para isso, utilizamos nosso querido Figma. O Figma é um programa gratuito que possibilita criar protótipos estáticos ou interativos de forma colaborativa, e até mesmo [exportar designs em HTML e CSS](https://www.figma.com/community/plugin/851183094275736358/Figma-to-HTML).

1. **Definir páginas e elementos prioritários**: Começamos pela **Home**, página de **Busca** (com filtros) e de **Conjuntos.** Com base nas entrevistas, decidimos centralizar na página de **Conjuntos** todas as informações de [tabelas tratadas no _datalake_ e outros recursos](https://basedosdados.github.io/mais/) — diminuindo o número de cliques para chegar na informação que você realmente precisa.
1. **Definir páginas e elementos prioritários**: Começamos pela **Home**, página de **Busca** (com filtros) e de **Conjuntos.** Com base nas entrevistas, decidimos centralizar na página de **Conjuntos** todas as informações de [tabelas tratadas no _datalake_ e outros recursos](https://basedosdados.github.io/sdk/) — diminuindo o número de cliques para chegar na informação que você realmente precisa.
2. **Buscar referências de design e conteúdo**: Prints de sites como [Kaggle](https://www.kaggle.com/), [NSW](https://www.nsw.gov.au/) e [World Bank Data](https://data.worldbank.org/) aos poucos foram enchendo nosso mural.

<Image src="/blog/construimos-um-novo-site/image_6.png" caption="Mural de ideias, desenhos e referências no figma."/>
Expand Down Expand Up @@ -134,7 +134,7 @@ Fizemos a gestão do código de desenvolvimento via Github de forma simples: tod

E descobrimos também alguns ajustes para serem consertados antes do lançamento — *acredita que quase lançamos sem o botão de acesso ao datalake?* **Por isso a importância de sempre testar com novos olhos!**

Ouvimos outros pontos de melhoria, como diferenciar [o que é uma tabela tratada e o que é um link externo](https://basedosdados.github.io/mais/) e informar a data de atualização de dados, que foram priorizados pela equipe nos _sprints_ após o lançamento.
Ouvimos outros pontos de melhoria, como diferenciar [o que é uma tabela tratada e o que é um link externo](https://basedosdados.github.io/sdk/) e informar a data de atualização de dados, que foram priorizados pela equipe nos _sprints_ após o lançamento.

## Lançamento e próximos passos

Expand Down
Loading

0 comments on commit 3ae30f8

Please sign in to comment.