Exercício extra da aula sobre Limpeza de Dados do curso Dominando o Fluxo de Trabalho com Dados da Escola de Dados

README.md

Dominando o Fluxo de Trabalho com Dados - Limpeza de Dados - OpenRefine

Para exercitar o conhecimento adquirido na aula, tente transformar os dados do arquivo caged.csv no formato Tidy Data. Os principais desafios desse arquivo são:

1. Como adicionar uma coluna "UF"?
2. Como adicionar uma coluna "Ano"?
3. Como apagar as linhas irrelevantes, como nome de colunas repetidas, linhas em branco, e "Total"?

Você pode achar útil:

• Transformações usando os métodos find, split e get da linguagem GREL
• Funcionalidade Editar células → Preencher abaixo
• Filtros de texto
• Reordenar / Remover colunas

O arquivo final deve ser semelhante ao em caged-tidy-data.csv.

Quando terminar (ou mesmo antes), tente carregar e aplicar as operações definidas em operacoes-openrefine.json (dica: veja a aba Desfazer / Refazer).

Qualquer dúvida, estou disponível em vitor@vitorbaptista.com e/ou @vitorbaptista.

caged-tidy-data.csv

caged.csv

operacoes-openrefine.json

[
  {
    "op": "core/column-addition",
    "engineConfig": {
      "facets": [],
      "mode": "row-based"
    },
    "baseColumnName": "Área",
    "expression": "grel:value.find(/UF =.*/).get(0).split('UF = ').get(0)",
    "onError": "set-to-blank",
    "newColumnName": "UF",
    "columnInsertIndex": 1,
    "description": "Create column UF at index 1 based on column Área using expression grel:value.find(/UF =.*/).get(0).split('UF = ').get(0)"
  },
  {
    "op": "core/fill-down",
    "engineConfig": {
      "facets": [],
      "mode": "row-based"
    },
    "columnName": "UF",
    "description": "Fill down cells in column UF"
  },
  {
    "op": "core/column-addition",
    "engineConfig": {
      "facets": [],
      "mode": "row-based"
    },
    "baseColumnName": "Área",
    "expression": "grel:value.find(/\\d\\d\\d\\d/).get(0)",
    "onError": "set-to-blank",
    "newColumnName": "Ano",
    "columnInsertIndex": 1,
    "description": "Create column Ano at index 1 based on column Área using expression grel:value.find(/\\d\\d\\d\\d/).get(0)"
  },
  {
    "op": "core/fill-down",
    "engineConfig": {
      "facets": [],
      "mode": "row-based"
    },
    "columnName": "Ano",
    "description": "Fill down cells in column Ano"
  },
  {
    "op": "core/row-flag",
    "engineConfig": {
      "facets": [
        {
          "type": "text",
          "name": "Área",
          "columnName": "Área",
          "query": "UF =",
          "mode": "regex",
          "caseSensitive": false,
          "invert": false
        }
      ],
      "mode": "row-based"
    },
    "flagged": true,
    "description": "Flag rows"
  },
  {
    "op": "core/row-flag",
    "engineConfig": {
      "facets": [
        {
          "type": "text",
          "name": "Área",
          "columnName": "Área",
          "query": "Total",
          "mode": "text",
          "caseSensitive": false,
          "invert": false
        }
      ],
      "mode": "row-based"
    },
    "flagged": true,
    "description": "Flag rows"
  },
  {
    "op": "core/row-flag",
    "engineConfig": {
      "facets": [
        {
          "type": "text",
          "name": "Área",
          "columnName": "Área",
          "query": "",
          "mode": "text",
          "caseSensitive": false,
          "invert": false
        },
        {
          "type": "list",
          "name": "Área",
          "expression": "isBlank(value)",
          "columnName": "Área",
          "invert": false,
          "omitBlank": false,
          "omitError": false,
          "selection": [
            {
              "v": {
                "v": true,
                "l": "true"
              }
            }
          ],
          "selectBlank": false,
          "selectError": false
        }
      ],
      "mode": "row-based"
    },
    "flagged": true,
    "description": "Flag rows"
  },
  {
    "op": "core/row-removal",
    "engineConfig": {
      "facets": [
        {
          "type": "list",
          "name": "Flagged Rows",
          "expression": "row.flagged",
          "columnName": "",
          "invert": false,
          "omitBlank": false,
          "omitError": false,
          "selection": [
            {
              "v": {
                "v": true,
                "l": "true"
              }
            }
          ],
          "selectBlank": false,
          "selectError": false
        }
      ],
      "mode": "row-based"
    },
    "description": "Remove rows"
  },
  {
    "op": "core/column-reorder",
    "columnNames": [
      "Ano",
      "UF",
      "Área",
      "Admitidos",
      "Desligados",
      "Saldo"
    ],
    "description": "Reorder columns"
  }
]