-
How to use discipline, consistency and code organization to make your code grow more gently.
-
As you cycle through patterns, your application is becoming a patchwork of different coding techniques.
All those new techniques actually help, or if you are just adding layers of inderection.
-
Large applications are large so what we can do is organize a codebase in a way that "scales logarithmically".
# -*- coding: utf-8 -*- | |
""" | |
Example of Python Data Frame with SparkSession. | |
""" | |
from pyspark.conf import SparkConf | |
from pyspark.sql import SparkSession | |
from pyspark.sql.functions import * | |
from pyspark.sql.types import * |
Execute the shell script: jenkins_install.sh
Configure a proxy using nginx or apache to http://ci.company.example.com.br(I'll use this URL as example).
Com a finalidade de ter uma maior visibilidade das entregas realizadas, facilidade na comunicação entre times e planejamento do produto a longo prazo iremos adotar Versionamento Semântico.
Nós iremos seguir a especificação Semântica de Versionamento do Tom Preston-Werner criador do Gravatars e co-fundador do GitHub.
Dado um número de versão MAJOR.MINOR.PATCH, incremente a:
So we will start by introducing you to where big data comes from and what kinds of things you can do with it.
We'll also provide an overview of some of the key characteristics of big data and a short summary of the data science process to get value out of big data.
mkdir python_pipenv_jupyter | |
cd python_pipenv_jupyter/ | |
pipenv --three | |
pipenv install pandas numpy | |
pipenv install jupyter | |
pipenv run python -m ipykernel install --user --name python_pipenv_jupyter_env --display-name "python_pipenv_jupyter_env" | |
pipenv run jupyter notebook --ip=192.168.1.12 |
# -*- coding: utf-8 -*- | |
""" | |
Example of Python RDD with SparkContext | |
""" | |
import csv | |
from pyspark import SparkContext | |
from pyspark.conf import SparkConf | |
from collections import OrderedDict |
Dados empoderam as pessoas para tomarem melhores decisões em Educação. Pode ser um pai atrás de informação para escolher a escola dos filhos, um aluno que descobre sua nota no Enem com meses de antecedência ou uma escola que sabe exatamente o que trabalhar em sala de aula para potencializar a aprendizagem. É nisso que a Tuneduc acredita.
Aqui, engenheiros, designers, economistas, educadores e outros apaixonados por educação analisam dados e constroem plataformas digitais. São soluções que estão no dia a dia de mais de 600 escolas, em algumas das maiores redes públicas do país e no celular de 300 mil alunos.