jcaristy

SparkContext

with pyspark.SparkContext("local", "PySparkWordCount") as sc: file_path = "example.csv"

Leer un TXT

data = sc.textFile(file_path)

data = sc.textFile(file_path).cache

jcaristy

# http://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-crawler-pyspark-extensions-python-intro.html
pip install awscli --upgrade --user
source ~/.bash_profile
aws --version

jcaristy

#Documentación
#https://conda.io/docs/user-guide/tasks/manage-environments.html

#Listar los enviroments
conda info --envs
conda env list

#Crear ambiente especificando la version de python
conda create -n myenv python=3.4

jcaristy

If

if Bollean

end

jcaristy

# Inclusive range
x = 1..10
# Exclusive range
x = 1...10

# Obtener el primero
x.begin
x.first

jcaristy

Symbols

Son como un String pero que solo se instancia una sola vez en memoria. La idea es que en los Hash siempre se utilicen Symbols y no Strings

# Ejemplo
hash_person = {:nombre => "Juan"}
hash_person[:Apellido] = "Aristizabal"

jcaristy

Hashes

# Declarar
hash_person = {"nombre" => "Juan"}
hash_person["Apellido"] = "Aristizabal"

# Acceder
nombre = hash_person["nombre"]		# Por Key
index = hash_person.key("Juan") # Me devuelve el Key

jcaristy

Arrays

data_set = ['a','b','c']
data_set[0]
data_set[0] = 'a1'

# Agregar al final
data_set << 'd'

jcaristy

Variables

• Global : $var
• Class : @@var
• Instance : @var
• Local : var
• Block : var

Obtener tipo de objeto

jcaristy

Link de la documentación

http://ruby-doc.org/core