Skip to content

Instantly share code, notes, and snippets.

View WoodProgrammer's full-sized avatar

Emir Özbir WoodProgrammer

View GitHub Profile
@WoodProgrammer
WoodProgrammer / JSON Test (Commit)
Created May 21, 2017 13:21
GitHooks Simple - Testing Examples
///pre-commit
x=$(curl localhost:8080 | awk '{print$1}')
if [ "$x" = "MAIN_KEY" ]; then
echo "----- PASSED ---- $date"
else
exit 1
fi;
from pymongo import *
import pprint
class Users:
def __init__(self):
self.client=MongoClient('localhost',27017)
self.db=self.client.telegram
def all(self,cn,arg1=None):
main_data = self.db["{}".format(cn)].find()
if arg1 is None:
FROM ruby:2.3.1
RUN apt-get update -qq && apt-get install -y build-essential libpq-dev nodejs
RUN mkdir /alanadisistemi_docker
WORKDIR /alanadisistemi_docker
ADD Gemfile /alanadisistemi_docker/Gemfile
ADD Gemfile.lock /alanadisistemi_docker/Gemfile.lock
RUN bundle install
ADD . /alanadisistemi_docker
WORKDIR /alanadisistemi_docker

Ad/Soyad: Emir Özbir (stajyer)

Kurum: TRNET

ETL NEDİR ?

Günümüzde veri toplanırken birden farklı formatta ve yapıda toplanırken işlenmesi için de belirli bir formatlar ya da o formata bağlı standartlar kümesi gerekmektedir.Bu standartlar oluşurken özellikle veri bilimcilerini uğraştıran bir konudur.

İşte burada devreye ETL girmekte.Herbir harfi farklı bir işlevi temsil eden 3 harf.

E (Extract):

TRPIN

Türkiye'de online oyun topluluklarını hedefleyen bir e-pin satış servisi.

Bağımlılıklar

  • django 1.10.5

  • postgresql 9.5

  • Python 3.6 Öncelikle bizler geliştirme ortamı olarak PyCharm IDE'sini ve UNIX tabanlı bir işletim sistemi tercih ediyoruz. Versiyonlamak ve projeye destek olmak için

  • Linux , MacOS ve Windows(gitshell) :

ETL ÖRNEKLERİ :

Önce projeyi clonelayalım.

  $ git clone https://github.com/WoodProgrammer/etl-ruby.git 
  $ cd etl-ruby
  $ ruby etl.rb

KOD BLOKLARI

EXTRACT

INODE

UNIX tabanlı sistemlerde bulunan bir veri yapısıdır.Inode bir dosyanın,klasörün meta datasını tutmamızı sağlan bir sistemdir. Inode , index node diye de geçmetedir.UNIX tabanlı bir sistemde her nesne bir inode ile temsil edilir. Yani dosyaları ve klasörleri inode ile indexlemekteyiz.

Bu index inode number denen bir yapı ile oluşturulmaktadır.Inode number rastgele değil bir patterne göre işlemektedir. Inode numarası

  • Dosya tipini
  • Dosya İzinleri
  • Kullanıcı ID

User Tablosu

create table users(
id serial not null primary key,
username varchar(15) not null UNIQUE,
password text not null,
email text not null UNIQUE,
c_date timestamp default current_timestamp,full_name varchar(40) , 
status boolean not null default true,balance real not null default 0,
lastlogin timestamp not null default current_timestamp,

Karar Ağaçları

Bu konunun anlatılmasında ve genel veri bilimi konusunda örneklerin ve belli başlı bilgilerin bulunduğu kaynaklar.

Şadi Evren Şeker - Karar Ağaçları

DATA-CAMP Github Repo

Az biraz Makine Öğrenmesi ??

Makine Öğrenmesi süreçlerinde aslında bizim problemimize bağlı olarak algoritma değişir.

# -----------------------------
# PostgreSQL configuration file
# -----------------------------
#
# This file consists of lines of the form:
#
# name = value
#
# (The "=" is optional.) Whitespace may be used. Comments are introduced with
# "#" anywhere on a line. The complete list of parameter names and allowed