Skip to content

Instantly share code, notes, and snippets.

View sudodoki's full-sized avatar

Джон, просто Джон sudodoki

218 followers · 95 following
  • Kyiv, Ukraine
View GitHub Profile
@sudodoki
sudodoki / data_ingestion+ETL.md
Created September 11, 2022 13:02
Екстракт з блогпоста про Data Mesh щодо data ingestion та ETL

Data Ingestion

Тут ми налаштовуємо процеси як отримати потрібні нам дані і “завести” їх в систему.

Для грамотної роботи, дата інженери мусять скоординувати свою роботу з потребами інших команд, які можуть виступати у ролі подальших споживачів даних. Ingestion можна класифікувати по-різному, один з варіантів – за видом отримання даних.

Один з варіантів походження даних буде, скоріше за все, зрозумілий людям, що працюють у вебі. Якщо вам по http треба передати дані, то ви або маєте можливість зробити певний запит на якийсь ендпоінт, чи маєте налаштовані вебхуки, куди періодично надходять дані. Деякі компанії мають лише веб інтерфейси для даних у вигляді якихось JSON API (авжеж, і інші формати можливі). В цьому випадку інженеру треба знати за яким посиланням треба ходити на цей third party API, налаштувати відправку запитів, разово чи періодично, і відповідно обробляти відповіді системи (і помилки теж), і зберігати ці дані.

Більш нестандартними підходами, які поширені у дата-інженерів в більшій мірі, ніж

@sudodoki
sudodoki / Podcast-list.md
Created May 24, 2016 09:02
This is just a small list compiled from Google's first page results I would be trying to listen to and evaluate. Generally interested in: + Some topics: CompSci | Algorithms | Compilers | ML/BD (as aside, not primary interest) + Easy to listen, so this can work as background for long walk, etc + Audio being of appropriate quality
@sudodoki
sudodoki / Infographic-tools.md
Last active January 16, 2024 23:20
@sudodoki
sudodoki / flatten-maps.clj
Last active November 29, 2023 00:26
Flatten nested maps using clojure / clojurescript using compound keys
(defn get-key
[prefix key]
(if (nil? prefix)
key
(str prefix "-" key)))
(defn flatten-map-kvs
([map] (flatten-map-kvs map nil))
([map prefix]
(reduce
(fn [memo [k v]]
@sudodoki
sudodoki / sumP_ru.js
Last active April 1, 2023 15:22
// from http://vvsite.com.ua/?attachment_id=783
//<!--
var cifir_ru= new Array("од","дв","три","четыр","пят","шест","сем","восем","девят");
var sotN_ru=new Array("сто","двести","триста","четыреста","пятьсот","шестьсот","семьмот","восемьсот","девятьсот");
var milion_ru=new Array("триллион","миллиард","миллион","тысяч");
var anDan_ru =new Array("","","","сорок","","","","","девяносто");
function SPRU(XS){
(XS>0? this.XS=sumPROPRU(Math.floor(XS),Math.round((XS-Math.floor(XS))*100)) : this.XS="Пусто!" );
return this;
@sudodoki
sudodoki / Наукпоп_подкасти.md
Created January 10, 2023 12:39
🇺🇦 Наукпоп подкасти (теоретично)

Наче наупчоп зі Spotify

але місцями або айті, або більше інтерв'ю | умовно сортовано по релевантності | не всі досі виходять, деякі на 1-2 епізоди із старих нерелевантних дропнув | відфільтровано по тегам + мові uk з метаопису

@sudodoki
sudodoki / nouns.txt
Created July 2, 2018 07:17
list of uncountable nouns aka mass nouns scraped from http://simple.wiktionary.org/wiki/Category%3aUncountable_nouns
abaft
abandon
abasia
abating
abbreviated
abducted
able-bodiedism
able-bodism
ableism
ablepharia
@sudodoki
sudodoki / Episode_13_shownotes.md
Last active August 9, 2021 10:35

Полуночный Трёп №13: Визуализация данных

Ссылки на прослушивание

  1. 00:00-00:50 Интро, дисклеймер и прочая.
  2. 00:50-03:53 Что изучить по теме визуализации.
@sudodoki
sudodoki / data-mesh-tools.md
Created May 6, 2021 21:00
@sudodoki
sudodoki / neuro_horror_tales.md
Created April 28, 2021 09:02 — forked from altsoph/neuro_horror_tales.md

Жили в одном городе семья. А была у них девочка, звали ее Ия-Ия. Мама все время ей говорила, чтобы она не ходила на кладбище и никогда там не оставалась одна. А мама всегда ей говорит: — Хорошо, я тебе скажу, куда идти ночью ходить! Дети пошли с мамой к одному парню, где жил один мужик, а с ним жил его сын, они часто гуляли вместе по ночам и всегда приносили ему поесть и напивались до бесчувствия. Однажды они собрались идти к этому мужику, когда увидели страшный красный огонь в небе. Мама сказала детям спать и спрятала их под кроватью. Ночью эта компания услышала шорох за стенкой и девочки испугались. Они выбежали из дома и увидали, что на месте их домика возвышается огромная каменная башня, но когда эти маленькие дети подумали о том, что это может быть, им стало страшно еще больше. Вдруг снова раздался тот же самый звук, только другой голос: — Кто там? — спросили девочку те взрослые, которые были возле того места. Девочка посмотрела наверх и увидела большую черную фигуру, которая подошла к тому месту и стала