але місцями або айті, або більше інтерв'ю | умовно сортовано по релевантності | не всі досі виходять, деякі на 1-2 епізоди із старих нерелевантних дропнув | відфільтровано по тегам + мові uk з метаопису
Джон, просто Джон sudodoki
sudodoki
/ data_ingestion+ETL.md
Created
September 11, 2022 13:02
Екстракт з блогпоста про Data Mesh щодо data ingestion та ETL
Тут ми налаштовуємо процеси як отримати потрібні нам дані і “завести” їх в систему.
Для грамотної роботи, дата інженери мусять скоординувати свою роботу з потребами інших команд, які можуть виступати у ролі подальших споживачів даних. Ingestion можна класифікувати по-різному, один з варіантів – за видом отримання даних.
Один з варіантів походження даних буде, скоріше за все, зрозумілий людям, що працюють у вебі. Якщо вам по http треба передати дані, то ви або маєте можливість зробити певний запит на якийсь ендпоінт, чи маєте налаштовані вебхуки, куди періодично надходять дані. Деякі компанії мають лише веб інтерфейси для даних у вигляді якихось JSON API (авжеж, і інші формати можливі). В цьому випадку інженеру треба знати за яким посиланням треба ходити на цей third party API, налаштувати відправку запитів, разово чи періодично, і відповідно обробляти відповіді системи (і помилки теж), і зберігати ці дані.
Більш нестандартними підходами, які поширені у дата-інженерів в більшій мірі, ніж
sudodoki
/ Episode_13_shownotes.md
Last active
August 9, 2021 10:35
- 00:00-00:50 Интро, дисклеймер и прочая.
- 00:50-03:53 Что изучить по теме визуализации.
- The Visual Display of Quantitative Information, Edward Tufte (amazon, и ссылка на его новую книга).
- The Grammar of Graphics, Wilkinson (springer). Ggplot2.
- Статья-путеводитель по внятным графикам
- Подкаст Data Stories
sudodoki
/ data-mesh-tools.md
Created
May 6, 2021 21:00
Инструменты, которые мы упоминали, если не уловили на слух:
- Streaming: Kafka, Flink, Spark Streaming, Spark
- Querying: Athena, Trino (ex PrestoSQL), SparkSQL
- Storage: Redshift, RDS, S3, Parquet, hdfs
- Data Quality: redata, montecarlodata, anomalo
- Data Platform~ish: databricks, fivetran, Airbyte (singer), [airflow](https://airflow.apache.o
sudodoki
/ neuro_horror_tales.md
Created
April 28, 2021 09:02
— forked from altsoph/neuro_horror_tales.md
Жили в одном городе семья. А была у них девочка, звали ее Ия-Ия. Мама все время ей говорила, чтобы она не ходила на кладбище и никогда там не оставалась одна. А мама всегда ей говорит: — Хорошо, я тебе скажу, куда идти ночью ходить! Дети пошли с мамой к одному парню, где жил один мужик, а с ним жил его сын, они часто гуляли вместе по ночам и всегда приносили ему поесть и напивались до бесчувствия. Однажды они собрались идти к этому мужику, когда увидели страшный красный огонь в небе. Мама сказала детям спать и спрятала их под кроватью. Ночью эта компания услышала шорох за стенкой и девочки испугались. Они выбежали из дома и увидали, что на месте их домика возвышается огромная каменная башня, но когда эти маленькие дети подумали о том, что это может быть, им стало страшно еще больше. Вдруг снова раздался тот же самый звук, только другой голос: — Кто там? — спросили девочку те взрослые, которые были возле того места. Девочка посмотрела наверх и увидела большую черную фигуру, которая подошла к тому месту и стала
sudodoki
/ sample_story_points.md
Created
May 8, 2020 15:44
| SP | Hours |
|---|---|
| 1 | 0.5 - 1 |
| 2 | 1 - 2 |
| 3 | 2 - 4 |
| 5 | 4 - 8 |
| 8 | 8 - 16 |
| 13 | 16 - 24 |
| 21 | 24 - 40 |
| 34 | 40 - 80 |
sudodoki
/ nouns.txt
Created
July 2, 2018 07:17
list of uncountable nouns aka mass nouns scraped from http://simple.wiktionary.org/wiki/Category%3aUncountable_nouns
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
| abaft | |
| abandon | |
| abasia | |
| abating | |
| abbreviated | |
| abducted | |
| able-bodiedism | |
| able-bodism | |
| ableism | |
| ablepharia |
Scraped from https://www.englishclub.com/vocabulary/nouns-uncountable-partitive-list.htm
- a torrent of abuse
- a piece of advice
- a fit of anger
- a work of art
- a rasher of bacon
- a glass of beer
Scraped from https://www.englishclub.com/ref/Nouns_that_are_Count_and_Noncount/
- accommodation => uncountable: a place to live in or stay at; countable: an agreement between opposing people or organisations
- aid => uncountable: money or help given to those who need it; countable: something that helps you to do something
- air => uncountable: the mixture of gases surrounding the earth; countable: (old-fashioned) a tune or a melody
- art => uncountable: paintings, sculpture, drawings, etc.; countable: an activity that needs special training or knowledge
- ballet => uncountable: a style of dancing that tells a story; countable: a particular work of classical dance
- beauty => uncountable: the quality that makes someone or something beautiful; countable: a beautiful woman, or an excellent thing
Scraped from https://www.englishclub.com/vocabulary/nouns-uncountable-list.htm
Note that this is NOT a complete list of all uncountable nouns. Note too that some of these uncountable nouns can also be countable; in this list we show only the uncountable meaning.
- access => the right to see or use something
- accommodation => a place to live in or stay at
- adulthood => the period of time when you're an adult
- advertising => the business of making companies and products well-known
- advice => suggestions about what someone should do
NewerOlder