Analytics Engineer – Setting up Airbyte on YC VM

dwh_airbyte_setup.sh

# Начало работы с интерфейсом командной строки
# Install: https://cloud.yandex.ru/docs/cli/quickstart#install
# Init profile: https://cloud.yandex.ru/docs/cli/quickstart#initialize

yc config list # check 

# Подключиться к виртуальной машине Linux по SSH
# Создание пары ключей SSH: https://cloud.yandex.ru/docs/compute/operations/vm-connect/ssh#creating-ssh-keys

ls ~/.ssh/id_rsa.pub # check

# Создать виртуальную машину из публичного образа Linux
# https://cloud.yandex.ru/docs/compute/operations/vm-create/create-linux-vm

# проверьте путь до файла с публичным ключом
yc compute instance create \
    --name airbyte-vm \
    --ssh-key ~/.ssh/id_rsa.pub \
    --create-boot-disk image-folder-id=standard-images,image-family=ubuntu-1804-lts,size=10,auto-delete=true \
    --network-interface subnet-name=default-ru-central1-a,nat-ip-version=ipv4 \
    --memory 2G \
    --cores 2 \
    --hostname airbyte-vm


yc compute instance list # check
# Запишите публичный адрес ВМ – EXTERNAL IP

# Подключение к виртуальной машине
# https://cloud.yandex.ru/docs/compute/operations/vm-connect/ssh#vm-connect

ssh -L 8000:localhost:8000 -i ~/.ssh/id_rsa.pem yc-user@<EXTERNAL IP>

# If you get this:
# Permissions 0644 for '.../key.pub' are too open.
# It is required that your private key files are NOT accessible by others.
# Then change permissions: https://stackoverflow.com/questions/9270734/ssh-permissions-are-too-open-error

sudo chmod 600 ~/.ssh/key.pem
sudo chmod 600 ~/.ssh/key.pub
sudo chmod 755 ~/.ssh

# Install docker

sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl gnupg2 software-properties-common
curl -fsSL https://download.docker.com/linux/debian/gpg | sudo apt-key add --
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/debian buster stable"
sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io
sudo usermod -a -G docker $USER

# Install docker-compose

sudo apt-get -y install wget
sudo wget https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) -O /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
docker-compose --version

# Install Airbyte

git clone https://github.com/airbytehq/airbyte.git
cd airbyte
git checkout v0.29.2-alpha # checkout tag with HTTP request connector
sudo docker-compose up -d

# Done
# Access at http://localhost:8000/preferences

Строку 64 (git checkout v0.29.2-alpha) не учитывать, ставим последнюю версию и используем коннектор 'File'

дополнительно указать зону, иначе ругается

yc compute instance create
--name airbyte-vm
--ssh-key ~/.ssh/id_rsa.pub
--create-boot-disk image-folder-id=standard-images,image-family=ubuntu-1804-lts,size=10,auto-delete=true
--network-interface subnet-name=default-ru-central1-a,nat-ip-version=ipv4
--memory 2G
--cores 2
--zone ru-central1-a
--hostname airbyte-vm

После выполнения 51 строки перезайти в терминал

• версию git checkout v0.29.2-alpha или другую стоит указывать, иначе ругается на переменные
• первый вход надо делать http://localhost:8000, по http://localhost:8000/preferences просит подождать и ничего не происходит

• версию git checkout v0.29.2-alpha или другую стоит указывать, иначе ругается на переменные
  да, в новой версии нельзя сделать docker-compose up -d так как в новой версии отсутствует файл docker-compose.yaml