Last active
May 3, 2023 04:38
-
-
Save kzzzr/a7a0fd521943bb332030936105cd4e23 to your computer and use it in GitHub Desktop.
Analytics Engineer – Setting up Airbyte on YC VM
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
# Начало работы с интерфейсом командной строки | |
# Install: https://cloud.yandex.ru/docs/cli/quickstart#install | |
# Init profile: https://cloud.yandex.ru/docs/cli/quickstart#initialize | |
yc config list # check | |
# Подключиться к виртуальной машине Linux по SSH | |
# Создание пары ключей SSH: https://cloud.yandex.ru/docs/compute/operations/vm-connect/ssh#creating-ssh-keys | |
ls ~/.ssh/id_rsa.pub # check | |
# Создать виртуальную машину из публичного образа Linux | |
# https://cloud.yandex.ru/docs/compute/operations/vm-create/create-linux-vm | |
# проверьте путь до файла с публичным ключом | |
yc compute instance create \ | |
--name airbyte-vm \ | |
--ssh-key ~/.ssh/id_rsa.pub \ | |
--create-boot-disk image-folder-id=standard-images,image-family=ubuntu-1804-lts,size=10,auto-delete=true \ | |
--network-interface subnet-name=default-ru-central1-a,nat-ip-version=ipv4 \ | |
--memory 2G \ | |
--cores 2 \ | |
--hostname airbyte-vm | |
yc compute instance list # check | |
# Запишите публичный адрес ВМ – EXTERNAL IP | |
# Подключение к виртуальной машине | |
# https://cloud.yandex.ru/docs/compute/operations/vm-connect/ssh#vm-connect | |
ssh -L 8000:localhost:8000 -i ~/.ssh/id_rsa.pem yc-user@<EXTERNAL IP> | |
# If you get this: | |
# Permissions 0644 for '.../key.pub' are too open. | |
# It is required that your private key files are NOT accessible by others. | |
# Then change permissions: https://stackoverflow.com/questions/9270734/ssh-permissions-are-too-open-error | |
sudo chmod 600 ~/.ssh/key.pem | |
sudo chmod 600 ~/.ssh/key.pub | |
sudo chmod 755 ~/.ssh | |
# Install docker | |
sudo apt-get update | |
sudo apt-get install -y apt-transport-https ca-certificates curl gnupg2 software-properties-common | |
curl -fsSL https://download.docker.com/linux/debian/gpg | sudo apt-key add -- | |
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/debian buster stable" | |
sudo apt-get update | |
sudo apt-get install -y docker-ce docker-ce-cli containerd.io | |
sudo usermod -a -G docker $USER | |
# Install docker-compose | |
sudo apt-get -y install wget | |
sudo wget https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m) -O /usr/local/bin/docker-compose | |
sudo chmod +x /usr/local/bin/docker-compose | |
docker-compose --version | |
# Install Airbyte | |
git clone https://github.com/airbytehq/airbyte.git | |
cd airbyte | |
git checkout v0.29.2-alpha # checkout tag with HTTP request connector | |
sudo docker-compose up -d | |
# Done | |
# Access at http://localhost:8000/preferences |
После выполнения 51 строки перезайти в терминал
- версию git checkout v0.29.2-alpha или другую стоит указывать, иначе ругается на переменные
- первый вход надо делать http://localhost:8000, по http://localhost:8000/preferences просит подождать и ничего не происходит
- версию git checkout v0.29.2-alpha или другую стоит указывать, иначе ругается на переменные
да, в новой версии нельзя сделать docker-compose up -d так как в новой версии отсутствует файл docker-compose.yaml
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
дополнительно указать зону, иначе ругается
yc compute instance create
--name airbyte-vm
--ssh-key ~/.ssh/id_rsa.pub
--create-boot-disk image-folder-id=standard-images,image-family=ubuntu-1804-lts,size=10,auto-delete=true
--network-interface subnet-name=default-ru-central1-a,nat-ip-version=ipv4
--memory 2G
--cores 2
--zone ru-central1-a
--hostname airbyte-vm