rclone-copy-data

rclone-copy-data.md

Guía de Copia entre Spaces de DigitalOcean con rclone

Esta guía detalla el proceso desde la configuración de credenciales hasta la ejecución del comando de copia de archivos.

1. Configuración de los Remotos

Para copiar datos, necesitamos definir dos puntos: origen y destino.

Ejecutar el asistente

rclone config

Pasos para cada remoto (origen y destino)

1. n) New remote.
2. Name: origen (para el primero) y destino (para el segundo).
3. Storage: Seleccionar s3 (Amazon S3 Compliant Storage).
4. Provider: DigitalOcean.
5. access_key_id: Tu Access Key.
6. secret_access_key: Tu Secret Key.
7. endpoint: El de tu región (ej. sfo3.digitaloceanspaces.com).
8. acl: public-read-write (opcion numero 3).
9. location_constraint: Dejar en blanco (o poner la región ej. sfo3).

---

2. Comandos de Verificación

Antes de transferir, asegúrate de que rclone ve tus buckets correctamente.

Acción	Comando
Listar remotos configurados	rclone listremotes
Resumen de tipos de remotos	rclone config show
Listar buckets en el origen	rclone lsd origen:
Listar buckets en el destino	rclone lsd destino:

---

3. Ejecución de la Copia de Archivos

El comando copy transfiere archivos del origen al destino sin borrar nada en el destino.

Paso A: Simulación (Dry Run)

Es vital probar primero sin mover datos reales para verificar rutas:

rclone copy origen:bucket-fuente destino:bucket-destino \
    --progress \
    --transfers 8 \
    --checkers 16 \
    --dry-run

Paso B: Copia Real

Si la simulación fue correcta, ejecuta el comando sin el flag --dry-run:

rclone copy origen:bucket-fuente destino:bucket-destino \
    --progress \
    --transfers 8 \
    --checkers 16

---

4. Gestión y Mantenimiento de Configuración

Eliminar una configuración existente

Si te equivocaste o quieres limpiar un remoto:

rclone config delete nombre_del_remoto

Diferencia entre Copy y Sync

• rclone copy: Solo añade archivos nuevos o modificados al destino. No borra.
• rclone sync: Espeja el origen. Si un archivo no existe en el origen pero sí en el destino, lo borrará del destino. Úsalo con extrema precaución.

---

5. Resumen de Flags Utilizados

• --progress (-P): Muestra estadísticas de velocidad y tiempo restante.
• --transfers: Número de archivos que se suben simultáneamente (ajustar según ancho de banda).
• --checkers: Número de verificadores que comparan archivos entre origen y destino.

---

Notas

Rclone, por defecto, actúa como un "intermediario". A continuacion se detallan los dos escenarios posibles:

1. Si ejecutas rclone desde tu PC Local

En este caso, el ancho de banda que se utiliza es el de tu conexión a internet local.

• Cómo funciona: Rclone descarga los datos de la "fuente" a la memoria RAM de tu computadora y, simultáneamente, los sube al "destino".
• Impacto: Tu internet se sentirá lento mientras dure el proceso y la velocidad estará limitada por tu velocidad de carga (upload).
• Recomendación: No pongas un --transfers muy alto (máximo 5 o 8) para no saturar tu conexión.

---

2. Si ejecutas rclone desde un Servidor (ej. un Droplet de DigitalOcean)

Esta es la forma profesional y recomendada para mover grandes volúmenes de datos.

• Cómo funciona: Si creas una máquina virtual (Droplet) en DigitalOcean y ejecutas rclone desde ahí, la transferencia ocurre dentro del centro de datos de DigitalOcean.
• Impacto: La velocidad es increíblemente alta (puede llegar a Gbps) y no consumes tu internet local. Solo consumes el ancho de banda del servidor.
• Recomendación: Aquí puedes subir --transfers a 16, 32 o más, ya que la red interna de los data centers es muy potente.

---

Resumen de Recomendaciones:

1. Si son pocos GB: Hazlo desde tu PC local. Pon --transfers 8.
2. Si son muchos GB (o TB): No lo hagas desde tu casa. Crea un Droplet de DigitalOcean (el más barato sirve), instala rclone ahí, haz la copia, y luego borra el Droplet. Tardará minutos en lugar de días y no afectará tu internet.