Come copiare i dati tra AWS e Azure Buckets con rclone – CloudSavvy IT


logo blu

I dati sono uno dei prodotti più preziosi al mondo e non è difficile capire perché. Dal marketing alla genomica, l’analisi di grandi insiemi di dati porta a modelli predittivi, che portano a risultati commerciali favorevoli. Più dati utilizzi, migliori saranno questi modelli, il che significa migliori risultati che possono produrre. Ovviamente, ciò significa che spostare i dati da un luogo all’altro è un’abilità cruciale per qualsiasi ingegnere, ma non è sempre così facile come sembra.

Ad esempio, se utilizzi l’archiviazione bucket AWS S3, lo spostamento dei dati su un altro bucket S3 è un singolo comando CLI, aws s3 cp s3://SourceBucket/* s3://DestinationBucket/. Lo spostamento di quegli stessi file su un altro provider cloud, come Microsoft Azure o Google Cloud Platform, richiede uno strumento completamente diverso.

Alla fine di questa esercitazione, sarai in grado di sincronizzare i file da un bucket AWS S3 a un contenitore di archiviazione BLOB di Azure usando rclone, uno strumento di sincronizzazione dei dati open source che funziona con la maggior parte dei provider di cloud e file system Locale.

Prerequisiti

Per seguirlo, avrai bisogno di quanto segue:

  • Un secchio AWS S3
  • Un contenitore di archiviazione BLOB di Azure
  • Chiavi di accesso AWS e chiavi di accesso all’account di archiviazione di Azure
  • Un computer con qualsiasi sistema operativo moderno
    • Le schermate sono di Windows 10 con WSL
  • Alcuni file da copiare

Come configurare rclone

L’installazione di rclone è diversa per ciascun sistema operativo, ma una volta installato, le istruzioni sono le stesse: esegui rclone config

Un'installazione riuscita di rclone.

L’esecuzione del comando config ti chiederà di collegare gli account dei tuoi provider cloud a rclone. Il termine rclone per questo è a a distanza. Quando si esegue il comando config, immettere n per creare un nuovo telecomando. Ne avrai bisogno per AWS e Azure, ma ci sono anche molti altri provider tra cui scegliere.

Collegamento degli account dei provider di servizi cloud a rclone.

Azzurro

Dopo aver scelto Archiviazione BLOB di Azure, sarà necessario:

  • Un nome per il telecomando. (In questa demo, è “Azure”).
  • Il nome dell’account di archiviazione.
  • Una delle chiavi di accesso all’account di archiviazione

Ti verrà richiesto un URL di firma di accesso condiviso e, sebbene sia possibile configurarlo, questa demo utilizza solo una chiave di accesso. Dopo aver inserito il valore predefinito per il resto dei valori premendo Entra Durante il resto dell’installazione, dovresti essere in grado di iniziare a usare il telecomando.

Per elencare i telecomandi configurati sul tuo sistema, inserisci rclone listremotes, che visualizzerà i telecomandi disponibili. È inoltre possibile elencare qualsiasi contenitore di archiviazione BLOB eseguendo rclone lsd :. Assicurati di includere a : alla fine del telecomando quando si eseguono questi comandi perché è così che rclone determina se si desidera utilizzare un telecomando. Puoi correre rclone --help in qualsiasi momento per ottenere l’elenco dei comandi disponibili.

 Elenca tutti i contenitori di archiviazione BLOB eseguendo rclone lsd <remote_name>: “width =” 526 “height =” 248 “onload =” pagespeed.lazyLoadImages.loadIfVisibleAndMaybeBeacon (questo); “onerror =” this.onerror = null; pagespeed.lazyLoadImages.loadIfVisibleAndMaybeBeacon (questo); “/></p>
<p>Usando il <code>ls</code> e <code>cat</code> comandi con un telecomando rclone.</p>
<h2>AWS S3</h2>
<p>L’impostazione del controllo remoto per un bucket S3 è molto simile al contenitore di archiviazione BLOB di Azure, con solo alcune piccole differenze. Dato che ci sono altri provider di cloud storage che rclone considera compatibili con S3, potresti anche ricevere alcuni suggerimenti aggiuntivi durante l’esecuzione <code>rclone config</code>. Avrai bisogno di:</p>
<ul>
<li>Un nome per il telecomando. (In questa demo, è “AWS”).</li>
<li>Una chiave di accesso AWS e la corrispondente chiave di accesso segreta</li>
<li>La regione AWS in cui si trova il deposito</li>
</ul>
<p>Il resto dei prompt può essere configurato per creare altri repository o eseguire altre operazioni, ma per la copia è possibile saltare il resto premendo <em>Entra.</em></p>
<p>Se l’utente al quale appartengono le chiavi di accesso ha accesso al repository, accederà con gli stessi comandi che hanno usato per accedere al controllo remoto di Azure.</p>
<p><img   alt=

È possibile confermare il tipo di telecomando aggiungendo il --long bandiera al rclone listremotes Io mando.

Esecuzione di rclone

Ora che i telecomandi sono impostati, è possibile trasferire file, creare nuovi repository o manipolare i file nel modo desiderato utilizzando un set standard di comandi. Invece di fare affidamento su come lavorare con l’interfaccia della riga di comando di AWS S3 o Azure PowerShell, puoi comunicare tra i due cubi di archiviazione con rclone.

Alcuni comandi utili comuni per iniziare sono:

  • rclone tree :: Elenca i contenuti del repository in formato ad albero. Aggiungi il -C flag per aggiungere colore all’output.
  • rclone size :: Mostra il numero di file nel repository e la loro dimensione totale.
  • rclone sync : Fa corrispondere la destinazione al carattere, ma modifica solo la destinazione. L’origine e la destinazione possono essere percorsi di file locali o percorsi rclone remoti. Aggiungi il -P flag per visualizzare i progressi in modo interattivo.

Nel seguente esempio, il repository AWS S3 è sincronizzato con il controllo remoto di Azure, che elimina il file esistente in Azure e quindi copia i dati da S3. Se è necessario conservare i file nella cartella di destinazione, utilizzare il rclone copyto Io mando.

Il bucket AWS S3 si sincronizza con il controllo remoto di Azure, che elimina il file esistente in Azure e quindi copia i dati da S3.

Sommario

A questo punto, dovresti avere dimestichezza con l’installazione di rclone e la configurazione dei telecomandi, oltre a utilizzare quei telecomandi per copiare i dati tra diversi cloud. rclone è uno strumento estremamente flessibile e non si limita ad AWS e Azure, quindi se usi un altro provider cloud, prova a configurare anche i telecomandi.