データのオーナー権限を譲渡する

Transfer Appliance では、次の方法を使用してデータをアプライアンスにコピーできます。

Transfer Appliance にデータをコピーしたら、ソースデータを削除する前に、Cloud Storage バケットへのデータ転送が完了していることを確認します。

ファイルサイズと命名要件

アプライアンスにアップロードされるファイルは、Cloud Storage のファイルサイズ制限と命名ガイドラインに従う必要があります。

Transfer Appliance は、ファイルサイズや名前を検証しません。アプライアンスが Google に返送されたときにこれらのルールを遵守しないファイルが含まれている場合、それらのファイルを転送できない可能性があります。

SCP または SFTP を使用してデータをコピーする

SCP または SFTP を使用してアプライアンスにデータをコピーするには、次の手順に従います。

Microsoft Windows

  1. WinSCP などの UTF-8 ファイル名をサポートする SCP または SFTP クライアントをダウンロードします。

  2. SCP ツールを使用して、次の設定を使用してアプライアンスに接続します。

    • ファイル プロトコル: SFTP
    • Host name: アプライアンスの IP アドレス。
    • ポート番号: 22
    • ユーザー名: Transfer Appliance チームが提供するアプライアンス ユーザー名。
    • パスワード: Transfer Appliance チームが提供するアプライアンス パスワード。

    Transfer Appliance の宛先ディレクトリは /mnt/ta_data である必要があります。

Linux

  1. 次のコマンドを実行します。

    scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data

    次のように置き換えます。

    • PATH_TO_FILES: コピーするファイルのパス。
    • USERNAME: Transfer Appliance チームが提供するアプライアンス ユーザー名。
    • IP_ADDRESS: アプライアンスの IP アドレス。

  2. プロンプトが表示されたら、Transfer Appliance チームから提供されたアプライアンス パスワードを入力します。

Apple macOS

  1. 次のコマンドを実行します。

    scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data

    次のように置き換えます。

    • PATH_TO_FILES: コピーするファイルのパス。
    • USERNAME: Transfer Appliance チームが提供するアプライアンス ユーザー名。
    • IP_ADDRESS: アプライアンスの IP アドレス。

  2. プロンプトが表示されたら、Transfer Appliance チームから提供されたアプライアンス パスワードを入力します。

NFS 共有を使用してデータをコピーする

NFS 共有を使用してデータをアプライアンスにコピーする手順は次のとおりです。

  1. Transfer Appliance をマウントするには、データソースで次のコマンドを実行します。

    Linux

    1. sudo mkdir /mnt/data

    2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data

      IP_ADDRESS は、アプライアンスの IP アドレスに置き換えます。

    Apple macOS

    1. cd ~

    2. mkdir ta_data

    3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data

      IP_ADDRESS は、アプライアンスの IP アドレスに置き換えます。

  2. アプライアンスにデータをコピーするには、任意のコピー ユーティリティを使用します。

    データのコピーは長時間実行オペレーションです。Apple macOS または Linux では、tmux または screen を使用して、ログアウトやネットワークが切断されてもコピープロセスが維持されるようにすることをおすすめします。

SSH 認証鍵を保存します。

Transfer Appliance へのログイン時間を短縮するために、SSH 認証鍵を保存します。 SSH 認証鍵を保存すると、転送速度も向上できます。

  1. ワークステーションで、次のコマンドを使用して鍵ペアを生成します。

    posix-terminal
ssh-keygen -t rsa

  2. アプライアンスに /tmp/ssh_key ファイルを作成します。

  3. 公開鍵ファイルの内容をワークステーションからアプライアンスの /tmp/ssh_key にコピーします。公開鍵ファイルはワークステーションの次の場所にあります。

    • Linux: ~/.ssh/id_rsa.pub
    • Windows: C:Users/USERNAME/.ssh

    複数のキーを承認するには、各キーを /tmp/ssh_key の新しい行に追加します。

  4. アプライアンスで次のコマンドを実行します。既存のキーはすべて上書きされます。

    ta copy_ssh_keys

  5. アプライアンスにログインします。

    • 秘密鍵がワークステーションのデフォルトの場所にある場合は、次のコマンドを使用してアプライアンスにログインします。

      ssh ta_customer@IP_ADDRESS

    • 秘密鍵がデフォルトの場所にない場合は、次のコマンドを使用してアプライアンスにログインします。

      ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS

SMB を使用してデータを転送する

SMB ファイル共有を有効にする手順は次のとおりです。

  1. 次のファイル共有プロトコル フラグを使用して、SMB を使用するようにアプライアンスを構成します。

     ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb

    ta_data ディレクトリが共有され、次のユーザーが作成されます。

    • ユーザー名: ta_customer
    • パスワード: ta_customer

  2. ホストタイプに基づいて、SMB ファイル共有に接続します。

    Microsoft Windows

    ファイル マネージャー

    1. ファイル マネージャーを開き、\\IP_ADDRESS\ta_data へのファイルパスを編集します。

    2. プロンプトが表示されたら、ユーザー名とパスワードを入力します。

    コマンドライン

    1. Windows コマンド プロンプトで「net use X: \\IP_ADDRESS\ta_data」と入力します。

    2. プロンプトが表示されたら、ユーザー名とパスワードを入力します。

    Linux

    ファイル マネージャー

    1. デフォルトのファイル マネージャーを開き、[サーバーに接続] をクリックします。

    2. 「smb://IP_ADDRESS/ta_data」と入力します。

    3. プロンプトが表示されたら、ユーザー名とパスワードを入力します。

    コマンドライン

    1. SMB クライアント sudo apt-get install smbclient をインストールします。

    2. SMB ファイル共有 smbclient //IP_ADDRESS/ta_data -U USERNAME に接続します。

      smb:\> プロンプトが表示されます。

アプライアンスで独自のファイル共有を使用する

アプライアンスは、ラップされた Linux マウント コマンドを使用してアプライアンスに共有をマウントします。

  1. 次のコマンドを実行します。

    NFS

    1. NFS サーバーをホストするデバイス上の /etc/exports ファイルを、サーバーへのアクセス権を付与する IP_ADDRESS に更新します。

    2. アプライアンスで次のコマンドを実行します。

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
--target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
--options=OPTIONS

      次のように置き換えます。

      • IP_ADDRESS: アプライアンスの IP アドレス。
      • MOUNT_POINT: この共有のマウント ポイントの名前。
      • NFS_SERVER_IP: NFS サーバーをホストするデバイスの IP アドレス
      • NFS_DIRECTORY: NFS 共有へのパス。
      • OPTIONS: オプションのカンマ区切りのリスト。これらのオプションは、Linux の mount コマンドで許可されているものです。

    CIFS

    1. アプライアンスで次のコマンドを実行します。

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
--target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
--options=OPTIONS

      次のように置き換えます。

      • MOUNT_POINT: この共有のマウント ポイントの名前。
      • CIFS_SERVER_IP: CIFS サーバーをホストするデバイスの IP アドレス。
      • CIFS_NAME: CIFS の共有名。
      • OPTIONS: オプションのカンマ区切りのリスト。CIFS 共有のパスワードとユーザー名が含まれます。これらのオプションは、Linux の mount コマンドで許可されているものです。

    マウント オプションで特に指定されていない限り、「ta unmount」コマンドでマウント ポイントを削除するまで、マウント ポイントは再起動時に再マウントされます。

  2. アプライアンスのマウントを解除するには、次のコマンドを実行します。

     ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

  3. アプライアンスにデータをコピーするには、任意のコピー ユーティリティを使用します。

    RClone

    1. アプライアンスで RClone を使用して copy コマンドを実行するには、次のコマンドを実行します。

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      次のように置き換えます。

      • MOUNT_POINT: 転送されるデータが格納されているディレクトリ。

    アーカイブ pull

    1. 転送中に tar ファイルにデータをアーカイブするには、次のコマンドを実行します。

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
--destination=/mnt/ta_data --count=THREAD_COUNT

      次のように置き換えます。

      • MOUNT_POINT: 転送されるデータが格納されているディレクトリ。
      • ARCHIVE_SIZE_BYTES: 宛先で生成される tarball のターゲット サイズ。デフォルトは 1 GB で、5 MB ～ 20 GB の範囲で想定されます。
      • THREAD_COUNT: 同時に実行され、アーカイブを作成するスレッドの数。デフォルトは 20 で、1 ～ 10, 000 の範囲で想定されます。

      アーカイブ pull はバックグラウンドで実行されるため、ターミナルから安全に終了できます。pull は、転送を開始する前に、データを一覧表示するフェーズから始まります。

    2. pull を開始すると ID が返されます。この値は、pull の操作に使用できます。

      pull のステータスを確認するには、次のコマンドを実行します。

      ta pull --id=ID --status

      pull を一時停止するには、次のコマンドを実行します。 

      ta pull --id=ID --pause

      一時停止または中断された pull を再開するには、次のコマンドを実行します。

      ta pull --id=ID --resume

      次のように置き換えます。

      • ID: pull ID。

    3. pull が完了すると、tarball が /mnt/ta_data/TA_ARCHIVE_ID/ ディレクトリに見つかります。マニフェスト ファイルが生成され、/mnt/ta_data/manifest_ID.tsv に保存されます。このファイルには、転送されたファイルの情報が含まれ、どの tarball ファイルがどのファイルを保持しているかの詳細が記載されています。エラー マニフェスト ファイルも同様に /mnt/ta_data/manifest_ID_ERROR.tsv に保存され、pull 中に発生したエラーの詳細が表示されます。

    一度に実行する pull コマンドは 1 つにすることをおすすめします。

    速度テストは、TA7 のデータセット サイズ 100 GB で実施されました。これらの値は共有されて、提供される 2 つのコピー ユーティリティから決定する際に役立ちます。転送速度は、アプライアンスの種類やネットワーク接続によって変わります。

    メソッド ファイルサイズ アーカイブ サイズ バイト（アーカイブ pull のみ） レート（NFS） レート（SMB）
    RClone 100 MB なし 600 MB/秒 620 MB/s
    アーカイブ pull 100 MB 10 GB 750 MB/s 850 MB/s
    RClone 1 MB なし 280 MB/s 270 MB/s
    アーカイブ pull 1 MB 500 MB 630 MB/s 380 MB/s
    RClone 100 KB なし 150 MB/s 150 MB/s
    アーカイブ pull 100 KB 5 MB 270 MB/s 90 MB/秒