[ujdzie]

Potrzebuję przenieść 2 mln. (kilkaset GB) małych plików na inny serwer (ssh > ssh, ale do obu maszyn mogę mieć dostęp root). Samo wylistowanie ich w folderze zajmuje 20minut, rsync się wysypuje co kilkadziesiąt tysięcy plików, na serwerze nie da się ich zarchiwizować (brak miejsca).

Teraz mam je wylistowane do pliku .txt i idealna opcja by była taka, żeby sobie skrypt usuwał przesłane pliki zamiast sprawdzać czy są już zsynchronizowane, albo jakby się dało archiwizować to w porcjach. Jedno i drugie poza moim obszarem kompetencji.

Jakieś pomysły?

#linux #devops #vps #bash

[simon999]

@ujdzie: stazyste za free i niech kopiuje xd

[ponton]

@ujdzie tar po ssh?

https://cromwell-intl.com/open-source/tar-and-ssh.html

[annotate]

@ujdzie: jak musisz po ssh i jesteś tak ograniczony, to zrób pośrednią opcję - sporcuj np. po katalogach i odpal rsynca dla każdego folderu w root oddzielnie (no chyba że w root są 4 foldery na krzyż :>).

rsync robi scan foldery po obu stronach najpierw. Sprawdziłeś dlaczego #!$%@?? jakieś OOM w dmesg?

[TwojHimars]

@ujdzie: kompresja do zip stopień 0, przeniesienie jednego pliku, rozpakowanie

[ujdzie]

@annotate: @TwojHimars podzieliłem listę plików na porcję i zrobię z tego kilka tarów, chyba najlepsza opcja. Niestety ktoś nie przewidział, że 2m plików w katalogu to słaby pomysł ;)

[jalop]

@ujdzie co wypluwa rsync?

[ujdzie]

@jalop: jakiś network error. Ale samo synchronizowane zanim rozpocznie trwa wieki i czasami nawet nie rozpoczyna. Problemem jest baaaaardzo stara maszyna z plikami raczej.

[Djelon]

@ujdzie: rsync się wywala? To bardzo dziwne.

[420_3]

@TwojHimars #!$%@?ł do pieca. Raz a porządnie.

[TwojHimars]

@420_3: Nie uznaję stosunku przerywanego

[ujdzie]

@ponton: tar przez ssh to jest chyba jednak najszybsza opcja. Tar 100k plików lokalnie kompresuje już z 2h...

[dzyndzla]

@ujdzie: rclone spróbuj, może poradzi sobie lepiej od rsynca, r clone ma zaawansowane opcje wznawiania transferu

[pyzdek]

@ujdzie: rsync ma opcje weryfikacji czy przesłało się ok oraz kasowania pliku na kompie źródłowym po przesłaniu do celu: --remove-source-files
https://www.cyberciti.biz/faq/linux-unix-bsd-appleosx-rsync-delete-file-after-transfer/

Ja bym zapuścił rsynca w pętli, dopóki nie przesłałby wszystkiego.

[Oo-oO]

@ujdzie: utwórz lokalnie kilka katalogów, zaloguj się przez ssh i ręcznie odpal mv jakiś_regex_czy_glob - lokalnie powinno to być całkiem szybkie. Jeśli się uprzesz, a masz już wylistowane pliki, to nawet coś w stylu

for i in $(seq 1 10000); do
  dest=/tmp/dupa/$i
  mkdir -p $dest
  while read filename; do
    mv $src_dir/$filename $dest/
  done <pliczek_z_nazwami_nr_N
done

powinno zadziałać

[ujdzie]

@Oo-oO: jep, coś podobnego ogarnąłem, ale tworzy folder na bazie nazwy pliku (są w sekwencji).

[rtp_diov]

@ujdzie: rsync - jeżeli to nie daje rady to nic innego tez nie da pewnie masz walnięta kartę sieciowa albo ram w tym kompie albo dysk. Skup się przede wszystkim aby rsync działał to najlepsze do takich rzeczy i ma tez ustawienia do wznawiania transferu

[BArtus]

@ujdzie: już po potokach?
Ja bym zamontował na stary system na nowej maszynie przez sshfs i kopiował normalnie.
Albo tarował prosto do San jeśli to po sieci lokalnej: ssh user@Server 'tar zcf - /some/dir' | tar zvxf -
Na koniec przelecieć md5tree, czy nic nie brakuje.

[ujdzie]

@BArtus: jeszcze nie :) Odpuściłem na czas bliżej nieokreślony, bo serwer źródłowy klękał z innych powodów.

Dzięki za tipa, obadam na dniach.