[Red_Hawk]

Mirki mam skrypt napisany w pythonie z biblioteką multiprocessing więc mogę odpalić go z użyciem flagi --jobs 'ilosc procesow' co spowoduje uruchomienie go na wielu rdzeniach.
Wszystko spoko tylko że mam dwie identyczne maszyny po 4 rdzenie (cluster) i chciałbym wykorzystać je wszystkie,jak to zrobić?
#raspberrypi #mpi #python #pytanie #komputery #informatyka #programowanie #parrarelcomputing #cluster #serwery

[Nieuk0192]

@Red_Hawk: mam chęć pomocy, ale nie wiem o czym Ty do mnie mówisz xD

skrypt napisany w pythonie z biblioteką multiprocessing

flagi --jobs 'ilosc procesow'

maszyny po 4 rdzenie (cluster)

[Red_Hawk]

@Nieuk0192: XD
No mam program ,w którym jest użyta biblioteka która umożliwia rozłożenie jego pracy na różne rdzenie procesora aby przyspieszyć działanie.Jednak owa biblioteka umożliwia użycie tylko lokalnych rdzeni (w maszynie z której jest odpalana) a ja chciałbym odpalić ten program na dwóch maszynach tak aby działało to dwa razy szybciej

[przepelnieniebuforu]

@Red_Hawk: MPI

[Nieuk0192]

@Red_Hawk: no i na co czekasz? Odpalaj na dwóch maszynach ( ͡° ͜ʖ ͡°)
Nie dziękuj, czasami trzeba się kogoś poradzić ( ͡° ͜ʖ ͡°)

[Red_Hawk]

@przepelnieniebuforu: Myślałem nad tym ale nie wiem jak się za to zabrać ,jakieś wskazówki?

[Red_Hawk]

@Nieuk0192: #!$%@? z tym że dostanę dwa te same wyniki i nic to nie przyspieszy xD

[chrzanu180]

@Red_Hawk: Może docker?

[gchmurka]

@Red_Hawk: https://wiki.python.org/moin/ParallelProcessing
sekcja cluster computing

Kiedyś użyłem testowo pp - ale to było z 4 lata temu (stawiasz serwery, wysyłasz do nich część obliczeń, zbierasz dane).

[przepelnieniebuforu]

@Red_Hawk: Stawiasz środowisko (jest nawet docker) odpalasz na jednej maszynie, ona automatycznie przesyła binarkę do wszystkich nodeów podpiętych. Na podstawie ID node wyznaczasz zakres pracy i czekasz na wyniki.

[Red_Hawk]

@gchmurka: a da się to odpalić bez ingerencji w program który chce odpalić?

[Red_Hawk]

@przepelnieniebuforu: Okej , jak postawić srodowisko.? Sory że takie pytanie ale jestem jeszcze w tym zielony

[gchmurka]

@Red_Hawk: ehh szkoda słów... wszystko tam masz opisane, jeśli nie potrafisz skorzystać z w/w informacji to odpuść i kup mocniejszy komputer który zrealizuje zadanie szybciej.

[przepelnieniebuforu]

@Red_Hawk: Najprościej? Znaleźć obraz dockera i przez docker-compose.

[Red_Hawk]

@gchmurka: dobra nie ważne ,nie zauważyłem tego xD dzięki już wszystko jasne