Wpis z mikrobloga

W nawiązaniu do tych wpisów:
wpis 1
wpis 2
Uwaga, będzie przydługo.
TL;DR: Udało się! Wszyscy się cieszą i chwalą swojego admina ( ͡° ͜ʖ ͡°)

W ten weekend przeprowadziłem "akcję modernizację" - zapowiedziałem kilka dni wcześniej, żeby w oddziałach zluzowali z programami w sobotę, a w niedzielę mogą się jeszcze spodziewać ewentualnych krótkich przerw w działaniu usług.

Ogólne wrażenia:
Gdybym miał robić to drugi raz, wiedząc co mamy nad głowami, to może wziąłbym sobie "dobrego barnabę" do pomocy, albo zrobiłbym to jako oddzielne zlecenie czy inne dzieło za super-ekstra kasę, a nie tylko turboboostowany czas pracy, ale z chęcią bym to powtórzył.

Planowanie:
Rozplanowałem sobie to tak, że w sobotę robię wszystkie grubsze rzeczy, wstawiam wszystkie urządzenia i przepinam serwery, siedzę tak długo, jak będzie potrzeba, aby usługi na świat działały poprawnie. W niedzielę natomiast miałem zamysł, aby ew. sprawdzić czy nie mam 150 nieodebranych i 200 SMS że coś nie działa, a ponadto ogarnąć okablowanie w biurze.

Wykonanie:
W piątek zapuściłem zmianę DNSów w OVH (do tej pory mieliśmy własny DNS, który dodatkowo był serwerem WWW i który jako jedyny miał u siebie adres poczty :3).
Sobota:
Do biura przyjechałem ok. 12, tak jak zapowiedziałem ludziom, żeby spodziewali się odłączenia usług. W sumie to jako że nie miałem jakiegoś szczegółowego planu, tylko "??? -> Profit", to stwierdziłem, że zacznę od przeciągania kabli z szafki ze switchami (zdjęcie tego wymysłu we wpisie #2) do serwerowni, która jest po drugiej stronie korytarza (no tak ze 4m w linii prostej, dwie ściany).
I tutaj pojawił się pierwszy problem - oficjalnie firma posiada budynek od jego wybudowania, bo widziałem plany zabudowy itd. W praktyce jednak wygląda to tak, jakby przede mną było tu pięciu administratorów, z czego dwóch było kablowymi artystami, jeden lewym sprzedawcą kabla ethernet a dwóch pozostałych niezrównoważonych umysłowo...
Takiego bajzlu w kablach to ja nie widziałem dawno - komputery w obecnym biurze można policzyć na palcach obu rąk, w dodatku na podpięcie każdego powinno starczyć ze 150m kabla, a tymczasem nad głowami mamy co najmniej ze trzy razy tyle. Jeszcze lać, jak to by był po prostu ładnie ułożony kabel w listwach, czy po prostu zwoje kabla... O nie nie, nie u nas xD Najpierw zdjąłem te #!$%@? kasetony - ktoś musiał się nieźle trudzić, aby z płyt KG wycinać C-kształtki i inne finezyjne formy, a co dopiero to montować.
Tak czy inaczej oczom mym ukazała się istna plątanina kabli, z której dało się jedynie wyczytać, że:
a) Serwerownia chyba była w innym miejscu
b) Idą gdzieś w ścianę
c) 90% tego szajsu jest niepodłączone, zapomniane i najlepiej jakby tak pozostało.
d) Przełożenie czegokolwiek graniczy z cudem, bo będzie się plątać o to co już jest.
Przekładając kolejne kasetony (w sensie, przekładając je gdzieś aby dalej, bo po zdjęciu byłby ból przy ponownym zakładaniu), stwierdziłem, że jedynie co tu jest do zrobienia w sensownym czasie, to położenie nowych kabli do serwerowni, a resztę się ogarnie na spokojnie. To mi się akurat udało zrobić- przetargałem się po suficie, zakułem kable, zamontowałem sprzęt i zaczynam przepinanie. Do tej pory nikt do mnie nie zadzwonił, czy coś się w ogóle dzieje, czy mogą dalej pracować jak gdyby nigdy nic. Ba, przepiąłem serwery, ustawiłem tego dual-wana, odblokowałem porty etc. No zeszło mi się z dobrą godzinkę, bo przecież skoro nikt mnie nie poganiał, to się nie spinałem, tylko wszystko dokładnie i po bożemu robiłem.
Uff, najważniejsze skończone - programy firmowe mają wyjście na/ze świata, wszystko hula, gra i buczy. Zaczynamy karuzelę śmiechu - dzwonię po oddziałach:

-No witam, tu tellet, wasz administrator, działa wam sieć?

-O, a to miała nie działać? Pan coś zmieniał?

-No, w sumie to jej chyba z godzinę nie było, ale skoro Państwo nie zauważyliście to spoko ( ͡° ͜ʖ ͡°)-

-Moment, ale to to co wbiłam w system to.. to mnie się nie zapisało?

-Niee, u nas nie ma takiej możliwości- albo to działa, albo nie.

-A, to ok ( ͡° ͜ʖ ͡°)

Tak wyglądały wszystkie konwersacje. Co się okazało - zacząłem od przepięcia jednego z łącz na nowy router, jednocześnie zapominając o drugim łączu - ludzie sobie wesoło ganiali przez większość czasu, bo samo przepięcie to było z 5 minut.
Programy firmowe - sukces.
Dalej, przyszedł czas na WWW - pinguję sobie dupa8.com, widzę że jest już nowe IP, no to lu, zmieniamy ip w serwerze WWW. I tutaj zaczyna się zabawa, bo serwer WWW był jednocześnie DNSem - o ile pingowanie dupa8.com zwracało odpowiedź z poprawnego adresu IP, o tyle wejście na stronę WWW było niemożliwe ( ͡° ʖ̯ ͡°).
No tutaj nie powiem, zacząłem się trochę srać że będę nocował w tych serwerach, bo już słońce zaszło a ja dopiero 3/5 serwer ustawiam, a dodatkowo nie wiem jak i jadę na pałę. Trochę pozmieniałem w OVH, skasowałem nasze DNSy z listy, z WWW przez apt-get wywaliłem bind9 i zrestartowałem serwer, ale profilaktycznie jako drugi DNS w routerze ustawiłem ten z OVH- dawało mi to furtkę:

-Ej tellet, www nie działa.

-Jak to nie działa, u nas w biurze działa ( ͡° ͜ʖ ͡°)-

I nikt z mojej lokacji nie mógł temu zaprzeczyć ( ͡° ͜ʖ ͡°)
Dalej - poczta, która jak się okazało, przeciągnęła się aż do dziś, ale po kolei. Konfiguracja samego serwera to była pestka, bo serwer udostępniał webinterface. Jako, że dostęp bezpośredni był "trochę utrudniony" (był tylko ekran z kernela, żadnego shella ani gui), to musiałem to jakoś ominąć. Proste wpięcie się kabel-kabel i nadanie sobie odpowiedniego IP pozwoliło na zrestartowanie serwera, do którego wróciło LXDE i dało się już normalnie działać. Zmiana IP, wyślij/odberz maila i heja- ustawione ( ͡° ͜ʖ ͡°). Dodatkowo, do szafy wszedł UPS do podtrzymywania switchy i routera, więc jest malinowo.
Koniec dnia - sobota, wychodzę o 23:00, w domu i tak bym się obijał, a tak to ile rzeczy ogarnąłem i co najważniejsze- samemu, bez niczyjej pomocy oraz teraz jest "po mojemu" i wiem co gdzie idzie, a przynajmniej w kwestii serwerów. To uczucie polecam każdemu- kiedy nasza praca się udaje i od razu przynosi wymierne efekty.

Niedziela
Przyjechałem do firmy ok 14, bo "I simply can, and no one tell me not to". Oczywiście zastałem znajomy burdel w postaci walających się kasetonów i zwisających kabli z sufitu. Jakby ktoś wtedy przyszedł, to nie uwierzyłby że da się to sprzątnąć w kilka godzin, a żeby to jeszcze działało tak samo lub lepiej to już w ogóle cud. No ale od początku - czekało mnie podpięcie biura oraz przepięcie kilku komputerów z wi-fi na kabel, dodatkowo wszystko co się dało, przełączyć na główny switch w serwerowni. Zadanie wydawało się proste, kiedy myślisz że nad głową normalnie biegną sobie kable, według schematu półek który masz przed sobą. Jak już wiemy z soboty, schematy tylko pokazują, gdzie idą zawalone kablami ethernet, energetycznymi i kawałkami gruzu, półki na kable, chociaż z ethernetem to w sumie różnie, bo on sobie lawiruje wokół energetycznych, alarmowych, rurek od klimy oraz ciągów wentylacji, no wolna amerykanka.

Od razu muszę się przyznać, że odpuściłem sobie przełączanie księgowości tak, aby każdy pecet był wpięty w switch - niby 4 urządzenia, ale poległem przy pierwszym betonowym progu, gdzie półka była zawalona kablami, a innych dziur nie stwierdzono, dodatkowo te #!$%@? kasetony. Takich progów miałbym do pokonania jeszcze ze dwa, tak więc "sorry man, not gonna happen". Zamieniłem tylko switcha, o którym pisałem wcześniej, że na jego miejscu był HUB (wziąłem go sobie na pamiątkę), na obecny router ze złączami GBE i w ten sposób zamknąłem kwestię księgowości.

Dalej - biuro sprzedaży, czyli komputer podłączony padającego wi-fi mimo że ma LAN i Verifone podpięty po... kablu. Oczywiście najpierw sprawdziłem stan sufitu - znalazłem ciekawe formy krasowe w miejscu gdzie na dole znajdowała się kserokopiarka, nie wiem czemu tak się wykształciły, ale nie zdejmowałem tych stalaktytów. Może za kilka lat ktoś to zobaczy i nasze biuro będzie nową Jaskinią Raj? Tak czy inaczej, na mojej drodze znów stanął betonowy próg z zawaloną listwą. Odpuściłem sobie przeciąganie nowego kabla i stwierdziłem, że skoro ten Verifone jest podłączony do mojego switcha, to po prostu przedłużę kabel prosto do centralnego switcha, a zamiast Verifona dam jednego ze zdobycznych switchy i będzie banglać. 5m paragonu i jednym restarcie terminala później, wreszcie komputer sprzedaży jest w kablu, wraz z samym terminalem.
Bezpieczeństwo zwiększa się.

Na koniec pozostało przepiąć kilka pecetów i urządzeń. Stwierdziłem, że skoro w tych kilku kilometrów kabli i tak nie ma sygnału, to niech giną i sobie wziąłem kilkadziesiąt metrów, zwłaszcza że szły blisko trasy docelowej. Trochę przerzucania kabli oraz rzucania #!$%@? na układających tą mozaikę i voila, mamy sieć z prawdziwego zdarzenia - wszystko co się dało, jest wpięte w centralny switch, można się zbierać.
Wyszedłem ok. 22:30- zmęczony, ale uradowany, że wreszcie mam jakąkolwiek wiedzę i władzę nad tym jak co idzie.
Dzisiaj wstaję, a tu już 5 nieodebranych, bo "mail nie działa, pomusz". Okazało się, że o ile webinterface pozwala na zmianę IP, o tyle już nie jest na tyle inteligentny, żeby przekierować porty na to samo ip, tylko kierował połowę portów na stare. Ponadto dowiedziałem się, że dotyka to ludzi z Thunderbirdem (nie wiem czemu, ale każdy dyrektor z problemem maila miał thuderbirda...), bo napierają na mail.dupa8.com, gdzie w podstawowej instrukcji dla oddziałów było żeby się łączyli z poczta.dupa8.com, ale widać była to część lokalnego serwera DNS ( ).
Części zmieniłem z mail na poczta, innym kazałem czekać aż się naprawi (dodałem przekierowanie w OVH), a jeszcze innym zmieniłem port :3, dodatkowo zmieniłem IP w port forward serwera na poprawne. Może to głupie jak but i wprowadza burdel, ale nie płaczą że nie działa, czyli problem został rozwiązany.

No i tak dobrnęliśmy do końca opowieści - ludzie się cieszą, administrator programów jara się że wreszcie mamy prawdziwie redundatne łącza a ja mogę sobie wreszcie oglądać śmieszne kotki w 4K za sprawę GbE i łącza 300/30 do którego mam podpięty tylko swój komputer ( ͡° ͜ʖ ͡°)

Serdecznie dziękuję z całego serca za pomoc mirkom:
@syrena_elektro
@hrbmx
@ql00

#siecikomputerowe #coolstory #sysadmin ##!$%@?
  • 8
@tellet ładnie się rozpisaleś xD . Propsuje za organizację, tym bardziej że robiłeś wszystko samemu. Masz dore podejście i czuje, że nie zginiesz. Jeszcze jeden tip na przyszłość, jak pracujesz sam i spodziewasz się masy telefonów, to ustaw sobie nagranie, że trwają prace planowe w określonym czasie i będziesz dostępny od godziny jakiejś tam. Durne rozmowy z klientami powodują odrywanie od roboty i stratę czasu na ponowne skupienie się na określonych czynnościach.
@tellet jak u ciebie jest z tym podwójnym łączem? Bo zastanawiam sie żeby tak zrobić u siebie że jak pierwsze padnie to wchodzi drugie ale jak to zrobić żeby poczta, dnsy itp też przestawialo się samo na drugie?
@Dolan Nie no, tak wesoło to u nas nie ma xD. Jeśli chcesz się tak bawić to przygotuj sporo kasy i poczytaj o routingu BGP. Drugą opcją, na którą wpadliśmy w międzyczasie było postawienie jakiegoś prostego webservera na jakimś hostingu, do którego działające serwery by się meldowały, a np. skąd programy firmowe brałyby dostępne IP, ale to wymaga dobrej przepustowości.
Obecnie jest tak, że mamy router dual-wan, na nim przekierowanie wszystkich potrzebnych
@tellet mialem kiedyś tak zrobione właśnie na rv042 i na load balance nie działały aplikacje bankowe bo system banku wykrywal zmianę ip w czasie sesji i rozlaczal księgową xd
@Dolan No my mamy program księgowy po VPN, dodatkowo zakładany przez firmę zewnętrzną, to jedyne co tam zmieniłem to tylko kable na nowsze, wszystko inne pozostało bez zmian- router księgowości ma swoje stare IP, podobnie jak serwer. Choć nie ukrywam, trochę się cykałem, że coś zmienię i ludzi z VPN wywali, a konfiguracja tego zdalnie to byłaby masakra.
@Dolan: mozesz ustawic krotki ttl na domenach, skrypcik w cronie sprawdzajacy ipka (typu: curl ipinfo.io) i update'ujacy rekordy DNSowe przez API (OVH tak pozwala) - zakladajac ze DNSy masz na zewnatrz firmy. Troche ubogi mechanizm ale powinno dzialac.
Zeby wykorzystac BGP sensownie do load balancingu miedzy kilku operatorow to musialbys miec adresacje PI, ktora skonczyla sie w RIPE (https://www.ripe.net/manage-ips-and-asns/resource-management/number-resources/independent-resources) wiec tak prosto to nie bedzie. Za to mozesz miec BGP
@flor4s rekordy domeny mam w ovh, serwer DNS mam na windowsie, router mikrotika wiec to by mogło zadziałać na skryptach. Tylko musze znaleźć czas i chęci ( ͡° ͜ʖ ͡°)