Aiuto, ho perso il controllo del mio NAS e non riesco a riavviarlo in sicurezza!

[daghemo]

Ciao a tutti,
questo è il mio primo post del forum, dopo quello di presentazione: dopo anni con NAS della QNAP ho sentito il bisogno di prendere una boccata di aria fresca e mi sono comprato un RS1219+ che ho inziato a popolare con 3 IronWolf da 8 TB.

Da qualche giorno però ne ho perso il controllo e sono disperato e preoccupato per i miei dati!

Non so se quella possa essere stata la causa di tutto, ma una notte il True Image su un mio PC ha saturato lo spazio nella share Samba/Windows esposta come NetBackup tramite il /volume1.
A seguire il NAS non è più riuscito neanche a mandarmi le notifiche via mail di "extremely low capacity" che avevo ricevuto qualche giorno prima.

Ora non riesco più a collegarmi via web o SSH al NAS. Ho provato sia con admin che con la mia utenza personale. In tutti i casi il login va in timeout. Ogni tanto provando via web visualizzo una pagina con logo Synology e scritta "Sorry, the page you are looking for is not found.". Ho provato anche a collegarmi con seriale RS232 e anche in questo caso il login va in timeout:

Codice: Seleziona tutto

RS1219NAS login: admin                                                                      
Password:              
login: timed out after 60 seconds
[883657.413865] init: tty main process ended, respawning

Ma il NAS è online e visibile dalla mia rete. Risponde al ping e vedo anche queste porte con NMAP:

• Ports 22 and 2222 for OpenSSH 7.4.
• Ports 80, 443, 8080 and 8443 for nginx.
• Port 873 for rsync.
• Ports 139 and 445 for Samba smbd 3.x-4.x.
• Port 3261 for Sysnology DSM Snapshot Replication iSCSCI LUN.
• Port 5566 for Synology Snapshot Replication shared folder.
• Port 3493 for Network UPS Tools upsd 2.6.1.
• Port 5510 for secureidprop.

Ancora, riesco a sfogliare il contenuto della share NetBackup dal mio PC, autenticandomi sia con admin che con la mia utenza personale!
Insomma, non sto sbagliando IP, porta o password!

I tre disci IronWolf da 8 TB sono configurati in un unico volume SHR e i tre LED sono verdi: rimangono accesi due/tre secondi, poi si spengono per una frazione di secondo e così via. Non so se questo sia un valido pattern di "blink", cosa che indicherebbe comunque che il sistema sta accedendo ai dischi! Dico il sistema perchè ho anche provato ad isolare il sistema dalla rete e il comportamento dei LED dei dischi è identico.

Ho ovviamente aperto un case al supporto di Synology, ma non siamo ancora arrivati ad una soluzione.

Ho provato a spegnere il NAS in modo sicuro, quindi premento il pulsante di accensione fino a quando non si sente un "bip" e il LED di stato inizia a lampeggiare. Dopo 4 o 5 secondi non ho sentito il "bip", ma il LED ha iniziato a lampeggiare (un verso lampeggio, diverso da quello dei tre LED dei dischi). Dopo diverse ore il NAS era però ancora acceso.

Ieri sera ho provato anche la procedura di reset, ma anche in questo caso, non ho sentito alcun "bip" e... sembra non essere cambiato niente.

Sono davvero preoccupato... per i dati sui miei dischi!

Per questo non vorrei arrivare a spegnerlo brutalmente. Soprattutto perchè non so cosa sta accadendo sui dischi, ovvero se il sistema li sta usando, magari anche solo per il check di integrità o cosa altro.

Non so davvero più cosa prova. Posso ancora provare a scollegare l'UPS, ma le prove che ho già fatto con procedura di spegnimento e reset non mi fanno sperare in bene.

Voi avete qualche idea?

[burghy86]

Quindi non lo hai mai spento del tutto?

[daghemo]

Confermo, non l'ho ancora spento del tutto!

Sì, forse avrò paura anche della mia ombra, ma visto che i LED dei dischi sembrano lampeggiare, non vorrei che fossero in uso...
Speravo fino all'ultimo di trovare un modo per costringere il NAS a smontarli e metterli al sicuro. Tipo entrare come root e poter ignorare un eventuale / al 100% o usare una shell con priorità superiore ad altri processi. Quel tanto da poter lanciare un po' di rm e kill.
Con tre dischi da 8 TB in SHR ho subito pensato a URE o altri problemi in fase di rebuild.
Stavo valutando anche il backup su altro NAS via share Windows (che sembra ancora funzionare), ma dovrei comprare altri dischi...

Quindi, dottore, che faccio, spengo?

[burghy86]

Quindi avevi 8 tb di dati senza backup. Si per stare tranquillo una copia la farei

[daghemo]

No, sono 3 dischi da 8 TB in SHR, ma sono essi stessi, in buona parte, un backup, di un QNAP, di un OMV e di un paio di PC.

Stasera proverò a spegnere brutalmente, quindi sfilare i dischi e fare ripartire.
Ma, confesso, questa cosa che sia possibile perdere completamente il controllo del sistema, mi piace davvero poco.
Avevo già avuto un hang del sistema, con riavvio, in passato. Dal supporto mi avevano detto che era colpa di un disco esterno collegato via USB.
Ma questo... in cui sembra che tutto giri, ma non entri più e non riesci a spegnere...

[daghemo]

Ti/vi aggiorno poi sulla risoluzione...
Ma posso chiedere se il problema che sto soffrendo io (premetto con sole applicazioni Synology installate) è... noto?
Ovvero, se è capitato anche ad altri qualcosa di simile. Magari a seguito di un aggiornamento di DSM o l'installazione di una applicazione ufficiale...

[burghy86]

Riempire la partizione del dsm mi è capitata a chi aveva installato jdownloader non correttamente e i log e i frammenti di download andavano li.
Hai delle app installate di terze parti?

Se quando accendi no riparte puoi sempre usare linux e leggere il contenuto

[daghemo]

No, nessuna applicazioni di terze parti.

Ho fatto un importante passo avanti e probabilmente non era un problema di root filesystem pieno, ma di qualche processo che aveva dato di matto.
Per dato di matto intendo che occupava, magari insieme ad altri, la CPU, impedendo l'esecuzione di nuove shell se si tentava di entrate via SSH o seriale.
O magari esauriva gli inode. O magari, sì, saturava il filesystem root, ma in modo assolutamente temporanea.
Ora che ho trovato un modo per killare i processi (di sistema, non roba lanciata da me o da applicazioni di terze parti), ho ripreso il controllo (almeno in parte) del sistema.

Aggiorno il supporto di Synology, che purtroppo finora non si è rivelato molto utile, perchè vorrei capire la causa di tutto ciò.

[fullspeed]

Ora che ho trovato un modo per killare i processi (di sistema, non roba lanciata da me o da applicazioni di terze parti), ho ripreso il controllo (almeno in parte) del sistema.

ma stai killando processi a caso oppure a ragion veduta?

[daghemo]

@fullspeed, temo il tuo giudizio ma confido in "nomem omen" e spero tu apprezzi la rapidità della mia soluzione...

TL;DR
Ho killato processi a caso.

Nella versione più lunga, ricordo che NON riuscivo ad entrare nel sistema, via web, SSH o seriale. Ho trovato il modo di "fare cose" sul sistema, ma comunque non avevo molte scelte.
Volevo arrivare al risultato di entrare di nuovo sul sistema, senza riavvio, per verificare i dischi e metterne in sicurezza il contenuto. Per questo ho scelto un'opzione tra le poche e questa implica il kill a tutti i processi tranne quello con PID 1.
Di solito ci vado morbido e in venti e passa anni di lavoro su server Linux ho usato l'accetta poche volte. Ma non rischiavo di rimanere con un database inconsistente: qui le cose che mi servivano erano quelle che già erano su disco.
Sono poi entrato via SSH. Non via web, perchè avevo killato anche quei processi. Ho visto che i dischi erano OK, ho recuperato log e altro e ho riavviato. E tutto ha ripreso a funzionare.

Ora vedrò con il supporto se si trova la root cause.
Ma confermo che c'erano solo applicazioni ufficiali sul mio DSM 6.2.2... e per il momento, sarò cattivo, il supporto non mi è sembrato molto... ehm... smart.