[GUIDA] Trovare i file doppi sul NAS ed eliminarli

Guide, Tips, Manuali.
burghy86
Moderatore
Moderatore
Messaggi: 11358
Iscritto il: martedì 11 settembre 2012, 18:59

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da burghy86 »

Scusate. Mo era sfuggito il topic. Aggiorno la prima pagina al dsm5.1

inviato con il mio topotalk
NUOVO CANALE DISCORD
PARTECIPATE NUMEROSI:

https://discord.gg/McP3d4m2pG



Passare dalla sezione presentazioni e leggere il regolamento firma obbligatorio

siamo una community, aiutateci a sentirci parte di qualcosa e non un helpdesk
Non do aiuto in privato ma sul forum a tutti!!
Un grazie ci spinge a lavorare meglio
------------------------------------------------------------
  • UPS: apc
  • GTW: fritzbox o TP-LINK TD-W8970 ISP: [ADSL] intred(20000/1024/0) IP:[pubblico]
  • SWC: hp gigabit 8 porte with poe
  • NAS: ds213, ds213j, ds415+ 720+ dmv dal 6.2 alla 7. qnap ts212p ts22, all hd con wdred/ironwolf da 2/6tb
  • CLI: win 10, win11 e ubuntu
    [altro]
  • 3 smartphone android, lettore bd with allshare samsung, vodafone tv, raspberry p2 e p3
hsh
Utente
Utente
Messaggi: 167
Iscritto il: sabato 30 novembre 2013, 16:32

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da hsh »

col 6 è uguale? mi servirebbe proprio sta funzione.... grazie a tutti!
  • UPS: Vertiv EDGE 1500VA
  • GTW: WIFI4all proprietario
  • SWC: Netgear gigabit+ TPlink Gigabit
  • NAS: DS918+ with 2x6TB Wd Red+2x3TB Wd Red
  • CLI: Windows 10 64bit
  • ALTRO:
    • Panasonic 50VT60, Yamaha RX-V675, Player 4k H265, Vari Android Phones
    • Raspberry Pi4 with Librelec
  • EXP: E[3.7] - NET[9] PC:W[9],M[5],L[5]
Enry71
Utente
Utente
Messaggi: 163
Iscritto il: martedì 20 agosto 2013, 18:52

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da Enry71 »

Funziona alla solita maniera
GTW: Fritzbox 7490 (6.80) ISP:ADSL Wind Provider(100M) IP: Static
SWC: hp 1810 v2 8 porte
NAS: Synology ds 713+ 4 Gb Ram hd 2X3 WD red, sempre aggiornato ultima versione
CLI: Imac 27 fine 2013, Ubuntu
Smart Tv Samsung, Iphone 6, Ipad Air 2
erpomata
Utente
Utente
Messaggi: 67
Iscritto il: giovedì 7 aprile 2011, 15:31

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da erpomata »

Ciao a tutti.
Non so se può essere utile a qualcuno ma personalmente mi ritrovo un'infinità di file duplicati e non sapendo come cancellarli (dovrei farlo a mano) mi sono creato una script che partendo dal report del synology (creato con le metodologia indicata sopra) mi cicla l'elenco e facendo un paragone con MD5 e SHA512SUM controlla se sono effettivamente uguali. Se lo solo ne cancella uno dei due. Ovviamente non posso decidere quale cancellare quindi se uno ha una sua organizzazione dei file poi se li deve ricontrollare però almeno non ha i duplicati.

Allego lo script, sicuramente migliorabile e personalizzabile. Accetto commenti.

Codice: Seleziona tutto

#!/bin/bash

if [ "$1" == "" ]; then
	echo "purge o scan"
	exit 1
fi

MD5=/bin/md5sum
SHA512SUM=/bin/sha512sum
RM=/bin/rm
TOUCH=/bin/touch

#Recupero tutti i file contenti il report dello scan del synology con data modifica successiva al file foo
while read line
do
/bin/7z x $line

INPUT=duplicate_file.csv
OLDIFS=$IFS
IFS=$'\t'
OLD_GROUP=""

MD5_1=""
MD5_2=""
SHA512SUM_1=""
SHA512SUM_2=""
FILE_1=""
FILE_2=""

FIRST_LINE=1
[ ! -f $INPUT ] && { echo "$INPUT file not found"; exit 99; }
	#Ciclo il file csv per recuperare l'elenco dei file probabilmente duplicati
	while read group sharedFolder file size modifiedTime 
	do
		if [ $FIRST_LINE != 1 ]; then

		file=${file//\"/''}.
		file=${file::-1}

			#echo "Group : $group"
			#echo "Shared Folder : $sharedFolder"
			#echo "File : $file"
			#echo "Size : $size"
			#echo "Modified Time : $modifiedTime"

			if [[ $OLD_GROUP == "" || $OLD_GROUP != "$group" ]]; then
				OLD_GROUP="$group"
				MD5_1=$($MD5 "$file" | awk '{ print $1 }')
				SHA512SUM_1=$($SHA512SUM "$file" | awk '{ print $1 }')
				FILE_1=$file
			else
				MD5_2=$($MD5 "$file" | awk '{ print $1 }')
				SHA512SUM_2=$($SHA512SUM "$file" | awk '{ print $1 }')
				FILE_2=$file
				
				#Controllo se l'MD5 e lo SHA512 siano uguali
				if [[ "$MD5_1" == "$MD5_2" && "$SHA512SUM_1" == "$SHA512SUM_2" ]]; then
					if [ "$1" == "purge" ]; then
						echo "Uguali. Rimuovo definitivamente $file"
						$RM "$file"
					else
						echo "Uguali -> $file"
					fi
				else
					if [ "$SHA512SUM_1" == "$SHA512SUM_2" ]; then
						echo "BO? -> $FILE_1 -- $FILE_2"
					else
						echo "Diversi -> $FILE_1 -- $FILE_2"
					fi
				fi
			fi
		else
			#Salto la riga con le intestazioni
			FIRST_LINE=0
		fi
		
		rm $INPUT
	done < $INPUT

	$RM duplicate_file.csv

done < <(find /volume1/Paolo/synoreport/synoreport/Duplicati -name duplicate_file.csv.zip -newer foo)

$TOUCH ./foo

#if [ "$1" == "purge" ]; then
#	$RM duplicate_file.csv.zip
#fi

if [ -f "$INPUT" ]; then
	$RM $INPUT
fi

IFS=$OLDIFS
  • NAS: ds418play
mikedepetris
Utente
Utente
Messaggi: 6
Iscritto il: martedì 22 ottobre 2013, 12:23

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da mikedepetris »

Più che un commento ho una richiesta, mi piacerebbe uno script per creare una lista di tutti i file arricchita di MD5 e altri checksum, mi pare si possa ricavare facilmente da quello che hai scritto, magari lo hai già fatto?
erpomata
Utente
Utente
Messaggi: 67
Iscritto il: giovedì 7 aprile 2011, 15:31

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da erpomata »

Ciao, no non ho fatto uno script simile ma partendo da quello di può benissimo fare.
Ma a che servirebbe?
  • NAS: ds418play
mikedepetris
Utente
Utente
Messaggi: 6
Iscritto il: martedì 22 ottobre 2013, 12:23

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da mikedepetris »

erpomata ha scritto: martedì 10 marzo 2020, 16:46 Ciao, no non ho fatto uno script simile ma partendo da quello di può benissimo fare.
Ma a che servirebbe?
ho moltissimi file archiviati da molti anni, e vorrei avere la possibilità di poter verificarne ad esempio una volta l'anno l'integrità, però periodicamente faccio ordine e li sposto per cui vorrei una lista dove poter risalire puntualmente all'MD5 o SH1 in caso di necessità
erpomata
Utente
Utente
Messaggi: 67
Iscritto il: giovedì 7 aprile 2011, 15:31

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da erpomata »

Scusa, ma una volta che hai stabilito se non sono integri che ci fai con l'md5 e lo sha?
Non puoi mica ricostruire il file partendo da quelle informazioni
  • NAS: ds418play
mikedepetris
Utente
Utente
Messaggi: 6
Iscritto il: martedì 22 ottobre 2013, 12:23

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da mikedepetris »

erpomata ha scritto: mercoledì 11 marzo 2020, 3:45 Scusa, ma una volta che hai stabilito se non sono integri che ci fai con l'md5 e lo sha?
Non puoi mica ricostruire il file partendo da quelle informazioni
a quel punto so che devo cancellarli ed eventualmente recuperarli da backup
erpomata
Utente
Utente
Messaggi: 67
Iscritto il: giovedì 7 aprile 2011, 15:31

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da erpomata »

ok comunque puoi partire da quello script per farlo.
  • NAS: ds418play
Rispondi

Torna a “GUIDE & TIPS”