[GUIDA] Trovare i file doppi sul NAS ed eliminarli

Guide, Tips, Manuali.
Avatar utente
burghy86
Moderatore
Moderatore
Messaggi: 9917
Iscritto il: martedì 11 settembre 2012, 18:59

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da burghy86 » domenica 18 gennaio 2015, 20:51

Scusate. Mo era sfuggito il topic. Aggiorno la prima pagina al dsm5.1

inviato con il mio topotalk
ATTENZIONE PRIMA DI POSTARE
Passare dalla sezione presentazioni e leggere il regolamento firma obbligatorio

siamo una community, aiutateci a sentirci parte di qualcosa e non un helpdesk
Non do aiuto in privato ma sul forum a tutti!!
Un grazie ci spinge a lavorare meglio
------------------------------------------------------------
  • UPS: apc
  • GTW: netgear dgn2200 o TP-LINK TD-W8970 ISP: [ADSL] intred(20000/1024/0) IP:[pubblico]
  • SWC: hp gigabit 8 porte with poe
  • NAS: ds213, ds213j,ds210j,ds413j, ds215j, ds415+ dmv dal 5.2 alla 6. qnap ts212p ts22, all hd con wdred da 2/6tb
  • CLI: xpsp3, seven pro 64bit, win 8.1 64bit, mac, win 10
    [altro]
  • 3 smartphone android, un iphone5,lettore bd with allshare samsung, vodafone tv, raspberry p2 e p3

hsh
Utente
Utente
Messaggi: 161
Iscritto il: sabato 30 novembre 2013, 17:32

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da hsh » giovedì 15 settembre 2016, 12:30

col 6 è uguale? mi servirebbe proprio sta funzione.... grazie a tutti!
  • UPS: 1500VA
  • GTW: WIFI4all proprietario
  • SWC: Netgear gigabit+ TPlink Gigabit
  • NAS: DS918+ with 2x6TB Wd Red+2x3TB Wd Red
  • CLI: Windows 10 64bit
  • ALTRO:
    • Panasonic 50VT60, Yamaha RX-V675, Player 4k H265, Vari Android Phones
    • Emtec S850H
  • EXP: E[3.7] - NET[9] PC:W[9],M[5],L[5]

Enry71
Utente
Utente
Messaggi: 143
Iscritto il: martedì 20 agosto 2013, 18:52

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da Enry71 » giovedì 15 settembre 2016, 12:46

Funziona alla solita maniera
GTW: Fritzbox 7490 (6.80) ISP:ADSL Wind Provider(100M) IP: Static
SWC: hp 1810 v2 8 porte
NAS: Synology ds 713+ 4 Gb Ram hd 2X3 WD red, sempre aggiornato ultima versione
CLI: Imac 27 fine 2013, Ubuntu
Smart Tv Samsung, Iphone 6, Ipad Air 2

erpomata
Utente
Utente
Messaggi: 66
Iscritto il: giovedì 7 aprile 2011, 15:31

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da erpomata » martedì 10 marzo 2020, 16:43

Ciao a tutti.
Non so se può essere utile a qualcuno ma personalmente mi ritrovo un'infinità di file duplicati e non sapendo come cancellarli (dovrei farlo a mano) mi sono creato una script che partendo dal report del synology (creato con le metodologia indicata sopra) mi cicla l'elenco e facendo un paragone con MD5 e SHA512SUM controlla se sono effettivamente uguali. Se lo solo ne cancella uno dei due. Ovviamente non posso decidere quale cancellare quindi se uno ha una sua organizzazione dei file poi se li deve ricontrollare però almeno non ha i duplicati.

Allego lo script, sicuramente migliorabile e personalizzabile. Accetto commenti.

Codice: Seleziona tutto

#!/bin/bash

if [ "$1" == "" ]; then
	echo "purge o scan"
	exit 1
fi

MD5=/bin/md5sum
SHA512SUM=/bin/sha512sum
RM=/bin/rm
TOUCH=/bin/touch

#Recupero tutti i file contenti il report dello scan del synology con data modifica successiva al file foo
while read line
do
/bin/7z x $line

INPUT=duplicate_file.csv
OLDIFS=$IFS
IFS=$'\t'
OLD_GROUP=""

MD5_1=""
MD5_2=""
SHA512SUM_1=""
SHA512SUM_2=""
FILE_1=""
FILE_2=""

FIRST_LINE=1
[ ! -f $INPUT ] && { echo "$INPUT file not found"; exit 99; }
	#Ciclo il file csv per recuperare l'elenco dei file probabilmente duplicati
	while read group sharedFolder file size modifiedTime 
	do
		if [ $FIRST_LINE != 1 ]; then

		file=${file//\"/''}.
		file=${file::-1}

			#echo "Group : $group"
			#echo "Shared Folder : $sharedFolder"
			#echo "File : $file"
			#echo "Size : $size"
			#echo "Modified Time : $modifiedTime"

			if [[ $OLD_GROUP == "" || $OLD_GROUP != "$group" ]]; then
				OLD_GROUP="$group"
				MD5_1=$($MD5 "$file" | awk '{ print $1 }')
				SHA512SUM_1=$($SHA512SUM "$file" | awk '{ print $1 }')
				FILE_1=$file
			else
				MD5_2=$($MD5 "$file" | awk '{ print $1 }')
				SHA512SUM_2=$($SHA512SUM "$file" | awk '{ print $1 }')
				FILE_2=$file
				
				#Controllo se l'MD5 e lo SHA512 siano uguali
				if [[ "$MD5_1" == "$MD5_2" && "$SHA512SUM_1" == "$SHA512SUM_2" ]]; then
					if [ "$1" == "purge" ]; then
						echo "Uguali. Rimuovo definitivamente $file"
						$RM "$file"
					else
						echo "Uguali -> $file"
					fi
				else
					if [ "$SHA512SUM_1" == "$SHA512SUM_2" ]; then
						echo "BO? -> $FILE_1 -- $FILE_2"
					else
						echo "Diversi -> $FILE_1 -- $FILE_2"
					fi
				fi
			fi
		else
			#Salto la riga con le intestazioni
			FIRST_LINE=0
		fi
		
		rm $INPUT
	done < $INPUT

	$RM duplicate_file.csv

done < <(find /volume1/Paolo/synoreport/synoreport/Duplicati -name duplicate_file.csv.zip -newer foo)

$TOUCH ./foo

#if [ "$1" == "purge" ]; then
#	$RM duplicate_file.csv.zip
#fi

if [ -f "$INPUT" ]; then
	$RM $INPUT
fi

IFS=$OLDIFS
  • NAS: ds418play

mikedepetris
Utente
Utente
Messaggi: 6
Iscritto il: martedì 22 ottobre 2013, 12:23

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da mikedepetris » martedì 10 marzo 2020, 17:36

Più che un commento ho una richiesta, mi piacerebbe uno script per creare una lista di tutti i file arricchita di MD5 e altri checksum, mi pare si possa ricavare facilmente da quello che hai scritto, magari lo hai già fatto?

erpomata
Utente
Utente
Messaggi: 66
Iscritto il: giovedì 7 aprile 2011, 15:31

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da erpomata » martedì 10 marzo 2020, 17:46

Ciao, no non ho fatto uno script simile ma partendo da quello di può benissimo fare.
Ma a che servirebbe?
  • NAS: ds418play

mikedepetris
Utente
Utente
Messaggi: 6
Iscritto il: martedì 22 ottobre 2013, 12:23

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da mikedepetris » martedì 10 marzo 2020, 18:17

erpomata ha scritto:
martedì 10 marzo 2020, 17:46
Ciao, no non ho fatto uno script simile ma partendo da quello di può benissimo fare.
Ma a che servirebbe?
ho moltissimi file archiviati da molti anni, e vorrei avere la possibilità di poter verificarne ad esempio una volta l'anno l'integrità, però periodicamente faccio ordine e li sposto per cui vorrei una lista dove poter risalire puntualmente all'MD5 o SH1 in caso di necessità

erpomata
Utente
Utente
Messaggi: 66
Iscritto il: giovedì 7 aprile 2011, 15:31

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da erpomata » mercoledì 11 marzo 2020, 4:45

Scusa, ma una volta che hai stabilito se non sono integri che ci fai con l'md5 e lo sha?
Non puoi mica ricostruire il file partendo da quelle informazioni
  • NAS: ds418play

mikedepetris
Utente
Utente
Messaggi: 6
Iscritto il: martedì 22 ottobre 2013, 12:23

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da mikedepetris » mercoledì 11 marzo 2020, 9:52

erpomata ha scritto:
mercoledì 11 marzo 2020, 4:45
Scusa, ma una volta che hai stabilito se non sono integri che ci fai con l'md5 e lo sha?
Non puoi mica ricostruire il file partendo da quelle informazioni
a quel punto so che devo cancellarli ed eventualmente recuperarli da backup

erpomata
Utente
Utente
Messaggi: 66
Iscritto il: giovedì 7 aprile 2011, 15:31

Re: [GUIDA] Trovare i file doppi sul NAS ed eliminarli

Messaggio da erpomata » mercoledì 11 marzo 2020, 10:12

ok comunque puoi partire da quello script per farlo.
  • NAS: ds418play

Rispondi

Torna a “GUIDE & TIPS”