purge und alt-storage?

[Lars Täuber]

Fri, 2 Feb 2018 16:53:52 +0100
Peer Heinlein <p.heinlein at heinlein-support.de> ==> dovecot at listen.jpberlin.de :
> Am 02.02.2018 um 12:55 schrieb Lars Täuber:
> 
> > Kann es sein, dass ein
> > doveadm -v purge -A
> > den Alt-Storage nicht bereinigt?  
> 
> Nein, das kann nicht sein.
> 
> Das geht auch schon vom Konzept des Alt-Storages nicht.
> 

Das beruhigt mich etwas.


> > Das sind im Alt-Storage glatte 700GB Differenz zum anderen Dovecot.
> > Ich hoffe es liegt nicht daran, dass nicht alle Mails synchronisiert werden! Jedenfalls ist das noch nicht aufgefallen.
> > 
> > Oder ist dieses Verhalten normal, weil es sich um ganz normale Fragmentierung aufgrund des mdbox-Formats handelt?  
> 
> Hmm, das kommt mir jetzt etwas viel vor.
> 
> Aber gewisse Unterschiede gibt's immer mal, auch, weil Cache-Dateien
> unterschiedlich aufgebaut werden. Aber 700 GB auf 3 TB ist zuviel.
> 
> Ich habe mal die Beobachtung gemacht, daß das mit dem "-A" bei sehr lang
> laufenden doveadm-Kommandos Schwierigkeiten macht und er vorzeitig
> abbricht und nicht die ganze Userliste abarbeitet. Genau deswegen kam es
> bei uns dazu, daß Mails nicht gepurgt wurden.
> 
> Mach mal
> 
> for MAIL in `doveadm user '*'` ; do echo $MAIL ; doveadm purge -u $MAIL
> ; done
> 
> und lass das mal komplett durchlaufen (wie machen das auch so in die
> Cron-Jobs).


Leider hat das nichts geholfen.
Nun habe ich mal überprüfen wollen, ob auch wirklich alles synchronisiert wurde:

bisheriger Server
$ sudo doveadm search -A FROM @ | wc -l
4989638

neuer Server:
$ sudo doveadm search -A FROM @ | wc -l
4989701

Da der alte Server belastet ist, benötigte die Suche mehr als 1/2 Stunde, wobei der neue nur wenige Minuten brauchte. Dadurch kommt es natürlich zu einer geringen Differenz. Aber so im Allgemeinen sieht es so aus, als seien alle Nachrichten gespiegelt.

Nun bin ich wieder vollkommen beruhigt.

Jetzt wollte ich mal die Fragmentierung unter die Lupe nehmen. Dabei betrachte ich aber nur den ALT-Storage.
alter Server:
find /srv/mail/slow/vmail/ -name 'm.*' -printf '%s\n'| awk '{CNT++; SIZE+=$1} END {print "CNT=" CNT " avgSIZE=" SIZE/CNT/1024^2}'
CNT=98222 avgSIZE=5.89212

neuer Server:
find /srv/mail/slow/vmail/ -name 'm.*' -printf '%s\n'| awk '{CNT++; SIZE+=$1} END {print "CNT=" CNT " avgSIZE=" SIZE/CNT/1024^2}'
CNT=54295 avgSIZE=10.5356

Also in beiden Fällen etwas mehr als 570 GB an Daten.


Es scheint so als sei die Anzahl der benötigten Blöcke im Dateisystem auf dem alten Server doch wesentlich größer als auf dem neuen Server:
alter Server:
$ sudo du -sm /srv/mail/slow/vmail/
2287390	/srv/mail/slow/vmail/
$ sudo du -sh /srv/mail/slow/vmail/
2,2T	/srv/mail/slow/vmail/


neuer Server:
$ sudo du -sm /srv/mail/slow/vmail/
1309107	/srv/mail/slow/vmail/
$ sudo du -sh /srv/mail/slow/vmail/
1,3T	/srv/mail/slow/vmail/

Also keine Fragmentation der mdbox aber des Dateisystems, oder?

Hab Dank für die Antwort, Peer.

Grüße
Lars