Probleme mit dsync

Mi Okt 31 21:04:26 CET 2018

Hallo Klaus,

so sieht ein Ordner von einem der "fehlerhaften Benutzer" aus, aber  
die von den normalen, ohne Probleme sehen genauso aus:

root at mail :/var/vmail/mailboxes/example.de/yyyy.xxxx/mail# ls -la
insgesamt 176
drwx------ 24 vmail vmail 4096 Okt 31 11:43 .
drwx------ 3 vmail vmail 4096 Jul 10 18:46 ..
drwx------ 6 vmail vmail 4096 Okt 31 03:17 Bestellungen
drwx------ 6 vmail vmail 4096 Okt 31 03:17 Paula
drwx------ 2 vmail vmail 16384 Okt 30 10:43 cur
drwx------ 5 vmail vmail 4096 Okt 31 03:17 Dienstplaene
-rw------- 1 vmail vmail 896 Okt 29 09:50 dovecot.index
-rw------- 1 vmail vmail 16380 Okt 31 11:43 dovecot.index.cache
-rw------- 1 vmail vmail 15512 Okt 31 11:43 dovecot.index.log
-rw------- 1 vmail vmail 1536 Okt 8 09:55 dovecot.mailbox.log
-rw------- 1 vmail vmail 1546 Okt 31 11:43 dovecot-uidlist
-rw------- 1 vmail vmail 8 Okt 8 09:55 dovecot-uidvalidity
-r--r--r-- 1 vmail vmail 0 Aug 12 16:50 dovecot-uidvalidity.5b704941
drwx------ 5 vmail vmail 4096 Aug 13 09:24 Drafts
drwx------ 5 vmail vmail 4096 Okt 31 03:17 Bestellliste
drwx------ 7 vmail vmail 4096 Okt 31 03:17 Geloeschte Elemente
drwx------ 5 vmail vmail 4096 Aug 13 09:24 Gesendet
drwx------ 5 vmail vmail 4096 Okt 31 03:17 Gesendete Elemente
drwx------ 9 vmail vmail 4096 Okt 8 09:55 INBOX
drwx------ 6 vmail vmail 4096 Okt 31 03:17 Margot Mustermann
drwx------ 5 vmail vmail 4096 Aug 13 09:24 Junk-E-Mail
drwx------ 6 vmail vmail 4096 Aug 28 08:32 Schule
drwx------ 5 vmail vmail 4096 Aug 20 09:07 Kita
drwx------ 6 vmail vmail 4096 Okt 31 03:17 Peter Schmidt
-rw------- 1 vmail vmail 4816 Okt 30 12:07 maildirsize
drwx------ 2 vmail vmail 12288 Okt 31 11:43 new
drwx------ 6 vmail vmail 4096 Okt 31 03:17 Fritz
drwx------ 5 vmail vmail 4096 Aug 20 09:39 Sent
drwx------ 5 vmail vmail 4096 Okt 31 03:17 Spam
-rw------- 1 vmail vmail 715 Okt 8 09:55 subscriptions
drwx------ 2 vmail vmail 4096 Okt 31 11:43 tmp
drwx------ 5 vmail vmail 4096 Aug 13 09:24 Trash
drwx------ 6 vmail vmail 4096 Okt 31 03:17 Vordrucke

Aber ich habe beim durchschauen des Logfiles vom Script etwas  
gefunden, wo der Fehler liegen könnte. In beiden Fällen kommt diese  
Meldung im Logfile:

Start backup process for user: yyyy.xxxx at example.de ...
Extract mailbox data for user: yyyy.xxxx at example.de ...
dsync(yyyy.xxxx at example.de ): Warning: Mailbox changes caused a  
desync. You may want
to run dsync again.
Ended backup process for user: yyyy.xxxx at example.de ...

Was kann das bedeuten, dass er einfach hier das Backup abbricht. Sind  
die "Mailbox changes" Änderungen die während des Backup gemacht  
wurden? Dann kann das ja vielleicht einmal passiert sein, aber doch  
nicht jedesmal, und zwar nur bei den Beiden.
Wenn ich noch etwas probieren soll melde dich bitte.

Liebe Grüße
Bernd

----------------ursprüngliche Nachricht-----------------
Von: Klaus Tachtler [klaus at tachtler.net ]
An: Alles rund um Dovecot-Server [dovecot at listen.jpberlin.de ]
Datum: Wed, 31 Oct 2018 08:16:22 +0100
-------------------------------------------------

> Hallo Bernd,
>
> 1.) Was passiert, wenn Du den Befehl:
>
> dsync -D -o plugin/quota= -f -u yyyy.xxxx at example.de  
> maildir:/tmp/example.de/yyyy.xxxx/MailDir
>
> ORIGINAL-Befehl im Skript:
>
> $DSYNC_COMMAND -o plugin/quota= -f -u $users backup $MAILDIR_TYPE:$LOCATION)
> --> LOCATION="$DIR_BACKUP/$DOMAINPART/$LOCALPART/$MAILDIR_NAME"
>
> p.s. Siehe Deine Einstellungen für (Hier der Standard aus dem Skript)
>
> MAILDIR_TYPE='maildir'
> MAILDIR_NAME='Maildir'
> MAILDIR_USER='vmail'
> MAILDIR_GROUP='vmail'
>
> direkt in der shell (ohne das Skript) ausführst?
>
> Leider kann ich keine "Fehlermeldung" in Deiner letzten E-Mail finden?
>
>
> 2.) Wie sieht der Ordner bei einem "fehlerhaften Benutzer" im  
> Dateisystem aus?
>
> z.B. /srv/vmail/example.de/yyyy.xxx/Maildir/
>
> Bitte ein ls -la
>
>
> Grüße
> Klaus.
>
>> Hallo Klaus,
>>
>> entschuldige bitte, dass ich mich erst jetzt wieder melde, aber ich  
>> war eine längere Zeit in USA im Urlaub. Als ich dann zurück war  
>> hatte ich noch erst andere Dinge zu tun.
>> Zu deinen Fragen, die noch offen waren: Nein ich synce nur den  
>> einen Dovecot, und es ist auch nichts am Dateisystem geändert worden.
>> Ich bin jetzt so weit, dass der Befehl: "dsync -D -o plugin/quota=  
>> -f -u yyyy.xxxx at example.de backup
>>> maildir:/var/mail_backup/mail/test" bei den usern einwandfrei  
>>> funktioniert. Es wird die ganze Mailbox in den Ordner Test  
>>> gesichert.
>>
>> Da dein Script sonst gut läuft bekomme ich jetzt immer ein error  
>> log, hier ein Ausschnitt:
>>
>> 03:17:01 INFO:
>> 2018/10/30 03:17:01 INFO: Start backup process for user:  
>> dddd.nnnn at example.de ...
>> 2018/10/30 03:17:01 INFO: Extract mailbox data for user:  
>> dddd.nnnn at example.de ...
>> 2018/10/30 03:17:03 INFO: Synchronization done for user:  
>> dddd.nnnn at example.de 2018/10/30
>> ...
>> 2018/10/30 03:17:03 INFO: Packaging to archive for user:  
>> dddd.nnnn at example.de ...
>> 2018/10/30 03:17:19 INFO: Delete archive files for user:  
>> dddd.nnnn at example.de ...
>> 2018/10/30 03:17:19 INFO: Delete old archive files  
>> /var/mail_backup/mail .....................[ OK
>> ]
>> 2018/10/30 03:17:19 INFO: Delete mailbox files for user:  
>> dddd.nnnn at example.de ...
>> 2018/10/30 03:17:19 INFO: Delete mailbox files at:  
>> /var/mail_backup/mail .....................[ OK
>> ]
>> 2018/10/30 03:17:19 INFO: Ended backup process for user:  
>> dddd.nnnn at example.de ...
>> 2018/10/30 03:17:19 INFO:
>> 2018/10/30 03:17:19 INFO: Start backup process for user:  
>> yyyy.xxxx at example.de ...
>> 2018/10/30 03:17:19 INFO: Extract mailbox data for user:  
>> yyyy.xxxx at example.de ...
>> 2018/10/30 03:17:22 INFO: Ended backup process for user:  
>> yyyy.xxxx at example.de ...
>> 2018/10/30 03:17:22 INFO:
>> 2018/10/30 03:17:22 INFO: Start backup process for user:  
>> wwww.kkkk at example.de ...
>> 2018/10/30 03:17:22 INFO: Extract mailbox data for user:  
>> wwww.kkkk at example.de ...
>> 2018/10/30 03:17:23 INFO: Synchronization done for user:  
>> wwww.kkkk at example.de Bei den beiden Mailboxen wo es die Probleme  
>> gibt(yyyy.xxxx at example.de ) hört er scheinbar nach dem "Extract  
>> mailbox data for user" auf.
>>
>> Ich hoffe, das hilft dir zur Fehler Findung, wenn noch Fragen  
>> deinerseits sind, jetzt bin ich wieder schnell bereit für eine  
>> Beantwortung.
>>
>> Vielen Dank für deine Hilfe, liebe Grüße
>> Bernd
>>
>> ----------------ursprüngliche Nachricht-----------------
>> Von: Klaus Tachtler [klaus at tachtler.net ]
>> An: Alles rund um Dovecot-Server [dovecot at listen.jpberlin.de ]
>> Datum: Mon, 10 Sep 2018 14:35:40 +0200
>> -------------------------------------------------
>>
>>
>>> Hallo Bernd,
>>>
>>> was passiert, wenn Du die Option -D (Debug) noch hinzufügst?
>>> # dsync -D -o plugin/quota= -f -u yyyy.xxxx at example.de backup  
>>> maildir:/var/mail_backup/mail/test
>>>
>>> Offene Fragen:
>>> =============
>>>
>>> Synchronisierst Du mehrere Dovecot?
>>>
>>> Wurden im Dateisystem/Verzeichnissen welche Deovecot nutzt,  
>>> Änderungen durchgeführt?
>>>
>>>
>>> Grüße
>>> Klaus.
>>>
>>>> Hallo Klaus,
>>>>
>>>> hier ein doveconf -n:
>>>> # 2.2.22 (fe789d2): /etc/dovecot/dovecot.conf
>>>> # Pigeonhole version 0.4.13 (7b14904)
>>>> # OS: Linux 4.4.0-134-generic x86_64 Ubuntu 16.04.5 LTS
>>>> auth_master_user_separator = *
>>>> auth_mechanisms = plain login
>>>> mail_gid = vmail
>>>> mail_home = /var/vmail/mailboxes/%d/%n
>>>> mail_location = maildir:~/mail:LAYOUT=fs
>>>> mail_privileged_group = vmail
>>>> mail_uid = vmail
>>>> managesieve_notify_capability = mailto
>>>> managesieve_sieve_capability = fileinto reject envelope  
>>>> encoded-character vacation subaddress comparator-i;ascii-numeric  
>>>> relational regex imap4flags copy include variables body enotify  
>>>> environment mailbox date index ihave duplicate mime foreverypart  
>>>> extracttext
>>>> namespace inbox {
>>>> inbox = yes
>>>> location =
>>>> mailbox Drafts {
>>>> auto = subscribe
>>>> special_use = \Drafts
>>>> }
>>>> mailbox Sent {
>>>> auto = subscribe
>>>> special_use = \Sent
>>>> }
>>>> mailbox Spam {
>>>> auto = subscribe
>>>> special_use = \Junk
>>>> }
>>>> mailbox Trash {
>>>> auto = subscribe
>>>> special_use = \Trash
>>>> }
>>>> prefix =
>>>> separator = /
>>>> }
>>>> passdb {
>>>> args = /etc/dovecot/dovecot-sql-master.conf.ext
>>>> driver = sql
>>>> master = yes
>>>> pass = yes
>>>> }
>>>> passdb {
>>>> args = /etc/dovecot/dovecot-sql.conf
>>>> driver = sql
>>>> }
>>>> plugin {
>>>> antispam_backend = pipe
>>>> antispam_pipe_program = /var/vmail/spampipe.sh
>>>> antispam_pipe_program_notspam_arg = --ham
>>>> antispam_pipe_program_spam_arg = --spam
>>>> antispam_spam = Spam
>>>> antispam_trash = Trash
>>>> quota = maildir:User quota
>>>> quota_exceeded_message = Benutzer %u hat das Speichervolumen  
>>>> überschritten. / User %u has exhausted allowed storage space.
>>>> sieve = /var/vmail/sieve/%d/%n/active-script.sieve
>>>> sieve_before = /var/vmail/sieve/global/spam-global.sieve
>>>> sieve_dir = /var/vmail/sieve/%d/%n/scripts
>>>> }
>>>> protocols = imap lmtp sieve
>>>> service auth {
>>>> unix_listener /var/spool/postfix/private/auth {
>>>> group = postfix
>>>> mode = 0660
>>>> user = postfix
>>>> }
>>>> unix_listener auth-userdb {
>>>> group = vmail
>>>> mode = 0660
>>>> user = vmail
>>>> }
>>>> }
>>>> service imap-login {
>>>> inet_listener imap {
>>>> port = 143
>>>> }
>>>> }
>>>> service lmtp {
>>>> unix_listener /var/spool/postfix/private/dovecot-lmtp {
>>>> group = postfix
>>>> mode = 0660
>>>> user = postfix
>>>> }
>>>> user = vmail
>>>> }
>>>> service managesieve-login {
>>>> inet_listener sieve {
>>>> port = 4190
>>>> }
>>>> }
>>>> ssl = required
>>>> ssl_cert = </etc/letsencrypt/live/mail.example.de/fullchain.pem
>>>> ssl_cipher_list =  
>>>> EDH+CAMELLIA:EDH+aRSA:EECDH+aRSA+AESGCM:EECDH+aRSA+SHA256:EECDH:+CAMELLIA128:+AES128:+SSLv3:!aNULL:!eNULL:!LOW:!3DES:!MD5:!EXP:!PSK:!DSS:!RC4:!SEED:!IDEA:!ECDSA:kEDH:CAMELLIA128-SHA:AES128-SHA
>>>> ssl_dh_parameters_length = 2048
>>>> ssl_key = </etc/letsencrypt/live/mail.example.de/privkey.pem
>>>> ssl_prefer_server_ciphers = yes
>>>> ssl_protocols = !SSLv2 !SSLv3
>>>> userdb {
>>>> args = /etc/dovecot/dovecot-sql.conf
>>>> driver = sql
>>>> }
>>>> protocol imap {
>>>> imap_idle_notify_interval = 29 mins
>>>> mail_max_userip_connections = 20
>>>> mail_plugins = " quota imap_quota antispam"
>>>> }
>>>> protocol lmtp {
>>>> mail_plugins = " sieve"
>>>> postmaster_address = postmaster at example.de Es wurde sonst keine  
>>>> Veräanderungen im Sytem vergenommen. Ich benutzt übrigens dein  
>>>> Script für das Backup, danke dafür!!
>>>>
>>>> Liebe Grüße
>>>> Bernd
>>>>
>>>>
>>>> ----------------ursprüngliche Nachricht-----------------
>>>> Von: Klaus Tachtler [klaus at tachtler.net ]
>>>> An: Alles rund um Dovecot-Server [dovecot at listen.jpberlin.de ]
>>>> Datum: Mon, 10 Sep 2018 08:35:54 +0200
>>>> -------------------------------------------------
>>>>
>>>>
>>>>> Hallo Bernd,
>>>>>
>>>>> wie sieht denn die Dovecot Konfiguration aus (z.B. doveconf -n)?
>>>>>
>>>>> Synchronisierst Du mehrere Doevcot?
>>>>>
>>>>> Wurden im Dateisystem/Verzeichnissen welche Deovecot nutzt,  
>>>>> Änderungen durchgeführt?
>>>>>
>>>>> Grüße
>>>>> Klaus.
>>>>>
>>>>>
>>>>>> Hallo zusammen,
>>>>>> ich benutze seit einiger Zeit dsync um das Backup meiner  
>>>>>> Postfächer zu machen. Es hat alles gut funktioniert, aber seit  
>>>>>> ein paar Tagen werden 2 Postfächer ausgelassen:
>>>>>>
>>>>>> 2018/09/04 00:16:40 INFO: - Number of determined users: 41
>>>>>> 2018/09/04 00:16:40 INFO: - ...Summary of failed users: 2
>>>>>> 2018/09/04 00:16:40 INFO: - ...Mailbox of failed users:
>>>>>> 2018/09/04 00:16:40 INFO: - ...xxx.yyyy at example.de 2018/09/04  
>>>>>> 00:16:40 INFO: - ... yyyy.xxxx at example.de Ein direkter Test,  
>>>>>> ohne Script:
>>>>>> dsync -o plugin/quota= -f -u yyyy.xxxx at example.de backup  
>>>>>> maildir:/var/mail_backup/mail/test
>>>>>> dsync( yyyy.xxxx at example.de ): Warning: Mailbox changes caused  
>>>>>> a desync. You may want to run dsync again.
>>>>>>
>>>>>> Ein Versuch einer Reperatur mit doveadm-force-resync hat auch  
>>>>>> nichts gebracht.
>>>>>>
>>>>>> Hat jemand eine Idee wie ich das Problem lösen kann?
>>>>>>
>>>>>> Liebe Grüße
>>>>>> Bernd
>>>>>>
>>>>>> .
>>>>>>
>>>>>> Bund Freikirchlicher Pfingstgemeinden KdoeR
>>>>>> Bernd Blana
>>>>>> Leiter EDV
>>>>>> Industriestr. 6-8 64390 Erzhausen
>>>>>> Tel. +49 6150 973730
>>>>>> Fax +49 6150 9737830
>>>>>> Mobil +49 172 9347742
>>>>>> Mail mailto:bernd.blana at bfp.de ----- Ende der Nachricht von  
>>>>>> Herr Bernd Blana BFP KdöR
>>>>> bernd at bblana.de -----
>>>>>
>>>>>
>>>>>
>>>>>
>>>>> -- 
>>>>>
>>>>> ------------------------------------------------
>>>>> e-Mail : klaus at tachtler.net Homepage: https://www.tachtler.net
>>>>> DokuWiki: https://dokuwiki.tachtler.net
>>>>> ------------------------------------------------
>>>>>
>>>>>
>>>>>
>>>>
>>>>
>>>> Bund Freikirchlicher Pfingstgemeinden KdoeR
>>>> Bernd Blana
>>>> Leiter EDV
>>>> Industriestr. 6-8 64390 Erzhausen
>>>> Tel. +49 6150 973730
>>>> Fax +49 6150 9737830
>>>> Mobil +49 172 9347742
>>>> Mail mailto:bernd.blana at bfp.de
>>> ----- Ende der Nachricht von Bernd Blana bernd at bblana.de -----
>>>
>>>
>>>
>>>
>>> -- 
>>>
>>> ------------------------------------------------
>>> e-Mail : klaus at tachtler.net Homepage: https://www.tachtler.net
>>> DokuWiki: https://dokuwiki.tachtler.net
>>> ------------------------------------------------
>>>
>>>
>>>
>>
>>
>> Bund Freikirchlicher Pfingstgemeinden KdoeR
>> Bernd Blana
>> Leiter EDV
>> Industriestr. 6-8 64390 Erzhausen
>> Tel. +49 6150 973730
>> Fax +49 6150 9737830
>> Mobil +49 172 9347742
>> Mail mailto:bernd.blana at bfp.de
>
> ----- Ende der Nachricht von Bernd Blana bernd at bblana.de -----
>
>
>
>
> -- 
>
> ------------------------------------------------
> e-Mail : klaus at tachtler.net Homepage: https://www.tachtler.net
> DokuWiki: https://dokuwiki.tachtler.net
> ------------------------------------------------
>
>
>

Bund Freikirchlicher Pfingstgemeinden KdoeR
Bernd Blana
Leiter EDV
Industriestr. 6-8 64390 Erzhausen
Tel. +49 6150 973730
Fax +49 6150 9737830
Mobil +49 172 9347742
Mail mailto:bernd.blana at bfp.de