Probleme mit dsync

Klaus Tachtler klaus at tachtler.net
Mi Okt 31 22:03:15 CET 2018 

Hallo Bernd,

kann Du den Befehl:

dsync -D -o plugin/quota= -f -u yyyy.xxxx at example.de  
maildir:/tmp/example.de/yyyy.xxxx/MailDir

auf der shell - außerhalb des Skriptes einmal aufrufen (Nur für die  
fehlerhaften Benutzer) ?


Grüße
Klaus.

> Hallo Klaus,
>
> so sieht ein Ordner von einem der "fehlerhaften Benutzer" aus, aber  
> die von den normalen, ohne Probleme sehen genauso aus:
>
> root at mail :/var/vmail/mailboxes/example.de/yyyy.xxxx/mail# ls -la
> insgesamt 176
> drwx------ 24 vmail vmail 4096 Okt 31 11:43 .
> drwx------ 3 vmail vmail 4096 Jul 10 18:46 ..
> drwx------ 6 vmail vmail 4096 Okt 31 03:17 Bestellungen
> drwx------ 6 vmail vmail 4096 Okt 31 03:17 Paula
> drwx------ 2 vmail vmail 16384 Okt 30 10:43 cur
> drwx------ 5 vmail vmail 4096 Okt 31 03:17 Dienstplaene
> -rw------- 1 vmail vmail 896 Okt 29 09:50 dovecot.index
> -rw------- 1 vmail vmail 16380 Okt 31 11:43 dovecot.index.cache
> -rw------- 1 vmail vmail 15512 Okt 31 11:43 dovecot.index.log
> -rw------- 1 vmail vmail 1536 Okt 8 09:55 dovecot.mailbox.log
> -rw------- 1 vmail vmail 1546 Okt 31 11:43 dovecot-uidlist
> -rw------- 1 vmail vmail 8 Okt 8 09:55 dovecot-uidvalidity
> -r--r--r-- 1 vmail vmail 0 Aug 12 16:50 dovecot-uidvalidity.5b704941
> drwx------ 5 vmail vmail 4096 Aug 13 09:24 Drafts
> drwx------ 5 vmail vmail 4096 Okt 31 03:17 Bestellliste
> drwx------ 7 vmail vmail 4096 Okt 31 03:17 Geloeschte Elemente
> drwx------ 5 vmail vmail 4096 Aug 13 09:24 Gesendet
> drwx------ 5 vmail vmail 4096 Okt 31 03:17 Gesendete Elemente
> drwx------ 9 vmail vmail 4096 Okt 8 09:55 INBOX
> drwx------ 6 vmail vmail 4096 Okt 31 03:17 Margot Mustermann
> drwx------ 5 vmail vmail 4096 Aug 13 09:24 Junk-E-Mail
> drwx------ 6 vmail vmail 4096 Aug 28 08:32 Schule
> drwx------ 5 vmail vmail 4096 Aug 20 09:07 Kita
> drwx------ 6 vmail vmail 4096 Okt 31 03:17 Peter Schmidt
> -rw------- 1 vmail vmail 4816 Okt 30 12:07 maildirsize
> drwx------ 2 vmail vmail 12288 Okt 31 11:43 new
> drwx------ 6 vmail vmail 4096 Okt 31 03:17 Fritz
> drwx------ 5 vmail vmail 4096 Aug 20 09:39 Sent
> drwx------ 5 vmail vmail 4096 Okt 31 03:17 Spam
> -rw------- 1 vmail vmail 715 Okt 8 09:55 subscriptions
> drwx------ 2 vmail vmail 4096 Okt 31 11:43 tmp
> drwx------ 5 vmail vmail 4096 Aug 13 09:24 Trash
> drwx------ 6 vmail vmail 4096 Okt 31 03:17 Vordrucke
>
> Aber ich habe beim durchschauen des Logfiles vom Script etwas  
> gefunden, wo der Fehler liegen könnte. In beiden Fällen kommt diese  
> Meldung im Logfile:
>
> Start backup process for user: yyyy.xxxx at example.de ...
> Extract mailbox data for user: yyyy.xxxx at example.de ...
> dsync(yyyy.xxxx at example.de ): Warning: Mailbox changes caused a  
> desync. You may want
> to run dsync again.
> Ended backup process for user: yyyy.xxxx at example.de ...
>
> Was kann das bedeuten, dass er einfach hier das Backup abbricht.  
> Sind die "Mailbox changes" Änderungen die während des Backup gemacht  
> wurden? Dann kann das ja vielleicht einmal passiert sein, aber doch  
> nicht jedesmal, und zwar nur bei den Beiden.
> Wenn ich noch etwas probieren soll melde dich bitte.
>
> Liebe Grüße
> Bernd
>
>
>
> ----------------ursprüngliche Nachricht-----------------
> Von: Klaus Tachtler [klaus at tachtler.net ]
> An: Alles rund um Dovecot-Server [dovecot at listen.jpberlin.de ]
> Datum: Wed, 31 Oct 2018 08:16:22 +0100
> -------------------------------------------------
>
>
>> Hallo Bernd,
>>
>> 1.) Was passiert, wenn Du den Befehl:
>>
>> dsync -D -o plugin/quota= -f -u yyyy.xxxx at example.de  
>> maildir:/tmp/example.de/yyyy.xxxx/MailDir
>>
>> ORIGINAL-Befehl im Skript:
>>
>> $DSYNC_COMMAND -o plugin/quota= -f -u $users backup $MAILDIR_TYPE:$LOCATION)
>> --> LOCATION="$DIR_BACKUP/$DOMAINPART/$LOCALPART/$MAILDIR_NAME"
>>
>> p.s. Siehe Deine Einstellungen für (Hier der Standard aus dem Skript)
>>
>> MAILDIR_TYPE='maildir'
>> MAILDIR_NAME='Maildir'
>> MAILDIR_USER='vmail'
>> MAILDIR_GROUP='vmail'
>>
>> direkt in der shell (ohne das Skript) ausführst?
>>
>> Leider kann ich keine "Fehlermeldung" in Deiner letzten E-Mail finden?
>>
>>
>> 2.) Wie sieht der Ordner bei einem "fehlerhaften Benutzer" im  
>> Dateisystem aus?
>>
>> z.B. /srv/vmail/example.de/yyyy.xxx/Maildir/
>>
>> Bitte ein ls -la
>>
>>
>> Grüße
>> Klaus.
>>
>>> Hallo Klaus,
>>>
>>> entschuldige bitte, dass ich mich erst jetzt wieder melde, aber  
>>> ich war eine längere Zeit in USA im Urlaub. Als ich dann zurück  
>>> war hatte ich noch erst andere Dinge zu tun.
>>> Zu deinen Fragen, die noch offen waren: Nein ich synce nur den  
>>> einen Dovecot, und es ist auch nichts am Dateisystem geändert  
>>> worden.
>>> Ich bin jetzt so weit, dass der Befehl: "dsync -D -o plugin/quota=  
>>> -f -u yyyy.xxxx at example.de backup
>>>> maildir:/var/mail_backup/mail/test" bei den usern einwandfrei  
>>>> funktioniert. Es wird die ganze Mailbox in den Ordner Test  
>>>> gesichert.
>>>
>>> Da dein Script sonst gut läuft bekomme ich jetzt immer ein error  
>>> log, hier ein Ausschnitt:
>>>
>>> 03:17:01 INFO:
>>> 2018/10/30 03:17:01 INFO: Start backup process for user:  
>>> dddd.nnnn at example.de ...
>>> 2018/10/30 03:17:01 INFO: Extract mailbox data for user:  
>>> dddd.nnnn at example.de ...
>>> 2018/10/30 03:17:03 INFO: Synchronization done for user:  
>>> dddd.nnnn at example.de 2018/10/30
>>> ...
>>> 2018/10/30 03:17:03 INFO: Packaging to archive for user:  
>>> dddd.nnnn at example.de ...
>>> 2018/10/30 03:17:19 INFO: Delete archive files for user:  
>>> dddd.nnnn at example.de ...
>>> 2018/10/30 03:17:19 INFO: Delete old archive files  
>>> /var/mail_backup/mail .....................[ OK
>>> ]
>>> 2018/10/30 03:17:19 INFO: Delete mailbox files for user:  
>>> dddd.nnnn at example.de ...
>>> 2018/10/30 03:17:19 INFO: Delete mailbox files at:  
>>> /var/mail_backup/mail .....................[ OK
>>> ]
>>> 2018/10/30 03:17:19 INFO: Ended backup process for user:  
>>> dddd.nnnn at example.de ...
>>> 2018/10/30 03:17:19 INFO:
>>> 2018/10/30 03:17:19 INFO: Start backup process for user:  
>>> yyyy.xxxx at example.de ...
>>> 2018/10/30 03:17:19 INFO: Extract mailbox data for user:  
>>> yyyy.xxxx at example.de ...
>>> 2018/10/30 03:17:22 INFO: Ended backup process for user:  
>>> yyyy.xxxx at example.de ...
>>> 2018/10/30 03:17:22 INFO:
>>> 2018/10/30 03:17:22 INFO: Start backup process for user:  
>>> wwww.kkkk at example.de ...
>>> 2018/10/30 03:17:22 INFO: Extract mailbox data for user:  
>>> wwww.kkkk at example.de ...
>>> 2018/10/30 03:17:23 INFO: Synchronization done for user:  
>>> wwww.kkkk at example.de Bei den beiden Mailboxen wo es die Probleme  
>>> gibt(yyyy.xxxx at example.de ) hört er scheinbar nach dem "Extract  
>>> mailbox data for user" auf.
>>>
>>> Ich hoffe, das hilft dir zur Fehler Findung, wenn noch Fragen  
>>> deinerseits sind, jetzt bin ich wieder schnell bereit für eine  
>>> Beantwortung.
>>>
>>> Vielen Dank für deine Hilfe, liebe Grüße
>>> Bernd
>>>
>>> ----------------ursprüngliche Nachricht-----------------
>>> Von: Klaus Tachtler [klaus at tachtler.net ]
>>> An: Alles rund um Dovecot-Server [dovecot at listen.jpberlin.de ]
>>> Datum: Mon, 10 Sep 2018 14:35:40 +0200
>>> -------------------------------------------------
>>>
>>>
>>>> Hallo Bernd,
>>>>
>>>> was passiert, wenn Du die Option -D (Debug) noch hinzufügst?
>>>> # dsync -D -o plugin/quota= -f -u yyyy.xxxx at example.de backup  
>>>> maildir:/var/mail_backup/mail/test
>>>>
>>>> Offene Fragen:
>>>> =============
>>>>
>>>> Synchronisierst Du mehrere Dovecot?
>>>>
>>>> Wurden im Dateisystem/Verzeichnissen welche Deovecot nutzt,  
>>>> Änderungen durchgeführt?
>>>>
>>>>
>>>> Grüße
>>>> Klaus.
>>>>
>>>>> Hallo Klaus,
>>>>>
>>>>> hier ein doveconf -n:
>>>>> # 2.2.22 (fe789d2): /etc/dovecot/dovecot.conf
>>>>> # Pigeonhole version 0.4.13 (7b14904)
>>>>> # OS: Linux 4.4.0-134-generic x86_64 Ubuntu 16.04.5 LTS
>>>>> auth_master_user_separator = *
>>>>> auth_mechanisms = plain login
>>>>> mail_gid = vmail
>>>>> mail_home = /var/vmail/mailboxes/%d/%n
>>>>> mail_location = maildir:~/mail:LAYOUT=fs
>>>>> mail_privileged_group = vmail
>>>>> mail_uid = vmail
>>>>> managesieve_notify_capability = mailto
>>>>> managesieve_sieve_capability = fileinto reject envelope  
>>>>> encoded-character vacation subaddress comparator-i;ascii-numeric  
>>>>> relational regex imap4flags copy include variables body enotify  
>>>>> environment mailbox date index ihave duplicate mime foreverypart  
>>>>> extracttext
>>>>> namespace inbox {
>>>>> inbox = yes
>>>>> location =
>>>>> mailbox Drafts {
>>>>> auto = subscribe
>>>>> special_use = \Drafts
>>>>> }
>>>>> mailbox Sent {
>>>>> auto = subscribe
>>>>> special_use = \Sent
>>>>> }
>>>>> mailbox Spam {
>>>>> auto = subscribe
>>>>> special_use = \Junk
>>>>> }
>>>>> mailbox Trash {
>>>>> auto = subscribe
>>>>> special_use = \Trash
>>>>> }
>>>>> prefix =
>>>>> separator = /
>>>>> }
>>>>> passdb {
>>>>> args = /etc/dovecot/dovecot-sql-master.conf.ext
>>>>> driver = sql
>>>>> master = yes
>>>>> pass = yes
>>>>> }
>>>>> passdb {
>>>>> args = /etc/dovecot/dovecot-sql.conf
>>>>> driver = sql
>>>>> }
>>>>> plugin {
>>>>> antispam_backend = pipe
>>>>> antispam_pipe_program = /var/vmail/spampipe.sh
>>>>> antispam_pipe_program_notspam_arg = --ham
>>>>> antispam_pipe_program_spam_arg = --spam
>>>>> antispam_spam = Spam
>>>>> antispam_trash = Trash
>>>>> quota = maildir:User quota
>>>>> quota_exceeded_message = Benutzer %u hat das Speichervolumen  
>>>>> überschritten. / User %u has exhausted allowed storage space.
>>>>> sieve = /var/vmail/sieve/%d/%n/active-script.sieve
>>>>> sieve_before = /var/vmail/sieve/global/spam-global.sieve
>>>>> sieve_dir = /var/vmail/sieve/%d/%n/scripts
>>>>> }
>>>>> protocols = imap lmtp sieve
>>>>> service auth {
>>>>> unix_listener /var/spool/postfix/private/auth {
>>>>> group = postfix
>>>>> mode = 0660
>>>>> user = postfix
>>>>> }
>>>>> unix_listener auth-userdb {
>>>>> group = vmail
>>>>> mode = 0660
>>>>> user = vmail
>>>>> }
>>>>> }
>>>>> service imap-login {
>>>>> inet_listener imap {
>>>>> port = 143
>>>>> }
>>>>> }
>>>>> service lmtp {
>>>>> unix_listener /var/spool/postfix/private/dovecot-lmtp {
>>>>> group = postfix
>>>>> mode = 0660
>>>>> user = postfix
>>>>> }
>>>>> user = vmail
>>>>> }
>>>>> service managesieve-login {
>>>>> inet_listener sieve {
>>>>> port = 4190
>>>>> }
>>>>> }
>>>>> ssl = required
>>>>> ssl_cert = </etc/letsencrypt/live/mail.example.de/fullchain.pem
>>>>> ssl_cipher_list =  
>>>>> EDH+CAMELLIA:EDH+aRSA:EECDH+aRSA+AESGCM:EECDH+aRSA+SHA256:EECDH:+CAMELLIA128:+AES128:+SSLv3:!aNULL:!eNULL:!LOW:!3DES:!MD5:!EXP:!PSK:!DSS:!RC4:!SEED:!IDEA:!ECDSA:kEDH:CAMELLIA128-SHA:AES128-SHA
>>>>> ssl_dh_parameters_length = 2048
>>>>> ssl_key = </etc/letsencrypt/live/mail.example.de/privkey.pem
>>>>> ssl_prefer_server_ciphers = yes
>>>>> ssl_protocols = !SSLv2 !SSLv3
>>>>> userdb {
>>>>> args = /etc/dovecot/dovecot-sql.conf
>>>>> driver = sql
>>>>> }
>>>>> protocol imap {
>>>>> imap_idle_notify_interval = 29 mins
>>>>> mail_max_userip_connections = 20
>>>>> mail_plugins = " quota imap_quota antispam"
>>>>> }
>>>>> protocol lmtp {
>>>>> mail_plugins = " sieve"
>>>>> postmaster_address = postmaster at example.de Es wurde sonst keine  
>>>>> Veräanderungen im Sytem vergenommen. Ich benutzt übrigens dein  
>>>>> Script für das Backup, danke dafür!!
>>>>>
>>>>> Liebe Grüße
>>>>> Bernd
>>>>>
>>>>>
>>>>> ----------------ursprüngliche Nachricht-----------------
>>>>> Von: Klaus Tachtler [klaus at tachtler.net ]
>>>>> An: Alles rund um Dovecot-Server [dovecot at listen.jpberlin.de ]
>>>>> Datum: Mon, 10 Sep 2018 08:35:54 +0200
>>>>> -------------------------------------------------
>>>>>
>>>>>
>>>>>> Hallo Bernd,
>>>>>>
>>>>>> wie sieht denn die Dovecot Konfiguration aus (z.B. doveconf -n)?
>>>>>>
>>>>>> Synchronisierst Du mehrere Doevcot?
>>>>>>
>>>>>> Wurden im Dateisystem/Verzeichnissen welche Deovecot nutzt,  
>>>>>> Änderungen durchgeführt?
>>>>>>
>>>>>> Grüße
>>>>>> Klaus.
>>>>>>
>>>>>>
>>>>>>> Hallo zusammen,
>>>>>>> ich benutze seit einiger Zeit dsync um das Backup meiner  
>>>>>>> Postfächer zu machen. Es hat alles gut funktioniert, aber seit  
>>>>>>> ein paar Tagen werden 2 Postfächer ausgelassen:
>>>>>>>
>>>>>>> 2018/09/04 00:16:40 INFO: - Number of determined users: 41
>>>>>>> 2018/09/04 00:16:40 INFO: - ...Summary of failed users: 2
>>>>>>> 2018/09/04 00:16:40 INFO: - ...Mailbox of failed users:
>>>>>>> 2018/09/04 00:16:40 INFO: - ...xxx.yyyy at example.de 2018/09/04  
>>>>>>> 00:16:40 INFO: - ... yyyy.xxxx at example.de Ein direkter Test,  
>>>>>>> ohne Script:
>>>>>>> dsync -o plugin/quota= -f -u yyyy.xxxx at example.de backup  
>>>>>>> maildir:/var/mail_backup/mail/test
>>>>>>> dsync( yyyy.xxxx at example.de ): Warning: Mailbox changes caused  
>>>>>>> a desync. You may want to run dsync again.
>>>>>>>
>>>>>>> Ein Versuch einer Reperatur mit doveadm-force-resync hat auch  
>>>>>>> nichts gebracht.
>>>>>>>
>>>>>>> Hat jemand eine Idee wie ich das Problem lösen kann?
>>>>>>>
>>>>>>> Liebe Grüße
>>>>>>> Bernd
>>>>>>>
>>>>>>> .
>>>>>>>
>>>>>>> Bund Freikirchlicher Pfingstgemeinden KdoeR
>>>>>>> Bernd Blana
>>>>>>> Leiter EDV
>>>>>>> Industriestr. 6-8 64390 Erzhausen
>>>>>>> Tel. +49 6150 973730
>>>>>>> Fax +49 6150 9737830
>>>>>>> Mobil +49 172 9347742
>>>>>>> Mail mailto:bernd.blana at bfp.de ----- Ende der Nachricht von  
>>>>>>> Herr Bernd Blana BFP KdöR
>>>>>> bernd at bblana.de -----
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>> -- 
>>>>>>
>>>>>> ------------------------------------------------
>>>>>> e-Mail : klaus at tachtler.net Homepage: https://www.tachtler.net
>>>>>> DokuWiki: https://dokuwiki.tachtler.net
>>>>>> ------------------------------------------------
>>>>>>
>>>>>>
>>>>>>
>>>>>
>>>>>
>>>>> Bund Freikirchlicher Pfingstgemeinden KdoeR
>>>>> Bernd Blana
>>>>> Leiter EDV
>>>>> Industriestr. 6-8 64390 Erzhausen
>>>>> Tel. +49 6150 973730
>>>>> Fax +49 6150 9737830
>>>>> Mobil +49 172 9347742
>>>>> Mail mailto:bernd.blana at bfp.de
>>>> ----- Ende der Nachricht von Bernd Blana bernd at bblana.de -----
>>>>
>>>>
>>>>
>>>>
>>>> -- 
>>>>
>>>> ------------------------------------------------
>>>> e-Mail : klaus at tachtler.net Homepage: https://www.tachtler.net
>>>> DokuWiki: https://dokuwiki.tachtler.net
>>>> ------------------------------------------------
>>>>
>>>>
>>>>
>>>
>>>
>>> Bund Freikirchlicher Pfingstgemeinden KdoeR
>>> Bernd Blana
>>> Leiter EDV
>>> Industriestr. 6-8 64390 Erzhausen
>>> Tel. +49 6150 973730
>>> Fax +49 6150 9737830
>>> Mobil +49 172 9347742
>>> Mail mailto:bernd.blana at bfp.de
>>
>> ----- Ende der Nachricht von Bernd Blana bernd at bblana.de -----
>>
>>
>>
>>
>> -- 
>>
>> ------------------------------------------------
>> e-Mail : klaus at tachtler.net Homepage: https://www.tachtler.net
>> DokuWiki: https://dokuwiki.tachtler.net
>> ------------------------------------------------
>>
>>
>>
>
>
> Bund Freikirchlicher Pfingstgemeinden KdoeR
> Bernd Blana
> Leiter EDV
> Industriestr. 6-8 64390 Erzhausen
> Tel. +49 6150 973730
> Fax +49 6150 9737830
> Mobil +49 172 9347742
> Mail mailto:bernd.blana at bfp.de


----- Ende der Nachricht von Bernd Blana <bernd at bblana.de> -----




-- 

------------------------------------------------
e-Mail  : klaus at tachtler.net
Homepage: https://www.tachtler.net
DokuWiki: https://dokuwiki.tachtler.net
------------------------------------------------


-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : nicht verfügbar
Dateityp    : application/pgp-keys
Dateigröße  : 3120 bytes
Beschreibung: Öffentlicher PGP-Schlüssel
URL         : <https://listen.jpberlin.de/pipermail/dovecot/attachments/20181031/cd617e21/attachment-0001.skr>

Mehr Informationen über die Mailingliste Dovecot