[Dovecot-de] dovecot 2.2.9 (ubuntu 14.04) active / active cluster (master / master replication)
Jan Büren
jan at kivitendo-premium.de
Mi Apr 29 18:35:48 CEST 2015
Hallo zusammen,
ich lass den Anhang kurz dran. Ich bin jetzt einen Schritt weiter. Wenn
ich die Synchronisation händisch mache, hat doveadm sync scheinbar ein
Problem mit größeren (> 20 MB) Mails.
Zumindestens in dieser Konstellation.
Hier die Verzeichnisstruktur des .Drafts-Folders des entsprechenden
Benutzers:
LAN1-QUELLE:
-rw------- 1 vmail vmail 288K Jul 25 2011
1311595577.P31161Q1M481185.phoenix:2,DS
-rw------- 1 vmail vmail 1,2K Aug 25 2014
1408971454.M810448P32295.samba-ubuntu,S=1166,W=1205:2,DS
-rw------- 1 vmail vmail 60M Jan 19 12:55
1421668552.M80781P30822.samba-ubuntu,S=62747422,W=63607021:2,DS
-rw------- 1 vmail vmail 1,1K Mär 23 15:49
1427122158.M33717P7336.samba-ubuntu,S=1080,W=1120:2,DS
-rw------- 1 vmail vmail 1,3K Mär 25 11:02
1427277733.M707454P26585.samba-ubuntu,S=1250,W=1295:2,DS
Und hier die bisherige Replikation:
INTERNET1-ZIEL:
-rw-r--r-- 1 vmail vmail 288K Jul 25 2011
1311595577.P31161Q1M481185.phoenix:2,DS
-rw-r--r-- 1 vmail vmail 1,2K Aug 25 2014
1408971454.M810448P32295.samba-ubuntu,S=1166,W=1205:2,DS
Jetzt die manuelle Synchro ohne Replizierung mit:
$ doveadm -D sync -u user1 tcps:INTERNET1
Er synchronisiert nicht mehr die 60MB Mail. Hier die Ausgabe des
Kommandos und die letzten Logs auf dem Zielsystem:
Diese Ausgabe wird auf dem Quellsystem immer wiederholt:
(..)
dsync-local(user1): Debug: brain M: in box 'Drafts'
recv_state=recv_last_common send_state=done
dsync-local(user1): Debug: brain M: out box 'Drafts'
recv_state=recv_last_common send_state=done changed=0
dsync-local(user1): Debug: brain M: out state=sync_mails changed=0
(..)
Hier die Ausführungszeit (Verdacht auf 10min Timeout ...).
real 10m26.057s
user 0m0.342s
sys 0m0.068s
Und hier der Log auf dem Zielsystem:
Apr 29 17:47:34 Debug: brain S: Import Drafts: Import change
GUID=a263d3c90c82f3eaa2a78e0c07a65d79 UID=1494 hdr_hash=
Apr 29 17:47:34 Debug: brain S: out box 'Drafts' recv_state=changes
send_state=mail_requests changed=1
Apr 29 17:47:34 Debug: brain S: out state=sync_mails changed=1
Apr 29 17:47:34 Debug: brain S: in state=sync_mails
(...)
Apr 29 17:47:35 Debug: brain S: in box 'Drafts' recv_state=mails
send_state=done
Apr 29 17:47:35 Debug: brain S: out box 'Drafts' recv_state=mails
send_state=done changed=0
Apr 29 17:47:35 Debug: brain S: out state=sync_mails changed=0
Apr 29 17:47:35 Debug: brain S: in state=sync_mails
Apr 29 17:47:35 Debug: brain S: in box 'Drafts' recv_state=mails
send_state=done
Apr 29 17:47:35 Debug: brain S: out box 'Drafts' recv_state=mails
send_state=done changed=0
Apr 29 17:47:35 Debug: brain S: out state=sync_mails changed=0
Apr 29 18:16:26 Error: dsync(samba-ubuntu): I/O has stalled, no
activity for 600 seconds
Apr 29 18:16:26 Error: Timeout during state=sync_mails (send=done
recv=mails)
Apr 29 18:16:26 Debug: brain S: Import Drafts: Saved UIDs:
Für mich fühlt es sich so an, dass der Client in einer Endlosschleife
ist, bzw. er wartet auf Rückmeldung von dem Kommunikationspartner, dass
die Datei übertragen ist?
Ich mach zum Gegentesten mal ein rsync:
$ rsync -av .Drafts/ vmail at INTERNET1:/var/vmail/user1/Maildir/.Drafts/
Das scheint das Problem zu sein. Gibt es hierfür in dieser Version eine
bessere Idee / Lösung als diese hier:
http://comments.gmane.org/gmane.mail.imap.dovecot/78989 ?
Ok. Dann brauch ich für ubuntu 14.04 eine neuere Dovecot-Version, wo
diese eine Zeile drin ist.
Argh.
I just want to:
$ git cherry-pick 647162da8423
ähh:
$ hg graft 647162da8423
Hat einer hierfür eine Empfehlung / Idee?
Gruß und Danke,
Am 29.04.2015 um 16:26 schrieb Jan Büren:
> Hi, sorry die ASCII-Grafik ist kaputt, hier nochmal, verkürzt:
>
>
>
> -------------------------
> --------------------------- - dovecot LAN1 2.2.9 -
> - dovecot INTERNET1 2.2.9 - - 20GB Daten - <== Netgear
> DSL Modem (Telekom 16k) ==> - aktuell 2GB von 20GB - - 12
> Nutzer - - 3
> Nutzer in sync - -------------------------
> ---------------------------
>
>
> Am 29.04.2015 um 16:17 schrieb Jan Büren:
>> Hallo zusammen, der aktuelle Stand ist, dass ich 2GB von 20GB an
>> Mails repliziert habe. Ich nutze die verschlüsselte Kommunikation
>> über tcp. Aktuell bekomme ich folgende Meldungen
>>
>> LAN1 == Ursprungs-Dovecot-Server
>>
>> INTERNET1 == Neuer Replizierungsknoten
>>
>>
>> LAN1 /var/log/mail.log Apr 29 15:41:52 LAN1 dsync-local(username):
>> Error: read(INTERNET1) failed: <no error>
>>
>> INTERNET1 /var/log/mail.log
>>
>> Apr 29 15:41:52 INTERNET1 dovecot: dsync-server(username): Error:
>> dsync(samba-ubuntu): I/O has stalled, no activity for 600 seconds
>> Apr 29 15:41:52 INTERNET1 dovecot: dsync-server(username): Error:
>> Timeout during state=sync_mails (send=done recv=mails)
>>
>> Ein bisschen "rumgooglen" ergab, dass es an schlechter
>> Netzwerkverbindung liegen kann oder daran das innerhalb der 600
>> Sekunden eine zu große E-Mail in der Synchronisation nicht
>> abgeschlossen werden kann. Netzwerktechnisch sieht es wie folgt
>> aus:
>>
>> Ich habe einen internen Mailserver im LAN den ich mit einem
>> Internet-Server replizieren möchte. Als Anbindung benutze ich eine
>> DSL 16.000 Verbindung, die sollte eigentlich 2.400 kbit /s Upload
>> machen.
>>
>> LAN1 INTERNET1 -------------------------
>> ----------------------------------------------- - dovecot 2.2.9 -
>> - dovecot 2.2.9 - - - -
>> - - 12 Mail-Nutzer - <== Netgear DSL 16k Modem ==> -
>> 12 Mail-Nutzer - - 20 GB Daten - - aktuell:
>> 3 Mail-Nutzer in sync - ------------------------- - 2GB an
>> Daten -
>> ----------------------------------------------
>>
>>
>>
>> $ doveadm replicator status '*' username priority fast sync full
>> sync failed
>>
>> user-2GB-Mailbox none 00:03:16 21:29:22 y user-400MB-Mailbox
>> none 08:57:39 25:37:33 -
>>
>> Der user-400MB-Mailbox ist komplett i.O. der andere nicht.
>>
>>
>> Kann ich an dieser Stelle irgendwas tun (bspw. doveadm backup ->;
>> initiales rsync händisch; ...)?
>>
>>
>> Im Anhang die Ausgabe von doveconf -n für die beiden
>> unterschiedlichen Knoten.
>>
>>
>> Am 26.04.2015 um 11:50 schrieb "Jan Büren":
>>> Hallo nochmal,
>>>
>>>> So. Damit bleiben 2 Fragen:
>>>>
>>>> a) Kann man diese Replizierung überhaupt mit System-Benutzer
>>>> durchführen?
>>> Das wäre gut, da dies noch ein System ist welches mittels
>>> Kombination von .forward sowie procmailrc einen spamassassin
>>> triggert.
>>>
>>> Hmm. Es sieht eigentlich gefühlt sehr gut aus, alles mit
>>> dovecot-sieve anzutriggern ...
>>>
>>> Ok. Ich seh schon Kapitel 12.
>>>
>>> Dann bleibt eigentlich nur noch fetchmail und postfix.
>>>
>>> Aha:
>>>
http://www.christophbrill.de/de_DE/dovecot-and-fetchmail-without-procmail/
>>>
>>>
>>>
Ich fasse mal kurz die Entwicklung der letzten 6 Jahre zusammen. Ich
>>> benötige kein procmail mehr und kann mittels fetchmail direkt an
>>> dovecot übergeben. Somit brauch ich postfix dann "nur" noch um
>>> lokale Systemnachrichten zuzustellen und evtl. zum Verschicken
>>> nach draussen ...
>>>
>>>
>>> BTW.: Sehr gutes Buch! Grosses Lob, insbesondere, aber nicht nur
>>> für Mail-Admin-Seniors ;-)
>>>
>>> _______________________________________________ Dovecot
>>> Mailingliste JPBerlin - Politischer Provider
>>> Dovecot at listen.jpberlin.de
>>> https://listen.jpberlin.de/mailman/listinfo/dovecot
>>>
>>
>>
>>
>> _______________________________________________ Dovecot
>> Mailingliste JPBerlin - Politischer Provider
>> Dovecot at listen.jpberlin.de
>> https://listen.jpberlin.de/mailman/listinfo/dovecot
>
> -- OSBA-Mitglied http://www.osb-alliance.de/mitglieder/
>
> Blog http://blog.kivitendo-premium.de/
>
>
> Richardson & Büren GmbH Jan Büren Weiherstraße 33a 53111 Bonn
>
> USt-IdNr. DE292363254 Telefon: 0228 92 98 2012 persönliche Durchwahl:
> 0228 92 97 8965
>
>
> _______________________________________________ Dovecot Mailingliste
> JPBerlin - Politischer Provider Dovecot at listen.jpberlin.de
> https://listen.jpberlin.de/mailman/listinfo/dovecot
--
OSBA-Mitglied
http://www.osb-alliance.de/mitglieder/
Blog
http://blog.kivitendo-premium.de/
Richardson & Büren GmbH
Jan Büren
Weiherstraße 33a
53111 Bonn
USt-IdNr. DE292363254
Telefon: 0228 92 98 2012
persönliche Durchwahl: 0228 92 97 8965
-------------- nächster Teil --------------
Ein Dateianhang mit HTML-Daten wurde abgetrennt...
URL: <https://listen.jpberlin.de/pipermail/dovecot/attachments/20150429/c1838c11/attachment-0001.html>
Mehr Informationen über die Mailingliste Dovecot