[Dovecot-de] dovecot 2.2.9 (ubuntu 14.04) active / active cluster (master / master replication)

Jan Büren jan at kivitendo-premium.de
Mi Apr 29 18:35:48 CEST 2015


Hallo zusammen,
ich lass den Anhang kurz dran. Ich bin jetzt einen Schritt weiter. Wenn 
ich die Synchronisation händisch mache, hat doveadm sync scheinbar ein 
Problem mit größeren (> 20 MB) Mails.
Zumindestens in dieser Konstellation.

  Hier die Verzeichnisstruktur des .Drafts-Folders des entsprechenden 
Benutzers:

LAN1-QUELLE:

-rw------- 1 vmail vmail 288K Jul 25  2011 
1311595577.P31161Q1M481185.phoenix:2,DS
-rw------- 1 vmail vmail 1,2K Aug 25  2014 
1408971454.M810448P32295.samba-ubuntu,S=1166,W=1205:2,DS
-rw------- 1 vmail vmail  60M Jan 19 12:55 
1421668552.M80781P30822.samba-ubuntu,S=62747422,W=63607021:2,DS
-rw------- 1 vmail vmail 1,1K Mär 23 15:49 
1427122158.M33717P7336.samba-ubuntu,S=1080,W=1120:2,DS
-rw------- 1 vmail vmail 1,3K Mär 25 11:02 
1427277733.M707454P26585.samba-ubuntu,S=1250,W=1295:2,DS

Und hier die bisherige Replikation:

INTERNET1-ZIEL:

-rw-r--r-- 1 vmail vmail 288K Jul 25  2011 
1311595577.P31161Q1M481185.phoenix:2,DS
-rw-r--r-- 1 vmail vmail 1,2K Aug 25  2014 
1408971454.M810448P32295.samba-ubuntu,S=1166,W=1205:2,DS





Jetzt die manuelle Synchro ohne Replizierung mit:

  $  doveadm -D sync -u user1 tcps:INTERNET1

Er synchronisiert nicht mehr die 60MB Mail. Hier die Ausgabe des 
Kommandos und die letzten Logs auf dem Zielsystem:

Diese Ausgabe wird auf dem Quellsystem immer wiederholt:

(..)
dsync-local(user1): Debug: brain M: in box 'Drafts' 
recv_state=recv_last_common send_state=done
dsync-local(user1): Debug: brain M: out box 'Drafts' 
recv_state=recv_last_common send_state=done changed=0
dsync-local(user1): Debug: brain M: out state=sync_mails changed=0
(..)
Hier die Ausführungszeit (Verdacht auf 10min Timeout ...).
real    10m26.057s
user    0m0.342s
sys    0m0.068s



Und hier der Log auf dem Zielsystem:

Apr 29 17:47:34  Debug: brain S: Import Drafts: Import change 
GUID=a263d3c90c82f3eaa2a78e0c07a65d79 UID=1494 hdr_hash=
Apr 29 17:47:34  Debug: brain S: out box 'Drafts' recv_state=changes 
send_state=mail_requests changed=1
Apr 29 17:47:34  Debug: brain S: out state=sync_mails changed=1
Apr 29 17:47:34  Debug: brain S: in state=sync_mails
  (...)
Apr 29 17:47:35  Debug: brain S: in box 'Drafts' recv_state=mails 
send_state=done
Apr 29 17:47:35  Debug: brain S: out box 'Drafts' recv_state=mails 
send_state=done changed=0
Apr 29 17:47:35  Debug: brain S: out state=sync_mails changed=0
Apr 29 17:47:35  Debug: brain S: in state=sync_mails
Apr 29 17:47:35  Debug: brain S: in box 'Drafts' recv_state=mails 
send_state=done
Apr 29 17:47:35  Debug: brain S: out box 'Drafts' recv_state=mails 
send_state=done changed=0
Apr 29 17:47:35  Debug: brain S: out state=sync_mails changed=0
Apr 29 18:16:26  Error: dsync(samba-ubuntu): I/O has stalled, no 
activity for 600 seconds
Apr 29 18:16:26  Error: Timeout during state=sync_mails (send=done 
recv=mails)
Apr 29 18:16:26  Debug: brain S: Import Drafts: Saved UIDs:




Für mich fühlt es sich so an, dass der Client in einer Endlosschleife 
ist, bzw. er wartet auf Rückmeldung von dem Kommunikationspartner, dass 
die Datei übertragen ist?

Ich mach zum Gegentesten mal ein rsync:


  $ rsync -av .Drafts/ vmail at INTERNET1:/var/vmail/user1/Maildir/.Drafts/

Das scheint das Problem zu sein. Gibt es hierfür in dieser Version eine 
bessere Idee / Lösung als diese hier:
http://comments.gmane.org/gmane.mail.imap.dovecot/78989 ?

Ok. Dann brauch ich für ubuntu 14.04 eine neuere Dovecot-Version, wo 
diese eine Zeile drin ist.
Argh.

I just want to:
  $ git cherry-pick  647162da8423
ähh:
  $ hg graft 647162da8423

Hat einer hierfür eine Empfehlung / Idee?




Gruß und Danke,







Am 29.04.2015 um 16:26 schrieb Jan Büren:
> Hi, sorry die ASCII-Grafik ist  kaputt, hier nochmal, verkürzt:
 >
 >
 >
 > -------------------------
 > --------------------------- -   dovecot LAN1 2.2.9  -
 > - dovecot INTERNET1 2.2.9 - -      20GB Daten       - <== Netgear
 > DSL Modem (Telekom 16k) ==>  -   aktuell 2GB von 20GB  - -    12
 > Nutzer          - - 3
 > Nutzer in sync        - -------------------------
 > ---------------------------
 >
 >
 > Am 29.04.2015 um 16:17 schrieb Jan Büren:
 >> Hallo zusammen, der aktuelle Stand ist, dass ich 2GB von 20GB an
 >> Mails repliziert habe. Ich nutze die verschlüsselte Kommunikation
 >> über tcp. Aktuell bekomme ich folgende Meldungen
 >>
 >> LAN1           == Ursprungs-Dovecot-Server
 >>
 >> INTERNET1 == Neuer Replizierungsknoten
 >>
 >>
 >> LAN1 /var/log/mail.log Apr 29 15:41:52 LAN1 dsync-local(username):
 >> Error: read(INTERNET1) failed: <no error>
 >>
 >> INTERNET1 /var/log/mail.log
 >>
 >> Apr 29 15:41:52 INTERNET1 dovecot: dsync-server(username): Error:
 >> dsync(samba-ubuntu): I/O has stalled, no activity for 600 seconds
 >> Apr 29 15:41:52 INTERNET1 dovecot: dsync-server(username): Error:
 >> Timeout during state=sync_mails (send=done recv=mails)
 >>
 >> Ein bisschen "rumgooglen" ergab, dass es an schlechter
 >> Netzwerkverbindung liegen kann oder daran das innerhalb der 600
 >> Sekunden eine zu große E-Mail in der Synchronisation nicht
 >> abgeschlossen werden kann. Netzwerktechnisch sieht es wie folgt
 >> aus:
 >>
 >> Ich habe einen internen Mailserver im LAN den ich mit einem
 >> Internet-Server replizieren möchte. Als Anbindung benutze ich eine
 >> DSL 16.000 Verbindung, die sollte eigentlich 2.400 kbit /s Upload
 >> machen.
 >>
 >> LAN1 INTERNET1 -------------------------
 >> ----------------------------------------------- - dovecot 2.2.9 -
 >> -           dovecot 2.2.9                    - - - -
 >> - -   12 Mail-Nutzer  -     <== Netgear DSL 16k Modem ==>    -
 >> 12 Mail-Nutzer                     - -  20 GB Daten - -    aktuell:
 >> 3 Mail-Nutzer in sync   - ------------------------- -       2GB an
 >> Daten                        -
 >> ----------------------------------------------
 >>
 >>
 >>
 >> $ doveadm replicator status '*' username priority fast sync full
 >> sync failed
 >>
 >> user-2GB-Mailbox none     00:03:16  21:29:22  y user-400MB-Mailbox
 >> none     08:57:39  25:37:33  -
 >>
 >> Der user-400MB-Mailbox ist komplett i.O. der andere nicht.
 >>
 >>
 >> Kann ich an dieser Stelle irgendwas tun (bspw. doveadm backup ->;
 >> initiales rsync händisch; ...)?
 >>
 >>
 >> Im Anhang die Ausgabe von doveconf -n für die beiden
 >> unterschiedlichen Knoten.
 >>
 >>
 >> Am 26.04.2015 um 11:50 schrieb "Jan Büren":
 >>> Hallo nochmal,
 >>>
 >>>> So. Damit bleiben 2 Fragen:
 >>>>
 >>>> a) Kann man diese Replizierung überhaupt mit System-Benutzer
 >>>> durchführen?
 >>> Das wäre gut, da dies noch ein System ist welches mittels
 >>> Kombination von .forward sowie procmailrc einen spamassassin
 >>> triggert.
 >>>
 >>> Hmm. Es sieht eigentlich gefühlt sehr gut aus, alles mit
 >>> dovecot-sieve anzutriggern ...
 >>>
 >>> Ok. Ich seh schon Kapitel 12.
 >>>
 >>> Dann bleibt eigentlich nur noch fetchmail und postfix.
 >>>
 >>> Aha:
 >>> 
http://www.christophbrill.de/de_DE/dovecot-and-fetchmail-without-procmail/
 >>>
 >>>
 >>>
Ich fasse mal kurz die Entwicklung der letzten 6 Jahre zusammen. Ich
>>> benötige kein procmail  mehr und kann mittels fetchmail direkt an
 >>> dovecot übergeben. Somit brauch ich postfix dann "nur" noch um
 >>> lokale Systemnachrichten zuzustellen und evtl. zum Verschicken
 >>> nach draussen ...
 >>>
 >>>
 >>> BTW.: Sehr gutes Buch! Grosses Lob, insbesondere, aber nicht nur
 >>> für Mail-Admin-Seniors ;-)
 >>>
 >>> _______________________________________________ Dovecot
 >>> Mailingliste JPBerlin - Politischer Provider
 >>> Dovecot at listen.jpberlin.de
 >>> https://listen.jpberlin.de/mailman/listinfo/dovecot
 >>>
 >>
 >>
 >>
 >> _______________________________________________ Dovecot
 >> Mailingliste JPBerlin - Politischer Provider
 >> Dovecot at listen.jpberlin.de
 >> https://listen.jpberlin.de/mailman/listinfo/dovecot
 >
 > -- OSBA-Mitglied http://www.osb-alliance.de/mitglieder/
 >
 > Blog http://blog.kivitendo-premium.de/
 >
 >
 > Richardson & Büren GmbH Jan Büren Weiherstraße 33a 53111 Bonn
 >
 > USt-IdNr. DE292363254 Telefon: 0228 92 98 2012 persönliche Durchwahl:
 > 0228 92 97 8965
 >
 >
 > _______________________________________________ Dovecot Mailingliste
 > JPBerlin - Politischer Provider Dovecot at listen.jpberlin.de
 > https://listen.jpberlin.de/mailman/listinfo/dovecot

-- 
OSBA-Mitglied
http://www.osb-alliance.de/mitglieder/

Blog
http://blog.kivitendo-premium.de/


Richardson & Büren GmbH
Jan Büren
Weiherstraße 33a
53111 Bonn

USt-IdNr. DE292363254
Telefon: 0228 92 98 2012
persönliche Durchwahl: 0228 92 97 8965

-------------- nächster Teil --------------
Ein Dateianhang mit HTML-Daten wurde abgetrennt...
URL: <https://listen.jpberlin.de/pipermail/dovecot/attachments/20150429/c1838c11/attachment-0001.html>


Mehr Informationen über die Mailingliste Dovecot