Exchange DB - defekt, Reparatur nicht erfolgreich

[mr.schrotti 10]

Hi,

 

ich hatte gestern einen Stromausfall, dabei hab ich es nicht geschafft den Exchange rechtzeitig vor versagen der USV herrunterzufahren.

 

Nun habe ich eine DB mit dem Status DirtyShutdown die ich nicht mehr einbinden kann. Auch ein eseutil /r hat nichts gebracht obwohl Successfull. Darauf hin habe ich ein eseutil /p durchgeführt (ebenfalls erfolgreich) was zur Folge hat das sich die DB nun einbinden lässt, jedoch hat man trotz dem keinen Zugriff auf die E-Mails und ein verschieben geht ebenfalls nicht...

das ganze spiel habe ich auch mit einer Version vorm Vortag probiert, ebenfalls ohne Erfolg...

 

Mein neuer Plan ist nun die DB neu erstellen zu lassen, dann müssten ja alle ein leeres Postfach haben.

Über den VEEAM Exchange Explorer habe ich zusammen mit den Transaktionslogs Zugriff auf die DB (scheint sogar aktuell zu sein).

Darüber kann ich die Objekte in die EDB oder in PST Dateien zurückspielen. 

 

Bevor ich das durchführe, wollte ich jedoch mal fragen ob ihr noch eine andere Idee habt was ich mit der DB veranstalten könnte um sie so weit zu reparieren das ich die Postfächer in eine neue, saubere edb verschieben zu können. 

 

Es handelt sich um Exchange 2010 auf Server 2008. 

 

 

Gruß

Tobias

 

 

[mr.schrotti 10]

Hi,

 

ich konnte nun gestern abend ein Backup eigentlich erfolgreich wiederherstellen, leider ging es kurze Zeit genauso los wie gestern morgen.

Bei eingebundener EDB stürzte alle paar Sekunden der Informationsspeicher ab und die DB ist nun wieder "Dirty Shutdown"

[Rallo 0]

Tja, da hat deine Hardware was abbekommen.

[mr.schrotti 10]

virtuell :( schützt aber auch nicht vor Dateisystemfehlern.

Grade mal nen check laufen lassen => Fehlerhaft.

Ich evakuiere die noch funktionierende DB und stelle die nicht funktionierende nochmal aus dem Backup wieder her und ziehe alle Postfächer in eine neue DB um - ich hoffe das bringt was....  solange lasse ich alle mails in der warteschlange von unserer Zentrale hängen ...

[mr.schrotti 10]

So mal zurückmelden und berichten wie wir nun vorgegangen sind:

 

Leider hat sich (vermutlich) schon länger ein Fehler in der DB eingeschlichen der sich nun ausgewirkt hat.

Das Problem ist, die DB ist lesbar und beim korrekten aushängen auch im Status "Clean Shutdown". Nun stürzte bei Aktionen auf bestimmte Postfächer der Informationsspeicherdienst (und die store.exe) in kurzen abständen ab. 

 

Das selbe Phänomen tritt auch mit Versionen aus dem Backup auf (daher die Vermutung das der Fehler vorher schon da war).

 

 

Wir haben uns nun so beholfen (um nicht weiter im dunkeln zu stochern und das System wieder lauffähig zu bekommen):

- Exchange Systemplatte aus dem Backup wiederhergestellt (VMware)

- Neue Platte, leere eingehangen

- Datenbank durch Exchange neu erstellen lassen (alle Benutzer haben nun ein leeres Postfach) 

- Mit Veeam Exchange Explorer die alte DB + Transaktionslogs öffnen

- Postfächer in die leere Mailbox zurückspielen

- Nach einer 23 h Schicht kaputt ins Bett fallen ...

 

Das ganze ist natürlich ein extremer Aufwand da jede Mailbox separat übertragen werden muss (und immer nur eine gleichzeitig geht),

Es scheint jedoch zu funktionieren. 

 

 

Gruß

Tobias

[datmox 26]

Rein Interessehalber... wo sind die Mails die bis jetzt aufgelaufen sind?

[RobertWi 81]

Normalerweise in der Warteschlange beim Absender.

 

Beim OP wohl unglücklicherweise in einer Warteschlange in der Zentrale (das bringt rechtliche Probleme und das Risiko von Backscatter).

 

Allerdings lief ja auch seine Datenbank, d.h. es sind Änderungen angekommen. Nur beim Zugriff gab es Abstürze. Beim Auslesen aus der EDB-Datei konnte daher ein vermutlich ein relativ aktueller Stand gelesen werden.

[mr.schrotti 10]

Ja genau, vor unserem Exchange stehen diverse SPAM Filter und ein Mailbackbone über welches alle Mails der Firma übertragen werden. 

War leider die einzige Möglichkeit nicht noch mehr Mailverlust zu erleiden, über die Konfiguration des Mailgateways habe ich keine genauen Informationen.

 

 

Ich hoffe nur das der Exchange nun nach nem Neustart weiter arbeitet ;)

Außerdem werde ich mir wohl nach dem Urlaub Gedanken über DAG machen, das Backupsystem Hardware mäßig erneuern und häufiger ein Disaster Recovery simulieren...

[NeMiX 76]

Ja genau, vor unserem Exchange stehen diverse SPAM Filter und ein Mailbackbone über welches alle Mails der Firma übertragen werden. 

War leider die einzige Möglichkeit nicht noch mehr Mailverlust zu erleiden, über die Konfiguration des Mailgateways habe ich keine genauen Informationen.

 

 

Normalerweise versuchen Absender 72h die Emails dir zuzustellen. Du warst mit knapp 24h noch im Zeitfenster. Nur Interessehalber, die Postfächer in eine andere DB schieben ging auch nicht?

[mr.schrotti 10]

Hi,

 

leider nicht, da sobald die defekte DB eingebunden wurde jedes mal der Informationsspeicher Dienst abgeschmiert ist und alle anderen DBs mitgerissen hat, in den paar Sekunden wo die DB immer mal wieder online war, wurden auch Mails in diese zugestellt.... 

 

Ich hatte die DB einmal so weit das es für einige Postfächer ging, das hätte jedoch zu lange gedauert, denn sobald wieder Zugriffe auf enthaltene defekte Postfächer stattfanden ging das Spiel von vorne los... Pro Stunde wurden nur 3-4 Postfächer übertragen. 

 

Damit die Kollegen überhaupt arbeitsfähig sind (also neue E-Mails empfangen können) haben wir mit einer leeren DB begonnen und verschieben aktuell Schritt für Schritt Postfach für Postfach aus einer wiederhergestellten DB mit VEEAM in die leere DB

Das dauert zwar auch ziemlich lange, aber ermöglicht uns den Mailserver online zu halten und vor allem auch die funktionsfähigen Datenbanken eingehängt zu lassen.

 

Einen Mailverlust gab es trotz dem, da der Fehler von Samstag auf Sonntag aufgetreten ist und aus irgendwelchen gründen die Transaktionslogs nicht vollständig waren. 

Es wurde also Mails zugestellt die wir nicht wiederherstellen konnten. 

 

 

Den Neustart hat der Server ohne Probleme überstanden. 

 

Gruß

Tobias

[mr.schrotti 10]

So nach 3 Monaten ohne Probleme habe ich seit heute morgen viertel vor 8 wieder das Problem....

der Informationsspeicherdienst stürzt alle paar Minuten ab und reißt alle DBs mit sich.... 

 

 

Ich bekomme nochmal einen zu viel mit Exchange -,-

[RobertWi 81]

Moin,

 

ich würde hier das Problem weniger bei Exchange suchen, als bei der Hardware.

 

Beliebt ist auch ein falsch konfigurierter lokaler Virenscanner, der im Datensystem Exchange-DB und -Logs "bereinigt".

[mr.schrotti 10]

Also der Exchange Läuft Virtuell auf vSphere 5.5 also Hardware würde ich behaupten eher unwahrscheinlich.

Virenscanner hab ich grade mal deinstalliert, hat nichts gebracht...

 

Es ist auch dieses mal nichts außergewöhnliches aufgetreten. Die DBs lassen sich ja auch einbinden aber alle paar Minuten schmiert der Informationsspeicherdienst dann wieder ab.

Das dämliche: Dadurch das er abschmiert, kann ich auch die Postfächer nicht verschieben....

[NorbertFe 1.799]

Steht was im eventlog?

[mr.schrotti 10]

Jo, die selbe Fehlermeldung wie ich im August hatte.

 

Protokollname: System

Quelle:        Service Control Manager

Datum:         20.10.2014 10:01:45

Ereignis-ID:   7031

Aufgabenkategorie:Keine

Ebene:         Fehler

Schlüsselwörter:Klassisch

Benutzer:      Nicht zutreffend

Computer:      Exchange-01.bs.xx.de

Beschreibung:

Der Dienst "Microsoft Exchange-Informationsspeicher" wurde unerwartet beendet. Dies ist bereits 1 Mal vorgekommen. Folgende Korrekturmaßnahmen werden in 5000 Millisekunden durchgeführt: Neustart des Diensts.

Ereignis-XML:

<Event xmlns="http://schemas.microsoft.com/win/2004/08/events/event">

  <System>

    <Provider Name="Service Control Manager" Guid="{555908d1-a6d7-4695-8e1e-26931d2012f4}" EventSourceName="Service Control Manager" />

    <EventID Qualifiers="49152">7031</EventID>

    <Version>0</Version>

    <Level>2</Level>

    <Task>0</Task>

    <Opcode>0</Opcode>

    <Keywords>0x8080000000000000</Keywords>

    <TimeCreated SystemTime="2014-10-20T08:01:45.543009400Z" />

    <EventRecordID>79002</EventRecordID>

    <Correlation />

    <Execution ProcessID="496" ThreadID="7292" />

    <Channel>System</Channel>

    <Computer>Exchange-01.bs.xx.de</Computer>

    <Security />

  </System>

  <EventData>

    <Data Name="param1">Microsoft Exchange-Informationsspeicher</Data>

    <Data Name="param2">1</Data>

    <Data Name="param3">5000</Data>

    <Data Name="param4">1</Data>

    <Data Name="param5">Neustart des Diensts</Data>

  </EventData>

</Event>

 

 

Ich habe nun mal die eine DB deaktiviert, die beim letzten mal im August Schuld war. Allerdings hatten wir die komplett neu angelegt und alle Postfächer manuell dort importiert. 

Ich könnt mich in ars*** beißen, das DAG ist bereits konfiguriert, aber die Postfächer noch nicht verschoben weil noch eine Lizenz fehlt .... 

bearbeitet 20. Oktober 2014 von mr.schrotti