Wie daten in (fast) Echtzeit von MySQL nach MSSQL

[AndreT78 10]

Hallo zusammen,

 

der Titel sagt es schon fast.

 

Wie bekomme Tabellen/Daten in fast Echtzeit, ein paar Minuten Latenz ist nicht ganz so schlimm, von einer MySQL - DB (auf Linux) auf meinen MSSQL 2008 /2012 Server. Replikation wäre mir am Liebsten, aber beide Replikationen unterstützen den jeweilig anderen Server nicht.

 

Welche Möglichkeiten gibt es noch. (Der MySQL Server sollte dadurch nicht allzusehr in der Performace einbußen machen müssen.)

 

Danke für ein paar Tips und Ideen.

 

Gruß Andre

[Dr.Melzer 191]

Hallo Andre, schn dass du uns gefunden hast.

 

Vielleicht erzählst du uns mal was du da genau vor hast und warum du die Daten umziehen willst. Du wirst das ja kaum um des Umziehens willen machen. ;-)

 

Je mehr wir verstehen was du warum machen willst desto besser können wir dir helfen.

[AndreT78 10]

Hallo,

 

Grund ist das unsere Warenwirtschaft bald auf MySQL laufen wird. Das Datawarehouse weiterhin aber auf MS-SQL laufen wird (eegen ReportingServices, und Cubes etc).

 

Deshalb sollen die Daten rüber. Möglichst Zeitnahe, da manche Reports den Aktuellen Produktionsstand wiedergeben sollen.

[bla!zilla 10]

Sowas geht. Schau dir mal DBreplicator an. Alternativ könntest du dir natürlich etwas selber bauen (trigger, Message Queue, Import).

 

Du weißt aber schon, dass "zeitnah" und "Data Warehouse" irgendwie kollidieren? Zeitnah hängt davon ab, wie oft ihr eure ETLs laufen lasst. Wenn du nun aktiv Daten ins DW pumpen willst, dann untergräbst du damit im Prinzip den ETL. Es wäre vielleicht sinnvoller einen ODS zu entwickeln, der auf die operativen Daten durchgreift und aus dem man sich auch per ETL bedient.

[AndreT78 10]

Der Bedarf, Daten Zeitnah zu verwenden ist nur ein Teil unsers DWH´s. Diese Daten werden quasi aus einem ODS genommen, aus dem sich auch der ETL - Prozess nachher weiter die Daten für Faktentabellen etc zieht.

 

Ändert aber beides nix daran, das ich die Daten erstmal von dem MySQLer auf den MSSQL haben muss.

[Dukel 436]

Wieso machst du das ETL dann nicht 2mal? Einmal von MySql nach MsSql und später von MsSql in das DWH.

[bla!zilla 10]

Der Bedarf, Daten Zeitnah zu verwenden ist nur ein Teil unsers DWH´s. Diese Daten werden quasi aus einem ODS genommen, aus dem sich auch der ETL - Prozess nachher weiter die Daten für Faktentabellen etc zieht.

 

Verstehe.

 

Ändert aber beides nix daran, das ich die Daten erstmal von dem MySQLer auf den MSSQL haben muss.

 

Aber müsstest du dann die Daten nicht in den ODS integrieren? Würde doch reichen, oder?

 

Handelt es sich denn um einzelne Tabellen oder echt die komplette DB?

 

Wieso machst du das ETL dann nicht 2mal? Einmal von MySql nach MsSql und später von MsSql in das DWH.

 

Weil der ETL Prozess an sich die Extraktion, die Transformation und den Load ins DW beschreibt. Ein ETL von MySQL nach MS SQL ist IMHO ****sinn. Damit hätte man nur eine unnötige Abhängigkeit.

[Dukel 436]

Evtl. hilft das SQL Server Migrations Tool Free Microsoft SQL Server Database Migration Assistant dabei.

[bla!zilla 10]

Ist das nicht nur für die einmalige Migration gedacht?

[Dukel 436]

Deswegen das "evtl.". Wenn der Migrationsprozess zweigeteilt ist (Struktur und Daten) und man letzteres mehrmals (incr.) durchführen kann, kann man das nutzen.

[AndreT78 10]

Quasi die komplette DB. Also fast alle Tabellen.

Prozeduren, views etc nicht.

 

Vielleicht hätte ich bei meiner Frage den Begriff DWH weglassen sollen.

 

Wie bekomme ich (fast) Zeitnah Daten vom Mysql auf MSSQL und dort weiter mit ihnen zu arbeiten?

 

Den DBReplicator werden wir auf jeden Fall mal testen.

 

Den MS Migration Assistant verstehe ich auch als einmalige Migration, damit kann ich leider nichts machen. Danke trotzdem.

[bla!zilla 10]

Wie bekomme ich (fast) Zeitnah Daten vom Mysql auf MSSQL und dort weiter mit ihnen zu arbeiten?

 

Möglichkeit 1: Über eine Weiche, welche du zwischen Applikationserver und Datenbankserver eurer ERP Software klemmst. An dieser Stelle kannst du Anfragen weiterleiten.

 

Möglichkeit 2: Etwas wie DBreplicator. Kann man durchaus auch selber schreiben.

[Sunny61 773]

Quasi die komplette DB. Also fast alle Tabellen.

Prozeduren, views etc nicht.

 

Du wirst dir wohl auf dem MSSQL eine Stored Procedure schreiben müssen, die dir die Daten vom MySQL holt. Auf dem MSSQL einen Verbindungsserver anlegen, die benötigten Tabellen vom MySQL damit im MSSQL einbinden, schon kann es losgehen.

 

Auf dem MSSQL den Inhalt einer Tabelle löschen und gleichzeitig einen Insert von der MySQL Tabelle auf die Tabelle des MSSQL machen. Ob das praktikabel ist mußt Du selbst testen.