Bioinformatiker

Oh Gott. Mir reicht es dass ich RDB (relational databases) 1 und RDB (Entwurf) 2 vertieft habe (Technische Universität). Natürlich muss der Webserver keine solche Abfragen machen. Es war bloß ein Beispiel um zu zeigen dass mehrere Megabytes zusammenkommen. Wenn du es empfiehlst dann eine Frage: Hast du selber Ahnung in SQL :p (meine aber nicht böse). ICh sage nicht dass ich ein DB-Profi bin, aber ich habe genug Erfahrung mit den Datenbanken. Erkläre nun in welchem Fall viele Daten gesammelt werden. Select Spalte 1, Spalte 2, Spalte 3, Spalte 4, Spalte 5, Spalte 6, From View1 UNION ALL Select Spalte 1, Spalte 2, Spalte 3, Spalte 4, Spalte 5, Spalte 6, From View2 UNION ALL Select Spalte 1, Spalte 2, Spalte 3, Spalte 4, Spalte 5, Spalte 6, From View2 Und ja dazu kommen noch fünf bis zehn where Bedingungen, sowie Order By. In diesem Fall dauert selbst die Abfrage zienlich lang aber auch die Übertragung nimmt genug Zeit (10-15 Sekunden in Anspruch). Ich wollte oben nur vereinfachen. Und so mamchmal bis 5 Views (Sichten - d.h. Gejointe Tabellen). Diese Daten werden für spätere Modellierung benötigt. So kommen manchmal einige hundert Megabytes zusammen (also bis 2 GB) Natürlich könntest du die Frage stellen: wie lange das Ganze dauert? Das ist doch ein Web-Interface? Ja zu recht. Aber die Menschen die das benutzen wissen schon vorher das es einige Minuten dauern kann und sind bereit zu warten. Bitte mach keine Empfehlungen wenn du nicht weißt was die Menschen können, selbst wenn du ein Expert Member bist:D

Was meinst du mit dem Ausführungsplan? Select * FROM TabelleGroß - Das sind 1.800.000 Zeilen und glaube maximal 20 Spalten (bin grade zuhause). Alle Werte sind entweder Int, Float oder VARCHAR (bis 400). Oder willst du sehen wie SQL-Statement vom Query-Prozessor in die relationalle Algebra umgewandelt wird? SCP habe ich nicht getestet, jedoch iperf zeigt ungefähr die gleichen Werte (wie ich oben schrieb). Jedoch SCP (Backup) zwischen dem Webservern (1 und 2) läuft bei 65-75 MB/S (also bis 550 Mbit/S), wähgrend iperf bis 950 schafft (da vlt nur den Arbeitspeicher dafür nutzt und nix auf die Festplatten schreibt). Also hätten wir eine der SCP ähnliche Geschwindigkeit zw DB und WEbserver wäre es schon OK. Aber es sind leider 160-180 MBit/S.

Hallo, vielen Dank für eure Antworten solche Sachen werden von dem Rechenzentrum geregelt und wir haben gar keinen Einfluss drauf (glaube ich zumindest). Unsere Rechner bekommen immer eine IP vom Rechenzentrum, die wir in die Einstellungen der Netzwerkkarte eintragen. Wie dort (RZ) die Namensauflösung realisiert ist, weiß ich leider nicht. Der DBserver wird aber direkt über seine IP angesprochen. Das Ganze läuft über FreeTDS (linux - windows Schnitstelle für PHP-SQL). Wenn die Daten zurückkommen ist ein Kern der CPU immer voll ausgelastet. Das haben wir schon gemerkt. Aber die CPU übernimmt dann die Aufgaben des LAN-Chipsatztes oder hilft der RAID-Karte. Wenn erste - dann hilft eventuell der Kauf einer extra 1G LAN-Karte (Oder?). Wenn zweite - dann ist die dedizierte RAID-Karte einfach zu schlecht. Wofür ist die dann überhapt da wenn die CPU für sie noch was macht? DA kann ich auch nicht viel zu sagen. Mir ist grade aufgefallen: könnte es an den Einstellungen des Controllers liegen? Wie z.B Buffer Size oder was da gibt?

Gibt es keine Ideeen mehr?

die Festpaltten (wenn du es meinst) sind ein RAID5. Die Schreibgeschwindigkeit habe ich heute gemessen - 270 MB/s - also mehr als ausreichend für 1G. Hier ist ein Test: http://www.tomshardware.de/raid-5-skalierung,testberichte-867-4.html - da ist deutlich zu sehen, dass selbst bei 3 Festplatten die minimale Geschwindigkeit bei 100 MB liegt. Also Bottleneck ist woanders

SQL-Server 2008 als Datenbank. Die Query wird weniger als eine Sekunde verarbeitet (vor allem die Queries der Art Select * From Table sind ja keine CPU-Zeit fressende Queries, dafür sind auch keine Indizes notwendig), sobald die Abfrage rausgeht, sehe ich schon, dass eine Antwort zurückkommt. Und die Indizies wurden gesetz sowie andere mögliche Optimierungsmaßmahmen wurden schon durchgeführt. Generell egal welche Übertragungsmethode zwischen Web- und dem DB-Server zum Einsatz kommt - pro Kanal (Thread) werden maximal 200 Mbit/s übertragen. Deswegen wird das entweder vom Betriebsystem oder vom SQL-Server limitiert!!Aber das ist nur eine Vermutung, jedoch möchte ich gerne das genau wissen und eventuell eine Lösung bekommen.

sorry, wollte ganz schnell beschreben, da schon fast Feierabend hatte. Also wir haben vier (4) Server. Zwei (2) Webserver, auf denen Webservices laufen und zwei (2) Datenbankserver. Auf beiden Webservern ist Linux installiert, auf den DB-Servern Windows Server (2003 und 2008 R2). Hardwaremäßig sieht es so aus: Webserver Fujitsu TX 200 S5 (1*) und Fujitsu TX 200 S6 (2*). DB-Server HP (genau weiß ich leider nicht 3*) und Fujitsu TX 300 S5 (4*). Wenn die Daten zwischen den beiden Webservern übertragen werden (Backup über scp), liegt die Geschwindigkeit bei 65-70 MB/s (also 500 - 550 Mbit/s), was völlig akzeptabel ist. Wenn ich das mit iperf messe dann werden sogar 950 Mbit/s erreicht. Das Ziel ist natürlich die Daten genau so schnell von dem DatenbankServer auf den Webserver zu bekommen. D.h. vom 4* auf 1* oder 2*. Die Geschwindigkeit beträgt jedoch nur 22-25 MB/s (170-180 Mbit/s). Da wir oft ganze Menge Daten zurückkriegen wäre ist nicht schlecht, wenn sie schneller übertragen würden. z.B. die Übertragung der Abfrage Select * From TableBig dauert derzeit 12 Sek - es sind ca. 300 MB. Wenn es aber keine Geschwindigkeitsbegrenzung gäbe, würden die gleichen Daten innerhalb von vier (4) oder sogar weniger Sekunden übertragen. Und wenn mit iperf einige client threads parallel gestartet werden (Webserver als iperf-Server und DB-Server als iperf-Client oder umgekehrt), wird auch eine Geschwindigkeit von 950 Mbit/s erreicht. Dagegen ein Thread maximal 200 Mbit/s schafft. Die Frage war woran kann diese Geschwindigkeitslimitierung liegen? Und Vermutung kann das Batriebsystem oder der SQL-Server diese Limitierung verursachen? Lan-Kabel (CAT 5e) haben wir getestet. Es ist der gleiche Chip auf dem DB-Server wie auf den Webservern eingebaut (laut specs). Da sowohl iperf als auch die normale Übertragung der Daten (Abfrage) die gleich Geschwindigkeit erreicht, liegt es nicht am Protokoll, weil die beiden Webserver über iperf 950 Mbit/s erreichen iperf - ist ein Traffikgenerator zum Testen der Netzwerkkapazität.

Hallo, zuerst zu Software: Windows Server 2008 R2 und Windows SQL Server 2008. Windows Firewall aktiviert. Problem: bei einer 1 Gbit/s Leitung werden die Daten mit einer maximalen Geschwindigkeit 150 Mbit/s auf dem Webserver empfangen. Ich möchte betonen - die Leitung ist tatsächlich 1 Gbit/S. Auch die LAN-Karte auf dem Datenbank server (Fujitsu TX 300 S5) kann 1 Gbit/s. Das haben wir mit iperf getestet. Iperf zeigt bei einem Thread maximal 200 Mbit/s, nur bei parallelen Thread kommt man auf 940 Mbit/S (also weder Leitung noch Karte oder LAN-Kabel sind daran Schuld). Die Webserver sind die gleichen Rechner wie DB-Server, jedoch ist es möglich die Dateien zw. den beiden mit ca 940 Mbit/s zu verschicken (beide haben Linux) - also nicht die langsamen Festplatten. Woran könnte es liegen? Reserviert irgendwie der DB-Server (Programm) extra Bandbreite für sich? Oder eventuell liegt das an Windows? Falls noch Infos notwendig sind, bitte fragen