curl oder sonstiges für automatischen download

[patsrv 10]

Hi,

 

Kennt einer von euch curl ?! Das ist so eine Art cmdline http-client, soweit ich das verstanden habe.

Hat einer Erfahung damit ?!

 

Ich sag euch einfach mal was ich zu tun versuche:

 

Es gibt da eine Suchmaske, die natürlich verschiedene Input-Felder hat.

Normalerweise gebe ich Daten für von und bis ein und das Ergebnis ist dann eine Liste von Dokumenten die innerhalb dieses zeitabschnitts veröffentlich wurden.

 

Ich würde gerne automatisiert diese Suche ausführen, also die Felder automatisch befüllen und die daraus Resultierenden files downloaden.

 

Dies sollte mit curl eigentlich kein Problem sein, aber ich kriegs einfach nicht hin.

 

Hat eine vlt. eine alternative idee dazu ?!

 

Gruß

[jaksa 10]

Script schreiben welches das Zielformular aufruft, die Post Felder mitsenden und den Output pharsen?

[patsrv 10]

genau das wollte ich mit curl machen, aber der Server unterstützt anscheinend kein curl.

 

Wie könnte das denn noch gehen ?!

 

java ?!

perl !?

vbs ?!

...

[Lian 2.659]

Woher sollen wir wissen, was Dein Server kann?

 

Beschreibe doch mal so genau wie möglich, was Du für einen Server Du hast und was Du ganz genau vorhast.

[patsrv 10]

Ich will ja garnicht wissen was mein Server kann, sondern wie es generell funktionieren könnte.

 

Was ich machen will steht in meinem 1. Post:

 

Es gibt da eine Suchmaske, die natürlich verschiedene Input-Felder hat.

Normalerweise gebe ich Daten für "von Datum" und "bisDatum" ein und das Ergebnis ist dann eine Liste von Dokumenten die innerhalb dieses Zeitabschnitts veröffentlich wurden.

 

Ich würde gerne automatisiert diese Suche ausführen, also die Felder automatisch befüllen und die files, die in der daraus resultierenden Liste aufscheinen downloaden.

 

Welche Information fehlt dir denn genau ?!

 

Danke !

[Lian 2.659]

Was ist das für ein Server, welches Windows, welcher Webserver, welche API.

 

Du wiederholst Dich, das war nicht der Sinn meiner Frage.

 

Was hast Du da für Formulare und was geben diese aus.

[Dukel 468]

Wie wärs mit richtig scripten?

cURL - Tutorial

 

Wenn der Server http spricht sollte das mit Curl gehen. Wieso sollte der Server kein Curl unterstützen?

[patsrv 10]

Ich habe gelesen, das der Server curl unterstützen muss. Das alle meien versuche fehlgeschlagen sind, ging ich davon aus das dies nicht der Fall ist.

 

Danke für den Link ich werd mir das gleichmal ansehen !

[patsrv 10]

Leider bekomme ich immer den Fehler "curl: (7) couldn't connect to host"

 

Ich verwende folgenden code

 

curl -d "=VonDatum=01.01.2004&BisDatum=21.04.2009&Smp_MainContent_SearchButton=submit"\ RIS - Bundesgesetzblatt authentisch ab 2004 - Suche

 

idea anyone ?!

[Dukel 468]

Geht folgendes?

curl "http://www.ris.bka.gv.at/Ergebnis.wxe?Abfrage=BgblAuth&Titel=&Bgblnummer=&SucheNachGesetzen=False&SucheNachKundmachungen=False&SucheNachVerordnungen=False&SucheNachSonstiges=False&SucheNachTeil1=False&SucheNachTeil2=False&SucheNachTeil3=False&VonDatum=01.01.2004&BisDatum=21.04.2009&ImRisSeit=Undefined&ResultPageSize=50&Suchworte=&WxeFunctionToken="

[lepus 10]

Leider bekomme ich immer den Fehler "curl: (7) couldn't connect to host"

 

Funktioniert denn der Abruf wenn du zunächst nur die URL angibst, ohne irgendwelche speziellen Optionen?

Ich wüsste übrigens nicht das ein Server Curl explizit unterstützen muss, da Curl im Prinzip einfach nur einen Abruf startet wie es jeder Browser auch tun würde.

 

Grüße

Nils

[patsrv 10]

@Dukel: Danke, aber leider funzt dein Code auch nicht :/

 

@zwerghase: Leider schlägt auch

curl "http://www.ris.bka.gv.at/Bgbl-Auth/"

mit dem selben Fehler fehl :(

[lepus 10]

Dann kann Curl den Webserver nicht erreichen. Benutzt ihr evtl. einen Proxy? Dann musst du den natürlich im Curl Aufruf mit angeben.

 

Schau dir mal das Curl Manual an, da sind sämtliche Optionen aufgelistet: cURL - Manual

 

Grüße

 

Nils

[patsrv 10]

das mit dem Proxy war ein guter Tipp !

Ich bekomme jetzt sone 407 Error Seite...das dürfte an unserem Proxy liegen.

Immerhin seh ich jetzt mal wie es aussieht wenn man eine Seite erreicht ^^

[lepus 10]

Ich bekomme jetzt sone 407 Error Seite...das dürfte an unserem Proxy liegen.

 

naja, er verlangt nach einer Authentifizierung... du musst dann Benutzername und Passwort mit übergeben:

 

curl -U user:passwd -x my-proxy:888 [url]http://www.get.this/[/url]

 

Grüße

Nils