3
Meta Tags aus Webseite auslesen
Hi,
ich möchte gern aus einem Online-Shop definierte Artikel Seiten abrufen und dort bestimmte Meta-Tags auslesen (Preis, Beschreibung etc.)
Das Ganze wäre super spannend, wenn es in einem SQL Server funktionieren würde, der die Daten direkt in eine Tabelle schiebt.
Ob das schnell oder langsam funktioniert ist mir im Grunde egal. Es würde reichen, wenn ich den Quelltext der Seite übergeben bekommen würde und ich mir einfach per String-Suche die Daten heraussuche.
Sollte es ein Tool geben, welches das Ganze quick/dirty einfach tut und mir alle Meta-Tags in eine Excel o.ä. schiebt wäre mir ebenso geholfen.
Jemand eine Idee?
ich möchte gern aus einem Online-Shop definierte Artikel Seiten abrufen und dort bestimmte Meta-Tags auslesen (Preis, Beschreibung etc.)
Das Ganze wäre super spannend, wenn es in einem SQL Server funktionieren würde, der die Daten direkt in eine Tabelle schiebt.
Ob das schnell oder langsam funktioniert ist mir im Grunde egal. Es würde reichen, wenn ich den Quelltext der Seite übergeben bekommen würde und ich mir einfach per String-Suche die Daten heraussuche.
Sollte es ein Tool geben, welches das Ganze quick/dirty einfach tut und mir alle Meta-Tags in eine Excel o.ä. schiebt wäre mir ebenso geholfen.
Jemand eine Idee?
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 523680
Url: https://administrator.de/contentid/523680
Printed on: April 19, 2024 at 11:04 o'clock
3 Comments
Latest comment
Moin,
ich glaube du hast de Meta Tags im HTML nicht richtig verstanden... schau mal hier: https://www.w3schools.com/tags/tag_meta.asp
lg,
Slainte
ich glaube du hast de Meta Tags im HTML nicht richtig verstanden... schau mal hier: https://www.w3schools.com/tags/tag_meta.asp
lg,
Slainte
Heißt also, wenn ich über den Browser im Quelltext soetwas hier finde:
dann kann ich das nicht maschinell auslesen?
<meta property="product:price" content="4,60" /> dann kann ich das nicht maschinell auslesen?
No Problem, hier mal ein Beispiel mit Powershell für dein Codebeispiel:
Oder auch mehrere bestimmte Meta-Tags direkt in eine CSV, hier ein Beispiel anhand von Administrator.de
Und wenn du willst kannst du das damit auch direkt in ne Datenbank pappen ...
Geht natürlich auch mit jeder anderen Programmiersprache deiner Wahl.
[System.Net.ServicePointManager]::SecurityProtocol = [System.Net.SecurityProtocolType]::GetNames([System.Net.SecurityProtocolType])
(Invoke-Webrequest 'https://domain.tld').AllElements | ?{$_.tagName -eq 'meta' -and $_.property -eq 'product:price'} | select -Expand Content (iwr 'https://administrator.de').AllElements | ?{$_.tagName -eq 'meta' -and $_.property -in @('og:title','og:type','og:url')} | select Property,Content | export-csv .\daten.csv -Delimiter ";" -NoTypeInformation -Encoding UTF8 Geht natürlich auch mit jeder anderen Programmiersprache deiner Wahl.
