Tuto web scraping (Parsehub)

[AAMLH]

Bonjour,

Je viens d'essayer la meteo mais impossible pour moi.
Avez vous le détail du passage de ParseHub  à DS?

Bien à vous

[sirdjey]

Bonjour,
A quelle étape es-tu ?

[AAMLH]

(04-29-2020, 11:30 AM)sirdjey a écrit : Bonjour,
A quelle étape es-tu ?

Je suis sur ParseHub mais je n'arrive pas à récuperer l'URL météo + Background

[sirdjey]

Ok donc pour simplifier la vie, voici en PJ mon projet Parsehub
Il faut simplement l'importer dans parsehub (menu principal / import Project).

Tu lances un run, et tu obtiendras donc des données en CSV ou en JSON comme ca :

Code :

{
"image": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBaLQW.img?m=6&o=true&u=true&n=true&w=30&h=30",
"image_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=1",
"background": "http://img-s-msn-com.akamaized.net/tenant/amp/entityid/AAbongj.jpg",
"temp": "27",
"jour": [
 {
  "journame": "mer. 29",
  "jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBaLQW.img?m=6&o=true&u=true&n=true&w=30&h=30",
  "jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=1",
  "jourtempmax": "31°",
  "jourtempmin": "24°",
  "jourpluie": "27%",
  "jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=1"
 },
 {
  "journame": "jeu. 30",
  "jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBaM5k.img?m=6&o=true&u=true&n=true&w=30&h=30",
  "jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=2",
  "jourtempmax": "32°",
  "jourtempmin": "20°",
  "jourpluie": "75%",
  "jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=2"
 },
 {
  "journame": "ven. 1",
  "jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBb3WX.img?m=6&o=true&u=true&n=true&w=30&h=30",
  "jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=3",
  "jourtempmax": "30°",
  "jourtempmin": "19°",
  "jourpluie": "2%",
  "jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=3"
 },
 {
  "journame": "sam. 2",
  "jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBb3WX.img?m=6&o=true&u=true&n=true&w=30&h=30",
  "jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=4",
  "jourtempmax": "31°",
  "jourtempmin": "22°",
  "jourpluie": "0%",
  "jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=4"
 },
 {
  "journame": "dim. 3",
  "jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBb3WX.img?m=6&o=true&u=true&n=true&w=30&h=30",
  "jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=5",
  "jourtempmax": "31°",
  "jourtempmin": "23°",
  "jourpluie": "0%",
  "jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=5"
 },
 {
  "journame": "lun. 4",
  "jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBb3WX.img?m=6&o=true&u=true&n=true&w=30&h=30",
  "jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=6",
  "jourtempmax": "32°",
  "jourtempmin": "23°",
  "jourpluie": "2%",
  "jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=6"
 },
 {
  "journame": "mar. 5",
  "jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBb3WX.img?m=6&o=true&u=true&n=true&w=30&h=30",
  "jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=7",
  "jourtempmax": "33°",
  "jourtempmin": "23°",
  "jourpluie": "6%",
  "jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=7"
 },
 {
  "journame": "mer. 6",
  "jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBb3WX.img?m=6&o=true&u=true&n=true&w=30&h=30",
  "jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=8",
  "jourtempmax": "34°",
  "jourtempmin": "23°",
  "jourpluie": "9%",
  "jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=8"
 },
 {
  "journame": "jeu. 7",
  "jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBb3WX.img?m=6&o=true&u=true&n=true&w=30&h=30",
  "jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=9",
  "jourtempmax": "33°",
  "jourtempmin": "24°",
  "jourpluie": "29%",
  "jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=9"
 },
 {
  "journame": "ven. 8",
  "jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBaLQW.img?m=6&o=true&u=true&n=true&w=30&h=30",
  "jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=10",
  "jourtempmax": "30°",
  "jourtempmin": "24°",
  "jourpluie": "27%",
  "jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=10"
 }
],
"condition": "Globalement nuageux",
"humidite": " 68%",
"visibilite": " 16 km",
"sunrise": "06:44",
"sunset": "19:51",
"recordmax": "32°",
"recordmaxdate": "(2011)",
"recordmin": "11°",
"recordmindate": "(1992)",
"gdh": "Wed Apr 29 2020 13:12:10 GMT+0000 (UTC)",
"tempressentie": "27°"
}

Il ne te reste plus qu'à suivre mon tuto pour récupérer ces data dans LD.

[AAMLH]

Top!

J’essaye comme ça. 

Merci beaucoup.

[sirdjey]

Pour démarrer avec un projet plus simple, je t'oriente vers le tuto que je viens de mettre en ligne, et qui permet d'être alerté dès qu'un nouveau créneau dans un magasin Drive est disponible :
http://forum-lifedomus.com/showthread.php?tid=4712

[AAMLH]

Je viens d'essayer avec https://parsehub.com/api/v2/projects/VOTRE_PROJET_TOKEN/last_ready_run/data?api_key=VOTRE_API_KEY mais je ne vois pas appraitre d'info dans le Widget 

[sirdjey]

Attention, sur l’URL https://parsehub.com/api/v2/projects/VOTRE_PROJET_TOKEN/last_ready_run/data?api_key=VOTRE_API_KEY
as-tu bien remplacé VOTRE_PROJET_TOKEN et VOTRE_API_KEY par tes données ?

Tu trouveras ces données dans tes paramètres parsehub, c’est qui permet d’identifier ton compte et ton projet. 

[AAMLH]

(04-29-2020, 07:47 PM)sirdjey a écrit : Attention, sur l’URL https://parsehub.com/api/v2/projects/VOTRE_PROJET_TOKEN/last_ready_run/data?api_key=VOTRE_API_KEY
as-tu bien remplacé VOTRE_PROJET_TOKEN et VOTRE_API_KEY par tes données ?

Tu trouveras ces données dans tes paramètres parsehub, c’est qui permet d’identifier ton compte et ton projet. 

Oui ?

[sirdjey]

Et si tu testes cette url dans ton navigateur tu as bien le JSON ?