+- Forum Lifedomus (http://forum-lifedomus.com)
+-- Forum : Les outils de configuration et design (http://forum-lifedomus.com/forumdisplay.php?fid=7)
+--- Forum : Design Studio (DS) (http://forum-lifedomus.com/forumdisplay.php?fid=9)
+--- Sujet : Tuto web scraping (Parsehub) (/showthread.php?tid=4417)
RE: web scraping (Parsehub) - AAMLH - 04-29-2020
Bonjour,
Je viens d'essayer la meteo mais impossible pour moi.
Avez vous le détail du passage de ParseHub à DS?
Bien à vous
RE: web scraping (Parsehub) - sirdjey - 04-29-2020
Bonjour,
A quelle étape es-tu ?
RE: web scraping (Parsehub) - AAMLH - 04-29-2020
(04-29-2020, 11:30 AM)sirdjey a écrit : Bonjour,
A quelle étape es-tu ?
Je suis sur ParseHub mais je n'arrive pas à récuperer l'URL météo + Background
RE: web scraping (Parsehub) - sirdjey - 04-29-2020
Ok donc pour simplifier la vie, voici en PJ mon projet Parsehub
Il faut simplement l'importer dans parsehub (menu principal / import Project).
Tu lances un run, et tu obtiendras donc des données en CSV ou en JSON comme ca :
Code :
{
"image": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBaLQW.img?m=6&o=true&u=true&n=true&w=30&h=30",
"image_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=1",
"background": "http://img-s-msn-com.akamaized.net/tenant/amp/entityid/AAbongj.jpg",
"temp": "27",
"jour": [
{
"journame": "mer. 29",
"jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBaLQW.img?m=6&o=true&u=true&n=true&w=30&h=30",
"jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=1",
"jourtempmax": "31°",
"jourtempmin": "24°",
"jourpluie": "27%",
"jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=1"
},
{
"journame": "jeu. 30",
"jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBaM5k.img?m=6&o=true&u=true&n=true&w=30&h=30",
"jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=2",
"jourtempmax": "32°",
"jourtempmin": "20°",
"jourpluie": "75%",
"jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=2"
},
{
"journame": "ven. 1",
"jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBb3WX.img?m=6&o=true&u=true&n=true&w=30&h=30",
"jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=3",
"jourtempmax": "30°",
"jourtempmin": "19°",
"jourpluie": "2%",
"jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=3"
},
{
"journame": "sam. 2",
"jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBb3WX.img?m=6&o=true&u=true&n=true&w=30&h=30",
"jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=4",
"jourtempmax": "31°",
"jourtempmin": "22°",
"jourpluie": "0%",
"jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=4"
},
{
"journame": "dim. 3",
"jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBb3WX.img?m=6&o=true&u=true&n=true&w=30&h=30",
"jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=5",
"jourtempmax": "31°",
"jourtempmin": "23°",
"jourpluie": "0%",
"jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=5"
},
{
"journame": "lun. 4",
"jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBb3WX.img?m=6&o=true&u=true&n=true&w=30&h=30",
"jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=6",
"jourtempmax": "32°",
"jourtempmin": "23°",
"jourpluie": "2%",
"jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=6"
},
{
"journame": "mar. 5",
"jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBb3WX.img?m=6&o=true&u=true&n=true&w=30&h=30",
"jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=7",
"jourtempmax": "33°",
"jourtempmin": "23°",
"jourpluie": "6%",
"jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=7"
},
{
"journame": "mer. 6",
"jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBb3WX.img?m=6&o=true&u=true&n=true&w=30&h=30",
"jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=8",
"jourtempmax": "34°",
"jourtempmin": "23°",
"jourpluie": "9%",
"jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=8"
},
{
"journame": "jeu. 7",
"jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBb3WX.img?m=6&o=true&u=true&n=true&w=30&h=30",
"jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=9",
"jourtempmax": "33°",
"jourtempmin": "24°",
"jourpluie": "29%",
"jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=9"
},
{
"journame": "ven. 8",
"jouricon": "https://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBaLQW.img?m=6&o=true&u=true&n=true&w=30&h=30",
"jouricon_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=10",
"jourtempmax": "30°",
"jourtempmin": "24°",
"jourpluie": "27%",
"jourpluie_url": "https://www.msn.com/fr-fr/meteo/previsions/miamifloride%C3%A9tats-unis/we-city?q=miami-floride&form=PRWLAS&iso=US&el=zyg3FOgomEfvivSk9q%2fbVA%3d%3d&day=10"
}
],
"condition": "Globalement nuageux",
"humidite": " 68%",
"visibilite": " 16 km",
"sunrise": "06:44",
"sunset": "19:51",
"recordmax": "32°",
"recordmaxdate": "(2011)",
"recordmin": "11°",
"recordmindate": "(1992)",
"gdh": "Wed Apr 29 2020 13:12:10 GMT+0000 (UTC)",
"tempressentie": "27°"
}Il ne te reste plus qu'à suivre mon tuto pour récupérer ces data dans LD.
RE: web scraping (Parsehub) - AAMLH - 04-29-2020
Top!
J’essaye comme ça.
Merci beaucoup.
RE: web scraping (Parsehub) - sirdjey - 04-29-2020
Pour démarrer avec un projet plus simple, je t'oriente vers le tuto que je viens de mettre en ligne, et qui permet d'être alerté dès qu'un nouveau créneau dans un magasin Drive est disponible :
http://forum-lifedomus.com/showthread.php?tid=4712
RE: web scraping (Parsehub) - AAMLH - 04-29-2020
Je viens d'essayer avec https://parsehub.com/api/v2/projects/VOTRE_PROJET_TOKEN/last_ready_run/data?api_key=VOTRE_API_KEY mais je ne vois pas appraitre d'info dans le Widget
RE: web scraping (Parsehub) - sirdjey - 04-29-2020
Attention, sur l’URL https://parsehub.com/api/v2/projects/VOTRE_PROJET_TOKEN/last_ready_run/data?api_key=VOTRE_API_KEY
as-tu bien remplacé VOTRE_PROJET_TOKEN et VOTRE_API_KEY par tes données ?
Tu trouveras ces données dans tes paramètres parsehub, c’est qui permet d’identifier ton compte et ton projet.
RE: web scraping (Parsehub) - AAMLH - 04-29-2020
(04-29-2020, 07:47 PM)sirdjey a écrit : Attention, sur l’URL https://parsehub.com/api/v2/projects/VOTRE_PROJET_TOKEN/last_ready_run/data?api_key=VOTRE_API_KEY
as-tu bien remplacé VOTRE_PROJET_TOKEN et VOTRE_API_KEY par tes données ?
Tu trouveras ces données dans tes paramètres parsehub, c’est qui permet d’identifier ton compte et ton projet.
Oui ?
RE: web scraping (Parsehub) - sirdjey - 04-29-2020
Et si tu testes cette url dans ton navigateur tu as bien le JSON ?