stamboomforum

Forum logoFora » FamilySearch en Zoekakten » FS: downloaden?

Jerry, ik ben zelf altijd erg traag met het beantwoorden van e-mails, dus ik kan het een ander ook zeker niet kwalijk nemen. Knipogen Ik ben benieuwd of je een en ander voor elkaar krijgt en wacht in spanning af.

Vera Hubers

Ik heb iets gevonden... Als je met Firebug de JSON bekijkt die de flash-applicatie opvraagt krijg je dit...

URL in je browser (opent flash-applicatie):

https://www.familysearch.org/pal:/MM9.3.1/TH-1-19031-35445-79?cc=1831469&wc=10712066

De flash-applicatie opent dit:

https://www.familysearch.org/search/proxy?uri=https%3A//www.familysearch.org/pal%3A/MM9.3.1/TH-1-19031-35445-79/meta%3Fcc%3D1831469%26wc%3D10712066

En de JSON van die laatste URL is dit:

{"properties":[{"value":"553","type":"org.familysearch.records.image_count"},{"value":"https://www.familysearch.org/pal:/MM9.3.1/TH-1-19031-34973-84?cc=1831469&wc=10712066","type":"org.familysearch.records.next_image"}],"language":{"value":"en-US"},"type":"IMAGE","identifier":{"value":"https://www.familysearch.org/pal:/MM9.3.1/TH-1-19031-35445-79?cc=1831469&wc=10712066"},"format":{"value":"application/sord+xml"},"title":[{"value":"Netherlands, Civil Registration, 1792-1952; Image dgs:004739761.004739761_01242","lang":"en-US"}],"creator":["das.familysearch.org"],"isPartOf":{"offsetInParent":0,"type":"CONTAINER","identifier":{"value":"https://api.familysearch.org/records/waypoint/10712066"},"title":[{"value":"Huwelijksbijlagen 1809-1824","lang":"en-US"}],"isPartOf":{"offsetInParent":19,"type":"CONTAINER","identifier":{"value":"https://api.familysearch.org/records/waypoint/10681655"},"title":[{"value":"Eijsden","lang":"en-US"}],"isPartOf":{"offsetInParent":27,"type":"CONTAINER","identifier":{"value":"https://api.familysearch.org/records/waypoint/10680829"},"title":[{"value":"Limburg","lang":"en-US"}],"isPartOf":{"offsetInParent":5,"type":"CONTAINER","identifier":{"value":"https://api.familysearch.org/records/collection/1831469/waypoints"},"title":[{"value":"Netherlands, Civil Registration, 1792-1952; Waypoints","lang":"en-US"}],"isPartOf":{"type":"COLLECTION","identifier":{"value":"https://api.familysearch.org/records/collection/1831469"},"title":[{"value":"Netherlands, Civil Registration, 1792-1952","lang":"en-US"}]}}}}},"rights":"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?><elias-v1:eliasLinkAuthInfoList xmlns:elias-v1=\"http://api.familysearch.org/elias/v1\"><elias-v1:linkAuthInfo provider=\"familySearch\" url=\"https://familysearch.org/pal:/MM9.3.1/TH-1-19031-35445-79\"><elias-v1:authResult actionGroup=\"view\" permission=\"DasPrmView@WK-unrestricted\"><elias-v1:authorized>true</elias-v1:authorized><elias-v1:failedRoles/><elias-v1:restricted>false</elias-v1:restricted></elias-v1:authResult></elias-v1:linkAuthInfo></elias-v1:eliasLinkAuthInfoList>", "oneBased":false}

Belangrijkste deel daaruit is dit:

Image dgs:004739761.004739761_01242

Hiermee kun je de volgende URL maken:

https://das.familysearch.org/das/v1/dgs:004739761.004739761_01242/$dist

De vorm van de URL is dus niet gewijzigd:

https://das.familysearch.org/das/v1/dgs:<DGS_NUMMER>/$dist

Nu moeten we nog een manier vinden om een lijst te maken van alle images. De image count is 553 en dit image nummer is 1242, dus op deze film stonden meer collecties. Vaak loopt het wel door, dus als de eerste 1242 is, is de laatst 1242 + 553...

Morgen verder...

Jerry van Kooten

Ik denk dat het neer gaat komen op de URLs van de eerste en de laatste afbeelding van een boek in te voeren. Ik kan dan een script maken wat de DGS-waardes leest en dan een lijst maakt van die eerste en laatste en alle tussenliggende afbeeldingen. Zo'n lijst kan dan met een downloadmanager gelezen worden. Iets meer handmatig werk dan het vorige script, maar wel open voor de toekomst.

Als ik dan alle invoer ook opsla in een database scheelt dat weer voor een volgende die dezelfde boeken wil downloaden.

Meer ideeën?

Jerry

Jerry van Kooten

Zo, flinke stap verder! :)

Hier staat een nieuw script:

http://familie.jvkooten.info/fs/newlink.php

Ik heb een manier gevonden om van een FS-URL (dus waar je een flash-applicatie krijgt die een afbeelding opent) de URL van de image te krijgen.

Als je deze URLs invoert:

https://www.familysearch.org/pal:/MM9.3.1/TH-1-19031-35445-79?cc=1831469&wc=10712066

https://www.familysearch.org/pal:/MM9.3.1/TH-1-19031-30001-13?cc=1831469&wc=10712066

komen daar deze URLs voor afbeeldingen uit:

IMAGE 1: https://das.familysearch.org/das/v1/dgs:004739761.004739761_01242/$dist
IMAGE 2: https://das.familysearch.org/das/v1/dgs:004739761.004739761_01794/$dist

 

Als je in FS naar de eerste pagina van een collectie gaat, kun je de URL gewoon kopiëren en plakken. Probleem is dat wanneer je naar de laatste pagina gaat (in bovenstaand voorbeeld pagina 553), dat de URL niet direct verandert. Je moet even wachten tot de pagina wordt herladen en dan pas heb je de URL van de laatste pagina. Het is echter ook mogelijk dat de pagina niet herladen wordt.

 

Ik heb echter in de XML ook een waarde ImageCount gevonden. Als je de URLs bekijkt is de eeste 1242 en de laatste 1242 + 553 - 1 = 1794. Ik zou dus ook die ImageCount kunnen gebruiken om de URL van de laatste afbeelding te vinden.

Probleem bij beide methodes is wel wanneer een collectie over verschillende DGS-nummers is verdeeld. Maar dat lossen we wel op als we dat probleem tegenkomen.

Volgende stap is een simpel script dat links maakt van alle afbeeldingen van 1242 tot en met 1794.

Zou mooi zijn als Jakkes deze links in zijn database zou opnemen. Wie kent Jakkes? Volgens mij was zijn profiel verwijderd...

 

Jerry

Jerry van Kooten

En weer een stap verder. Het script laat nu links voor alle afbeeldingen uit een archief (boek) zien op de voorwaarde dat de afbeeldingen in hetzelfde DGS-bereik liggen en het tweede nummer hoger is dan het eerste. Ik kan ongetwijfeld een boel foutafhandeling toevoegen om het gebruikersvriendelijker te maken, maar ik denk dat we hier in ieder geval een start mee kunnen maken.

Je krijgt dus een lijst met links direct naar afbeeldingen om met een downloadmanager (ik gebruik DTA = DownThemAll) te downloaden.

http://familie.jvkooten.info/fs/newlink.php

Groeten,

Jerry

Jerry van Kooten

 

Jerry,

Linksonderin op http://www.genver.nl/index.htm, de site van Jakkes staat een klikbaar mailadres oftewel een info@.... adres.

Leo Terlouw

Leo, dankjewel voor je antwoord. Ik had het gevonden, een mail is onderweg.

Groeten,

Jerry

Jerry van Kooten

Het gemiddelde formaat en de gemiddelde bestandsgrootte van de nieuw toegevoegde afbeeldingen is een stuk kleiner dan voorheen. De oude waren tegen de 5000 pixels (grootse zijkant), nu 'slechts' 2900. De bestandsgrootte is van 1.5 - 2.2 Mb naar 500 - 700 Kb gegaan. Op zich wel handig als je veel wil opslaan, natuurlijk. Da's ongeveer een derde...

Zijn er mensen die problemen hebben met de kleinere afbeeldingen? Of zijn de nieuwe afbeeldingen nog steeds groot genoeg voor iedereen?

Niet dat ik de nieuwe afbeeldingen kan vergroten natuurlijk, maar als de nieuwe voldoende formaat hebben, ga ik de oude om ruimte te besparen verkleinen tot hetzelfde formaat.

Jerry

Jerry van Kooten

Een kleine maar volgens mij handige wijziging:

http://familie.jvkooten.info/fs/newlink.php

Je hoeft nu alleen maar de URL van de eerste afbeelding te plakken, het script zoekt dan in de XML het aantal afbeeldingen in de serie.

Die URL is de URL die http://www.genver.nl geeft. Ik zal mijn script nog iets uitbreiden zodat Jakkes vanaf GenVer direct naar mijn script kan linken.

Jerry

Jerry van Kooten

Hallo Jerry,

jij schreef: " URL in je browser (opent flash-applicatie):

https://www.familysearch.org/pal:/MM9.3.1/TH-1-19031-35445-79?cc=1831469&wc=10712066

De flash-applicatie opent dit:

https://www.familysearch.org/search/proxy?uri=https%3A//www.familysearch.org/pal%3A/MM9.3.1/TH-1-19031-35445-79/meta%3Fcc%3D1831469%26wc%3D10712066"

Kan je uitleggen hoe je de URL van de flash-appl. hebt verkregen met firefox.

Met vriendelijke groet,

Harry

JH Bruger

Bedankt hiervoor Jerry.

Fantastisch !!

<KNIP>

Leo Terlouw

Jerry,

Even een aanvulling op mijn vorige bericht, de link naar Genver op je pagina moet je even aanpassen want gevnver.nl gaat niet werken.

Ik had je script geprobeerd in IE9 .... <KNIP>

Leo Terlouw

Harry,

 

jij schreef: " URL in je browser (opent flash-applicatie):

https://www.familysearch.org/pal:/MM9.3.1/TH-1-19031-35445-79?cc=1831469&wc=10712066

De flash-applicatie opent dit:

https://www.familysearch.org/search/proxy?uri=https%3A//www.familysearch.org/pal%3A/MM9.3.1/TH-1-19031-35445-79/meta%3Fcc%3D1831469%26wc%3D10712066"

Kan je uitleggen hoe je de URL van de flash-appl. hebt verkregen met firefox.

Beetje verwarrend, omdat ik het iets heb gewijzigd. Het is nu simpeler.

Het is de URL zonder ?cc=... Dat is precies de URL die genver.nl geeft. Je hoeft dus niet eens meer de flash-applicatie te openen.

1. kopieer de link van het archief dat je wil hebben van genver.nl

2. plak die link in mijn script en klik op de button

3. het script leest de URL, haalt bijbehorende XML op en maakt een lijst van URLs van afbeeldingen op dezelfde pagina

4. gebruik je eigen downloadmanager om al die links te downloaden

Ik zie trouwens dat je een URL uit Firebug hebt gehaald (die met .../proxy?uri=https%3A...). Ik bedoel echt gewoon de URL uit de adresbalk van je browser. Maar zoals ik al zei is de link van genver.nl al voldoende.

Jerry

Jerry van Kooten

Leo,

Even een aanvulling op mijn vorige bericht, de link naar Genver op je pagina moet je even aanpassen want gevnver.nl gaat niet werken.

 

Ik had je script geprobeerd in IE9 en de links naar de overige XML's waren in no-time geladen dus ik open Firefox om daar te gaan downloaden met DTA maar bij mij werkt je script niet in Firefox, zodra ik de "lees links" knop indruk wordt de regel blanco en gebeurt er verder niets.

Even gecheckt met Google Chrome, daar hetzelfde als in IE9, de links naar de overige XML's worden ook hier in no-time geladen.

Ja, ik had die typfout (gevnver.nl) al gezien. Ik zal 'm binnenkort aanpassen.

Ik gebruik alleen Firefox met DTA, ik had nog niet eens getest in andere browsers. Maar bij mij gaat het goed.

Ik snap wel wat je bedoelt, trouwens...Klik je echt op de knop of druk je op Enter?

Dat staat ook op mijn lijstje om aan te passen. Als je het form verstuurt wordt de pagina opnieuw geladen, wat er dan uitziet dat het veld leeg wordt gemaakt. Een klik op de knop zou niet het form moeten versturen maar een scriptje starten. Als je op Enter drukt wordt het form verstuurd. Zal ik aanpassen.

Als je wel op de knop klikt staat in Firefox misschien javascript uit of zo.

En bedank voor het compliment. Volgende stap is Jakkes vragen een link naar mijn script te maken met de URL als parameter. Dan hoef je niet eens meer de URL te knippen en te plakken...

Groeten,

Jerry

Jerry van Kooten


 

Jerry,

Javascript is aan en het maakt niet uit of ik klik of op enter druk, er gebeurt gewoon niets.

Leo Terlouw




Plaats een reactie

Om reacties (en nieuwe onderwerpen) te plaatsen op het Stamboom Forum dient u eerst in te loggen! Nog geen lid? Registratie is gratis en snel!