stamboomforum

Forum logoFamilySearch » FS: downloaden?


Profiel afbeelding
Jerry, ik ben zelf altijd erg traag met het beantwoorden van e-mails, dus ik kan het een ander ook zeker niet kwalijk nemen. Afbeeldingen zijn alleen zichtbaar als u bent ingelogd op het Stamboom Forum

 Ik ben benieuwd of je een en ander voor elkaar krijgt en wacht in spanning af.

Vera Hubers - 9 sep 2011 — 19:42

Ik heb iets gevonden... Als je met Firebug de JSON bekijkt die de flash-applicatie opvraagt krijg je dit...

URL in je browser (opent flash-applicatie):

https://www.familysearch.org/pal:/MM9.3.1/TH-1-19031-35445-79?cc=1831469&wc=10712066

De flash-applicatie opent dit:

https://www.familysearch.org/search/proxy?uri=https%3A//www.familysearch.org/pal%3A/MM9.3.1/TH-1-19031-35445-79/meta%3Fcc%3D1831469%26wc%3D10712066

En de JSON van die laatste URL is dit:

{"properties":[{"value":"553","type":"org.familysearch.records.image_count"},{"value":"https://www.familysearch.org/pal:/MM9.3.1/TH-1-19031-34973-84?cc=1831469&wc=10712066","type":"org.familysearch.records.next_image"}],"language":{"value":"en-US"},"type":"IMAGE","identifier":{"value":"https://www.familysearch.org/pal:/MM9.3.1/TH-1-19031-35445-79?cc=1831469&wc=10712066"},"format":{"value":"application/sord+xml"},"title":[{"value":"Netherlands, Civil Registration, 1792-1952; Image dgs:004739761.004739761_01242","lang":"en-US"}],"creator":["das.familysearch.org"],"isPartOf":{"offsetInParent":0,"type":"CONTAINER","identifier":{"value":"https://api.familysearch.org/records/waypoint/10712066"},"title":[{"value":"Huwelijksbijlagen 1809-1824","lang":"en-US"}],"isPartOf":{"offsetInParent":19,"type":"CONTAINER","identifier":{"value":"https://api.familysearch.org/records/waypoint/10681655"},"title":[{"value":"Eijsden","lang":"en-US"}],"isPartOf":{"offsetInParent":27,"type":"CONTAINER","identifier":{"value":"https://api.familysearch.org/records/waypoint/10680829"},"title":[{"value":"Limburg","lang":"en-US"}],"isPartOf":{"offsetInParent":5,"type":"CONTAINER","identifier":{"value":"https://api.familysearch.org/records/collection/1831469/waypoints"},"title":[{"value":"Netherlands, Civil Registration, 1792-1952; Waypoints","lang":"en-US"}],"isPartOf":{"type":"COLLECTION","identifier":{"value":"https://api.familysearch.org/records/collection/1831469"},"title":[{"value":"Netherlands, Civil Registration, 1792-1952","lang":"en-US"}]}}}}},"rights":"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?><elias-v1:eliasLinkAuthInfoList xmlns:elias-v1=\"http://api.familysearch.org/elias/v1\"><elias-v1:linkAuthInfo provider=\"familySearch\" url=\"https://familysearch.org/pal:/MM9.3.1/TH-1-19031-35445-79\"><elias-v1:authResult actionGroup=\"view\" permission=\"DasPrmView@WK-unrestricted\"><elias-v1:authorized>true</elias-v1:authorized><elias-v1:failedRoles/><elias-v1:restricted>false</elias-v1:restricted></elias-v1:authResult></elias-v1:linkAuthInfo></elias-v1:eliasLinkAuthInfoList>", "oneBased":false}

Belangrijkste deel daaruit is dit:

Image dgs:004739761.004739761_01242

Hiermee kun je de volgende URL maken:

https://das.familysearch.org/das/v1/dgs:004739761.004739761_01242/$dist

De vorm van de URL is dus niet gewijzigd:

https://das.familysearch.org/das/v1/dgs:<DGS_NUMMER>/$dist

Nu moeten we nog een manier vinden om een lijst te maken van alle images. De image count is 553 en dit image nummer is 1242, dus op deze film stonden meer collecties. Vaak loopt het wel door, dus als de eerste 1242 is, is de laatst 1242 + 553...

Morgen verder...

Jerry van Kooten - 9 sep 2011 — 23:54

Ik denk dat het neer gaat komen op de URLs van de eerste en de laatste afbeelding van een boek in te voeren. Ik kan dan een script maken wat de DGS-waardes leest en dan een lijst maakt van die eerste en laatste en alle tussenliggende afbeeldingen. Zo'n lijst kan dan met een downloadmanager gelezen worden. Iets meer handmatig werk dan het vorige script, maar wel open voor de toekomst.

Als ik dan alle invoer ook opsla in een database scheelt dat weer voor een volgende die dezelfde boeken wil downloaden.

Meer ideeën?

Jerry

Jerry van Kooten - 10 sep 2011 — 12:01

Zo, flinke stap verder! :)

Hier staat een nieuw script:

http://familie.jvkooten.info/fs/newlink.php

Ik heb een manier gevonden om van een FS-URL (dus waar je een flash-applicatie krijgt die een afbeelding opent) de URL van de image te krijgen.

Als je deze URLs invoert:

https://www.familysearch.org/pal:/MM9.3.1/TH-1-19031-35445-79?cc=1831469&wc=10712066

https://www.familysearch.org/pal:/MM9.3.1/TH-1-19031-30001-13?cc=1831469&wc=10712066

komen daar deze URLs voor afbeeldingen uit:

IMAGE 1: https://das.familysearch.org/das/v1/dgs:004739761.004739761_01242/$dist
IMAGE 2: https://das.familysearch.org/das/v1/dgs:004739761.004739761_01794/$dist

 

Als je in FS naar de eerste pagina van een collectie gaat, kun je de URL gewoon kopiëren en plakken. Probleem is dat wanneer je naar de laatste pagina gaat (in bovenstaand voorbeeld pagina 553), dat de URL niet direct verandert. Je moet even wachten tot de pagina wordt herladen en dan pas heb je de URL van de laatste pagina. Het is echter ook mogelijk dat de pagina niet herladen wordt.

 

Ik heb echter in de XML ook een waarde ImageCount gevonden. Als je de URLs bekijkt is de eeste 1242 en de laatste 1242 + 553 - 1 = 1794. Ik zou dus ook die ImageCount kunnen gebruiken om de URL van de laatste afbeelding te vinden.

Probleem bij beide methodes is wel wanneer een collectie over verschillende DGS-nummers is verdeeld. Maar dat lossen we wel op als we dat probleem tegenkomen.

Volgende stap is een simpel script dat links maakt van alle afbeeldingen van 1242 tot en met 1794.

Zou mooi zijn als Jakkes deze links in zijn database zou opnemen. Wie kent Jakkes? Volgens mij was zijn profiel verwijderd...

 

Jerry

Jerry van Kooten - 11 sep 2011 — 08:30

En weer een stap verder. Het script laat nu links voor alle afbeeldingen uit een archief (boek) zien op de voorwaarde dat de afbeeldingen in hetzelfde DGS-bereik liggen en het tweede nummer hoger is dan het eerste. Ik kan ongetwijfeld een boel foutafhandeling toevoegen om het gebruikersvriendelijker te maken, maar ik denk dat we hier in ieder geval een start mee kunnen maken.

Je krijgt dus een lijst met links direct naar afbeeldingen om met een downloadmanager (ik gebruik DTA = DownThemAll) te downloaden.

http://familie.jvkooten.info/fs/newlink.php

Groeten,

Jerry

Jerry van Kooten - 11 sep 2011 — 09:20

 

Jerry,

Linksonderin op http://www.genver.nl/index.htm, de site van Jakkes staat een klikbaar mailadres oftewel een info@.... adres.

Leo Terlouw - 11 sep 2011 — 10:31

Leo, dankjewel voor je antwoord. Ik had het gevonden, een mail is onderweg.

Groeten,

Jerry

Jerry van Kooten - 11 sep 2011 — 11:37

Het gemiddelde formaat en de gemiddelde bestandsgrootte van de nieuw toegevoegde afbeeldingen is een stuk kleiner dan voorheen. De oude waren tegen de 5000 pixels (grootse zijkant), nu 'slechts' 2900. De bestandsgrootte is van 1.5 - 2.2 Mb naar 500 - 700 Kb gegaan. Op zich wel handig als je veel wil opslaan, natuurlijk. Da's ongeveer een derde...

Zijn er mensen die problemen hebben met de kleinere afbeeldingen? Of zijn de nieuwe afbeeldingen nog steeds groot genoeg voor iedereen?

Niet dat ik de nieuwe afbeeldingen kan vergroten natuurlijk, maar als de nieuwe voldoende formaat hebben, ga ik de oude om ruimte te besparen verkleinen tot hetzelfde formaat.

Jerry

Jerry van Kooten - 12 sep 2011 — 13:52

Een kleine maar volgens mij handige wijziging:

http://familie.jvkooten.info/fs/newlink.php

Je hoeft nu alleen maar de URL van de eerste afbeelding te plakken, het script zoekt dan in de XML het aantal afbeeldingen in de serie.

Die URL is de URL die http://www.genver.nl geeft. Ik zal mijn script nog iets uitbreiden zodat Jakkes vanaf GenVer direct naar mijn script kan linken.

Jerry

Jerry van Kooten - 13 sep 2011 — 12:32

Hallo Jerry,

jij schreef: " URL in je browser (opent flash-applicatie):

https://www.familysearch.org/pal:/MM9.3.1/TH-1-19031-35445-79?cc=1831469&wc=10712066

De flash-applicatie opent dit:

https://www.familysearch.org/search/proxy?uri=https%3A//www.familysearch.org/pal%3A/MM9.3.1/TH-1-19031-35445-79/meta%3Fcc%3D1831469%26wc%3D10712066"

Kan je uitleggen hoe je de URL van de flash-appl. hebt verkregen met firefox.

Met vriendelijke groet,

Harry

JH Bruger - 13 sep 2011 — 15:37

Bedankt hiervoor Jerry.

Fantastisch !!

<KNIP>

Leo Terlouw - 13 sep 2011 — 15:38

Jerry,

Even een aanvulling op mijn vorige bericht, de link naar Genver op je pagina moet je even aanpassen want gevnver.nl gaat niet werken.

Ik had je script geprobeerd in IE9 .... <KNIP>

Leo Terlouw - 13 sep 2011 — 16:00

Harry,

 

jij schreef: " URL in je browser (opent flash-applicatie):

https://www.familysearch.org/pal:/MM9.3.1/TH-1-19031-35445-79?cc=1831469&wc=10712066

De flash-applicatie opent dit:

https://www.familysearch.org/search/proxy?uri=https%3A//www.familysearch.org/pal%3A/MM9.3.1/TH-1-19031-35445-79/meta%3Fcc%3D1831469%26wc%3D10712066"

Kan je uitleggen hoe je de URL van de flash-appl. hebt verkregen met firefox.

Beetje verwarrend, omdat ik het iets heb gewijzigd. Het is nu simpeler.

Het is de URL zonder ?cc=... Dat is precies de URL die genver.nl geeft. Je hoeft dus niet eens meer de flash-applicatie te openen.

1. kopieer de link van het archief dat je wil hebben van genver.nl

2. plak die link in mijn script en klik op de button

3. het script leest de URL, haalt bijbehorende XML op en maakt een lijst van URLs van afbeeldingen op dezelfde pagina

4. gebruik je eigen downloadmanager om al die links te downloaden

Ik zie trouwens dat je een URL uit Firebug hebt gehaald (die met .../proxy?uri=https%3A...). Ik bedoel echt gewoon de URL uit de adresbalk van je browser. Maar zoals ik al zei is de link van genver.nl al voldoende.

Jerry

Jerry van Kooten - 13 sep 2011 — 16:13

Leo,

Even een aanvulling op mijn vorige bericht, de link naar Genver op je pagina moet je even aanpassen want gevnver.nl gaat niet werken.

 

Ik had je script geprobeerd in IE9 en de links naar de overige XML's waren in no-time geladen dus ik open Firefox om daar te gaan downloaden met DTA maar bij mij werkt je script niet in Firefox, zodra ik de "lees links" knop indruk wordt de regel blanco en gebeurt er verder niets.

Even gecheckt met Google Chrome, daar hetzelfde als in IE9, de links naar de overige XML's worden ook hier in no-time geladen.

Ja, ik had die typfout (gevnver.nl) al gezien. Ik zal 'm binnenkort aanpassen.

Ik gebruik alleen Firefox met DTA, ik had nog niet eens getest in andere browsers. Maar bij mij gaat het goed.

Ik snap wel wat je bedoelt, trouwens...Klik je echt op de knop of druk je op Enter?

Dat staat ook op mijn lijstje om aan te passen. Als je het form verstuurt wordt de pagina opnieuw geladen, wat er dan uitziet dat het veld leeg wordt gemaakt. Een klik op de knop zou niet het form moeten versturen maar een scriptje starten. Als je op Enter drukt wordt het form verstuurd. Zal ik aanpassen.

Als je wel op de knop klikt staat in Firefox misschien javascript uit of zo.

En bedank voor het compliment. Volgende stap is Jakkes vragen een link naar mijn script te maken met de URL als parameter. Dan hoef je niet eens meer de URL te knippen en te plakken...

Groeten,

Jerry

Jerry van Kooten - 13 sep 2011 — 16:18


 

Jerry,

Javascript is aan en het maakt niet uit of ik klik of op enter druk, er gebeurt gewoon niets.

Leo Terlouw - 13 sep 2011 — 16:34







Plaats een reactie

Om reacties (en nieuwe onderwerpen) te plaatsen op het Stamboom Forum dient u eerst in te loggen! Nog geen lid? Registratie is gratis en snel!


Inloggen Registreer nu