stamboomforum

Forum logoFamilySearch » FS: downloaden?



Profiel afbeelding

FS heeft zoals jullie hebben gemerkt iets gewijzigd. Ik kan met mijn script de XML niet meer lezen, terwijl die wel in de browser op te vragen is. Ik zal eens kjiken of ik daar iets aan kan doen.

In de XML staat nu dit bovenaan:

COPYRIGHT WARNING Data accessible through the FamilySearch API is protected by copyright. Any programmatic access, reformatting, or rerouting of this data, without permission, is prohibited. FamilySearch considers such unauthorized use a violation of its reproduction, derivation, and distribution rights. Contact devnet (at) familysearch.org for further information.

Tja, programmatic access klopt natuurlijk wel. Reformatting - nee, dat is het niet. Rerouting - geen idee.

Het is mogelijk dat ze mijn domein blokkeren. Vrij makkelijk voor ze.

Als dat het probleem is, kan ik alleen nog maar een offline-versie maken die iedereen zelf moet draaien. Daarmee is iedereen ook zelf verantwoordelijk voor bovenstaande copyright-regel. En dat maakt het voor mij weer makkelijker, want ik wil natuurljk geen problemen met dit soort organisaties. ;)

Groeten,

Jerry

Jerry van Kooten - 22 sep 2011 - 09:13

opgelost 

Herman - 22 sep 2011 - 22:51

Same here. Ik krijg een 301 (moved permanently) als ik de XML via een script probeer te lezen, terwijl de XML wel in de browser te openen is. Misschien met een cookie te doen? Geen idee, te weinig ervaring mee.

Wat nog wel zou kunnen is een script dat de URLs van de XML ophaalt. Die kun je downloaden. En dan meer XMLs tegelijk uiteraard.

Dan een ander script dat uit een XML (of meer XMLs tegelijk, of een ZIP met XMLs) de urls voor de afbeeldingen genereert. Is dus twee stappen en wat omslachtiger.

Ik heb alleen voorlopig de tijd niet om hier aan te werken...

Jerry

Jerry van Kooten - 24 sep 2011 - 07:36

Ik heb mijn script een heel klein beetje aangepast:

http://familie.jvkooten.info/fs/newlink3.php

Het laat nu de URLs van de XMLs zien. Zo kun je bijvoorbeeld nog alle XMLs van een hele stad in één keer downloaden. Zoals ik al zei heb ik de tijd niet om de gedownloade XMLs om te zetten in lijsten URLs van afbeeldingen. Daar zou iemand anders in moeten springen.

Succes.

Jerry van Kooten - 24 sep 2011 - 07:44

Everardus Rollema - 24 sep 2011 - 11:27

opgelost 

Herman - 25 sep 2011 - 13:47

mag ik toch even een opmerking maken. Ik zag dat op de site van Jerry ook Raalte staat. Nu weet ik dat er op de site van FS inmiddels ook de huwelijksbijlagen e.d te vinden zijn. Hoe kan ik proberen om deze binnen te halen? Bij uitleg graag simpel uitleggen, ben nl niet zo'n computertechnisch als het erg de diepte ingaat qua uitleg.

Petra - 7 okt 2011 - 21:41

Hallo,

werkt dit script nog?

als ik de geboorten 1860 van de gemeente Dalen (Drenthe) probeer, krijg ik geen resultaat

of ik zoek verkeerd, hoe zoek ik?

Hans w - 8 okt 2011 - 16:23

kijkt u eens via deze link

http://www.genver.nl/

mvg

Elisabeth - 8 okt 2011 - 16:50

en dan? genver.nl ken ik

waar moet ik dan naar kijken?

Hans w - 8 okt 2011 - 16:52

Bij mij werkt het ook niet, maar ik las dat Jerry op dit moment weinig tijd heeft. Ik zou het ook graag uitproberen, want ik ben met een grote plaats bezig en als ik dit lees, moet het sneller gaan.

Ik laat me graag verrassen.

Vr. groet,

Rob

Rob Hubert - 8 okt 2011 - 21:54

Mochten er mensen zijn die al plaatsen gedownload hebben, dan hou ik me hiervoor aanbevolen.

Vr. groet,

Rob

Rob Hubert - 9 okt 2011 - 10:38

Helaas is het nu stil hier.

Is er ergens anders een nieuw draadje gestart

Wil nog steeds graag complete plaatsen downloaden

Hans w - 29 okt 2011 - 09:21

Hallo,

Het is nog steeds mogelijk complete plaatsen te downloaden. Ik doe dat via de methode die Jerry heeft beschreven in zijn  bericht in dit forum van Jerry van Kooten | 9 sep 2011 | 23:54

Succes ermee.

Robert Schrijnemakers - 30 okt 2011 - 10:49

Helaas,

Ik heb firefox + firebug geinstalleerd

Zie geen JSON staan in firebug

De stappen na 9 september 2001 23:54 (met script enz. ) lukken niet.

Ergens een beschrijving (stappenplan) beschikbaar? (zonder de discussie hier op het forum)

Hans w - 30 okt 2011 - 11:39

L.S.

dacht dat het kwam door wijzigingen bij FamilySearch, maar ook ik kan geen hele series images van allerlei plaatsen meer in een keer downloaden, hetgeen volgens Robert nog steeds zou kunnen.

In Firefox selecteer ik een film via de lijst op genver.nl. De url van de eerste image kopieer ik in http://www.familie.jvkooten.info/fs/newlink.php Als ik dan "Lees Links" aanklik, krijg ik nu:

"URL voor XML: /meta
Aantal afbeeldingen:
DGS:
alle afbeeldingen voor tussen 0 en -1:"

Enkele weken terug kreeg ik echter een lange lijst van images, die ik met DTA in een keer kon downloaden.

Met Weggemans ben ik dus ook razend benieuwd naar wat Robert (en anderen) doen om wel complete plaatsen te downloaden.

Met dank, Lei Coolen

Lei Coolen - 30 okt 2011 - 12:58

Nee, Jerry's Newlink werkt niet meer.

Maar zijn eerdere suggestie wel.

Aldus Jerry:

Ik heb iets gevonden... Als je met Firebug de JSON bekijkt die de flash-applicatie opvraagt krijg je dit...

URL in je browser (opent flash-applicatie):

https://www.familysearch.org/pal:/MM9.3.1/TH-1-19031-35445-79?cc=1831469&wc=10712066

De flash-applicatie opent dit:

https://www.familysearch.org/search/proxy?uri=https%3A//www.familysearch.org/pal%3A/MM9.3.1/TH-1-19031-35445-79/meta%3Fcc%3D1831469%26wc%3D10712066

En de JSON van die laatste URL is dit:

{"properties":[{"value":"553","type":"org.familysearch.records.image_count"},{"value":"https://www.familysearch.org/pal:/MM9.3.1/TH-1-19031-34973-84?cc=1831469&wc=10712066","type":"org.familysearch.records.next_image"}],"language":{"value":"en-US"},"type":"IMAGE","identifier":{"value":"https://www.familysearch.org/pal:/MM9.3.1/TH-1-19031-35445-79?cc=1831469&wc=10712066"},"format":{"value":"application/sord+xml"},"title":[{"value":"Netherlands, Civil Registration, 1792-1952; Image dgs:004739761.004739761_01242","lang":"en-US"}],"creator":["das.familysearch.org"],"isPartOf":{"offsetInParent":0,"type":"CONTAINER","identifier":{"value":"https://api.familysearch.org/records/waypoint/10712066"},"title":[{"value":"Huwelijksbijlagen 1809-1824","lang":"en-US"}],"isPartOf":{"offsetInParent":19,"type":"CONTAINER","identifier":{"value":"https://api.familysearch.org/records/waypoint/10681655"},"title":[{"value":"Eijsden","lang":"en-US"}],"isPartOf":{"offsetInParent":27,"type":"CONTAINER","identifier":{"value":"https://api.familysearch.org/records/waypoint/10680829"},"title":[{"value":"Limburg","lang":"en-US"}],"isPartOf":{"offsetInParent":5,"type":"CONTAINER","identifier":{"value":"https://api.familysearch.org/records/collection/1831469/waypoints"},"title":[{"value":"Netherlands, Civil Registration, 1792-1952; Waypoints","lang":"en-US"}],"isPartOf":{"type":"COLLECTION","identifier":{"value":"https://api.familysearch.org/records/collection/1831469"},"title":[{"value":"Netherlands, Civil Registration, 1792-1952","lang":"en-US"}]}}}}},"rights":"<?xml version=\"1.0\" encoding=\"UTF-8\" standalone=\"yes\"?><elias-v1:eliasLinkAuthInfoList xmlns:elias-v1=\"http://api.familysearch.org/elias/v1\"><elias-v1:linkAuthInfo provider=\"familySearch\" url=\"https://familysearch.org/pal:/MM9.3.1/TH-1-19031-35445-79\"><elias-v1:authResult actionGroup=\"view\" permission=\"DasPrmViewAfbeeldingen zijn alleen zichtbaar als u bent ingelogd op het Stamboom Forum

WK-unrestricted\"><elias-v1:authorized>true</elias-v1:authorized><elias-v1:failedRoles/><elias-v1:restricted>false</elias-v1:restricted></elias-v1:authResult></elias-v1:linkAuthInfo></elias-v1:eliasLinkAuthInfoList>", "oneBased":false}

Belangrijkste deel daaruit is dit:

Image dgs:004739761.004739761_01242

Hiermee kun je de volgende URL maken:

https://das.familysearch.org/das/v1/dgs:004739761.004739761_01242/$dist

...

Nu moeten we nog een manier vinden om een lijst te maken van alle images. De image count is 553 en dit image nummer is 1242, dus op deze film stonden meer collecties. Vaak loopt het wel door, dus als de eerste 1242 is, is de laatst 1242 + 553...

Tot zover Jerry.

Als je vervolgens die URL verandert in

https://das.familysearch.org/das/v1/dgs:004739761.004739761_[01242:01795]/$dist

en daarmee naar DownThemAll gaat kun je de hele film in een keer downloaden.

groeten

Robert

Robert Schrijnemakers - 30 okt 2011 - 13:52

Het lukt mij nog niet om de json te achterhalen

Hans w - 30 okt 2011 - 15:28

Ja, ook nieuwsgierig hoe je die sjon moet ophalen. Helaas niet zo bedreven in (java)scripts, zoals meer download-lustigen, denk ik.

Met dank, Lei Coolen

Lei Coolen - 1 nov 2011 - 15:02


Ik zou het ook graag willen weten. Ben ook geen kijk in dit soort termen, maar wil wel graag downloaden :-)

Vr. groet,

Rob

Rob Hubert - 1 nov 2011 - 15:34







Plaats een reactie

Om reacties (en nieuwe onderwerpen) te plaatsen op het Stamboom Forum dient u eerst in te loggen! Nog geen lid? Registratie is gratis en snel!


Inloggen Registreer nu