166-Amazon AWS CLI Open Data Metafiles in een database inlezen

Getting the iNaturalist AWS Open Data metadata files and working with them in a database

  1. Ophalen metadata files vanaf Amazon AWS (metCommand Line Interface)
  2. Selecteren Data in SQLite database (using DB Browser)
  3. Work with the data in a SpatiaLite database (using QGIS and DB Browser)

Open DataSet met Taxonomie gegevens

As you may have heard, iNaturalist officially launched its “iNaturalist Licensed Observation Images” open dataset on AWS on 15 April 2021. Most of the dataset consists of CC-licensed and non-copyrighted images from observations in iNaturalist, but there are also 4 metadata files that go along with these image files which provide additional information about the photos, associated observations, associated observers, and iNaturalist’s taxonomy.
https://forum.inaturalist.org/t/getting-the-inaturalist-aws-open-data-metadata-files-and-working-with-them-in-a-database/22135
https://www.youtube.com/results?search_query=tiny+world

Open DataSet met Taxonomie gegevens

https://carto.com/platform/
This is because the annotations are specific to different types of organisms. You need a more refined ID to have different life stage options because different types of insects have different life stages.

  1. Tips & Tricks with iNat data in Excel combined with Useful API Endpoints
    iNaturalist actually offers 3 APIs right now (as of early 2021). The table below summarizes them and includes documentation links that provide detailed information about each API, including lists of endpoints and associated parameters. Unless otherwise noted, for the rest of this tutorial, we’ll discuss only the v1 API, since it’s the current one.

  2. Use Excel for iNaturalist data 2 workflows:
    Filter for observations in the Explore page, and copy the count of observations, species, or observers from the screen to Excel. To get counts by group (ex. observation count by month), vary the filter criteria in the Explore page for each member of the group (ex. for month, January, February, March, etc.), and collect each variation’s count(s) in Excel.

  3. Export observation details as a CSV and then aggregate the data in Excel (using the COUNT/COUNTIF function, PivotTables, etc.) to get either a total count (of observations, species, or observers) or a count by group (ex. obs count by observer, obs count by species, etc.)


  4. https://forum.inaturalist.org/t/using-excel-api/22378


  5. Tips & Tricks MAPPINESS Create Maps using iNaturalist
    The iNaturalist API provides 3 kinds of polygon tiles and 4 kinds of observation tiles, as summarized below. (There are also 4 kinds of UTF grids that each pair with an observation tile set, but those are beyond the scope of this tutorial and so will not be covered here.)
    Each individual map tile can be retrieved via a specific API request URL. The request templates noted above have various items in curly braces (ex. {z}) which are replaced by appropriate values when making an actual API request. Additional parameters can be added to the end of the request template / URL to apply additional filters.
    https://forum.inaturalist.org/t/in-pursuit-of-mappiness-part-1/21864

  6. Tips & Tricks with Amazon AWS metadatafiles CC0
    How to download the metadata files, as well as describe how to work with the data in a SQLite (/SpatiaLite) database. (PostgreSQL is a very fine DBMS that can handle some really complex things, but SQLite may be easier for even beginners to use and will still provide plenty of power for most use cases.)

    TUTORIAL metadata files from AWS:

    1. Get the metadata files from AWS (using AWS CLI)
    2. Work with the data in a SQLite database (using DB Browser)
    3. Work with the data in a SpatiaLite database (using QGIS and DB Browser)
    4. Additional notes
    5. https://forum.inaturalist.org/t/getting-the-inaturalist-aws-open-data-metadata-files-and-working-with-them-in-a-database/22135


  7. 15 April robuust, veerkrachtig en stuurbaar watersysteem: het verhaal van de Aa,
    Verhaal van de Aa is de vierde in een reeks webinars over infiltratie, waterconservering en waterbuffering in beekdallandschappen. De organisatie is wederom in handen van de CoP Beken en Rivieren, die wordt ondersteund door STOWA.
    https://www.stowa.nl/agenda/webinar-cop-beken-en-rivieren-naar-een-robuust-veerkrachtig-en-stuurbaar-watersysteem-het
    webinars over infiltratie, waterconservering en waterbuffering in beekdallandschappen. De organisatie is wederom in handen van de CoP Beken en Rivieren, die wordt ondersteund door STOWA.

    https://www.stowa.nl/agenda/webinar-cop-beken-en-rivieren-naar-een-robuust-veerkrachtig-en-stuurbaar-watersysteem-het


  8. Webinar - 21.04.21 - Een sterker Europa in de wereld, Europa - Tom Vandenkendelaere - Europees buitenlands beleid


    Webinar - 21.04.21 - Een sterker Europa in de wereld, Europa - Tom Vandenkendelaere - Europees buitenlands beleid


  9. De Nacht van de Filosofie 2021
    Dit jaar beleef je de Nacht van de Filosofie online! Met boeiende lezingen, te gekke kunst, kritische columns en interessante interviews. Deze keer staat het thema ‘De natuur was hier’ centraal. Het online evenement is gratis te volgen.

    Over het thema ‘De natuur was hier’
    Diersoorten sterven uit, onze grond verschraalt en bossen staan in brand. Door de overwoekering van de mens verdwijnt de natuur op rap tempo. Filosofen noemen dit tijdperk Antropoceen, oftewel het tijdperk van de mens. Overal waar wij komen laten we onze voetsporen achter. We laten plastic slingeren, lozen olie in de zee en leven momenteel met een dodelijk virus. Maar wie zijn wij ten opzichte van de natuur?

    Is er een verschil tussen menselijke en niet-menselijke natuur? Verdient de mens een aparte status ten opzichte van andere soorten? Is het leven van een boom, dier of rivier net zo belangrijk als een mens?

    Genoeg voer voor wetenschappers, filosofen en kunstenaars voor een avondje online filosoferen. In verschillende settings word je getrakteerd op muziek, talks en interviews. Zo vanaf je scherm de huiskamer in.


    De Nacht van de Filosofie 2021


  10. Bat Talk Gardening Echo-Meter-Touch-Detector
    Conservation Communities Project Bat Talk, here is the link to the recording:
    https://youtu.be/MlKGP2p9hZA
    Helen previously worked on the Devon Greater Horseshoe Bat Project. She has offered to share her knowledge of bats found in Devon, and talk about how bats represent a whole ecosystem and food web.
    Helen will show us ways in which we can help bat populations in our local area and changes we can make to our everyday gardening that will benefit these mammals.

    Helen previously worked on the Devon Greater Horseshoe Bat Project. She has offered to share her knowledge of bats found in Devon, and talk about how bats represent a whole ecosystem and food web.
    Helen will show us ways in which we can help bat populations in our local area and changes we can make to our everyday gardening that will benefit these mammals.
    Here are some of the details Helen mentioned during the talk and discussion:
    https://www.amazon.nl/Echo-Meter-Touch-Detector-Android
    The Echo Meter Touch 2 turns your Android smartphone or tablet into a state-of-the-art bat detector. This tiny device plugs directly into the micro-USB socket of your phone or tablet and, when used with the free app, will let you listen to, view, record, and identify the sounds made by the bats that you encounter.


  11. “British Bat Calls – A Guide to Species Identification” by Jon Russ (published by Pelagic Publishing). This covers all UK bat calls plus some of the more common social calls.

  12. If you want to get serious i.e. understand bat social calls and ultrasonic calls, then you should also get Middleton’s “Social Calls of the Bats of Britain and Ireland” and “Is That A Bat?” (also by Pelagic Publishing).

  13. FSC (Field Studies Council) Guide: Bats guide – Field Studies Council (field-studies-council.org)

  14. Bat project website - https://devonbatproject.org/

  15. Action for Insects campaign – https://www.wildlifetrusts.org/take-action-insects

  16. Wild About Gardens - https://www.wildaboutgardens.org.uk/

  17. Moor meadows - https://moormeadows.org.uk/

  18. Meadow leaflet – see attached

  19. Seed suppliers;

    Emorsgate (Norfolk based) - https://wildseed.co.uk/
    Goren Farm (East Devon) - https://www.goren.co.uk/
    Organic seeds (Devon based) - https://www.organiccatalogue.com/seeds



  20. David Attenborough’s Ant Mountain


  21. Secret Life Underground (especially the 2nd episode)

  22. Secret Life of Lakes

  23. Tales of Nature

  24. Chasing Coral

  25. Mission Blue

  26. BBC ‘Expedition’ series: I can’t find these streaming anywhere, and BBC doesn’t seem to market them very well so they tend to get lost in a pile of ‘just average’ TV specials, but these are some of my absolute favorites. See: Expedition Borneo, Lost Land Collection, and The Dark: Nature’s Nighttime World.

  27. Introductie tot Plantengemeenschappen door Joop Schaminée
    1- Het Hoe en waarom van Plantenkundig Onderzoek (45min)
    2- Tijdslijn, Hoe heeft het Plantengemeenschappen en Sociologisch Onderzoek zich ontwikkeld heeft

    Op donderdag 22 april 2021 verzorgde Joop Schaminée een online lezing op uitnodiging van de SJOC (plantensociologische werkgroep van de NJN), het eerste deel van de lezing ging over "plantensociologisch onderzoek, het hoe en waarom?" o.a. plantgemeenschappen en vegetatieopname kwamen aan bod, het tweede deel ging over de geschiedenis van het planten sociologisch onderzoek.
    De aankondiging van de lezing met nog wat meer achtergrondinformatie:
    "Als je op excursie graag een Aardbeiklaver wilt zien, zoek je niet in het bos. En wie wel eens met de Sjoc meegaat weet dat je Beenbreek en Brandnetel niet snel naast elkaar zal zien staan. Als je wat langer naar planten kijkt valt het je al snel op dat sommige planten vaak samen voorkomen. Dit noemen we plantengemeenschappen. Deze plantengemeenschappen kan je beter bekijken door een vegetatieopname te maken, waarbij je in een proefvlak opschrijft hoeveel elke soort daar voorkomt. Maar waarom zou je dat willen? Daar gaat Joop Schaminée, hoogleraar vegetatie ecologie bij Wageningen University and Research, ons vanavond alles over vertellen. Elke plantengemeenschap is specifiek voor een bepaalde omgeving, dus als je eenmaal leert om naar groepen planten te kijken kan je de natuur om je heen steeds beter gaan begrijpen."
    Introductie tot Plantengemeenschappen door Joop Schaminée



  28. Mucky Secrets (full) - The Marine Creatures of the Lembeh Strait
    The Lembeh Strait is a popular scuba diving destination, famed for its excellent "muck diving". A huge diversity of exotic marine creatures can be found on the mucky seabed, including everything from tropical fish to benthic sharks to nudibranchs. Critters compete for survival with an armoury including camouflage, mimicry, toxicity, and dazzling coloration.

    "Mucky Secrets" is an excellent resource for scuba divers, aquarists, and marine biology students. The documentary features underwater macro footage from many of Lembeh's famous dive sites including Critter Hunt, Police Pier, Tanjung Kusu-Kusu, Nudi Falls, Aer Perang, Jahir, Makawide, Nudi Retreat, Retak Larry, TK (Teluk Kembahu), Hairball and Aw Shucks.

    There are subtitles/CC tracks for the narration and for the scientific and common names of the marine species, and dive site names.

    Watch the 4-minute prologue video at http://www.youtube.com/watch?v=hcgT_e...​

    Marine life featured:
    0:00:00​ Introduction
    0:05:11​ Corals
    CRUSTACEANS
    0:07:29​ Commensal shrimps (partner shrimps)
    0:09:12​ Emperor shrimp
    0:11:07​ Mantis shrimps

    ELASMOBRANCHS
    0:17:11​ Blue spotted stingrays
    0:18:15​ Brownbanded bamboo shark


  29. De ontwikkelingen rondom de muurhagedis in Maastricht.

    De ontwikkelingen rondom de muurhagedis in Maastricht.
    Afgelopen jaren zijn er veel compensatiemaatregelen getroffen in het leefgebied van de muurhagedis. Zoals ook Belvédèreberg, Belvédèrelaan, Thomas Regout, koppelstuk Hoge en Lage Fronten enz.

    Ze zal ook ingaan op welke maatregelen allemaal zijn genomen en hoe die er uit zien. Hoe gaat het nu met de populatie, hoe is de verspreiding nu? En hoe nu verder?


  30. MISS PODCAST HILCO "Otter In De Stad" , "Noorderplantsoen" Vijf jaar lang lag de bioloog in de bosjes om een documentaire te maken over één van de meest schuwe dieren die ons land (sinds kort weer!) rijk is te filmen: de otter. Velen verklaarden hem voor gek. Maar het leverde een uniek ontroerende film op over dit bijzondere beest. Hilco over zijn leven onder de ottersteen, wat hem bezielde en zijn terugkeer naar de gewone mensenwereld, waar podcasts opeens een 'ding' zijn.
    https://www.nporadio1.nl/podcasts/miss-podcast/1408276-324-milou-in-gesprek-met-hilco-jansma


  31. Ook in het Alumnimagazine 'Broerstraat 5' van de Rijksuniversiteit Groningen verscheen een artikel over de otter met daarin een interview over mijn documentaire. Grinning faceOtter (https://lnkd.in/gRUDVsM)
    Wederom geschreven door Nienke Beintema die mij eerder ook interviewde voor het NRC.

  32. https://www.natuurfotografie.nl/fotos-verscherpen-met-topaz-sharpen-ai/
    "Niet op Putin gaan zitten"
    https://www.youtube.com/watch?v=7Tn-zzJfsIQ&t=3000s
    https://www.facebook.com/BotaniskForening/videos/1901436966691341

    166-Amazon AWS CLI Open Data Metafiles in een database inlezen

    Posted on 26 de maio de 2021, 09:47 PM by ahospers ahospers

    Comentários

    Nenhum comentário ainda.

    Adicionar um Comentário

    Iniciar Sessão ou Registar-se to add comments