Duidelijkheid over weergegevens.nl

Discussieer mee over alles wat met het weer, weerkunde en de wereld eromheen te maken heeft
Plaats reactie
Sebastiaan
Berichten: 12244
Lid geworden op: 31-12-1977

Duidelijkheid over weergegevens.nl

Bericht door Sebastiaan » 04-05-2016 11:55

Recent was er wat onduidelijkheid over waarden van weergegevens. De ene dag zag ik 6,8 C staan voor de 3e decade van april. De volgende dag stond er 6,6 C. Ik heb contact gezocht met de eigenaar van de site. En zijn antwoord mag ik weergeven.

Dat kan zijn doordat het voorlopige gemiddelde van 30 april wordt gebaseerd op de 10- minutengegevens. Ik gebruik de gegevens van buienradar en dat zijn 'instantaneous values' momentane waarden, terwijl het KNMI alle waarden gebruikt. De KNMI-waarden zijn alleen normaal gesproken pas de volgende dag beschikbaar en worden op weergegevens geüpdate om 8,9,10 uur afhankelijk van wanneer het KNMI ze online heeft staan (gaat allemaal automatisch). De waarden van andere dagen worden misschien soms ook nog bijgesteld, dus zodra een maand voorbij is vraag ik ook nog een keer het hele bestand bij het KNMI op en laadt het in de database zodat alles altijd synchroon is.
Dit zal normaal gesproken een klein verschil zijn. Wat voor de decadegemiddelde temperaturen betreft zie ik dat de waarden worden geüpdate om 4 uur 's nachts. Dus toen je keek waren de de daggegevens al wel geüpdatet, maar de gemiddelden van decade, maand etc nog niet. Ik heb dat nu aangepast zodat de berekening van gemiddelden gebeurt om 10 uur 's ochtends, zodat het minder waarschijnlijk is dat de waarden verschillen.

Hier het precieze schema, kolom 1 is minuten, kolom 2 uren en sterretje betekent ieder interval.
1,7,13,19,25,31,37,43,49,55 * * * * write_10m.r
0 8,9,10,15 * * * write_day.r
0 4 * * * update_monthly_means.r

Van de 4 bij update_monthly_means.r heb ik nu dus een 10 gemaakt.
Laatst gewijzigd door Sebastiaan op 04-05-2016 23:03, 1 keer totaal gewijzigd.

Oud-forumlid
Berichten: 41

Re: Duidelijkheid over weergegevens.nl

Bericht door Oud-forumlid » 05-05-2016 10:22

Het daggemiddelde wordt berekend over 24 uurmetingen, te weten 01 UTC tm 00 UTC. In de zomer is dat in lokale tijd 03:00 tm 02:00. Gebruik van de 10-minutenmetingen is dus helemaal niet nodig. Misschien kan Weergegevens.nl de boel wat versimpelen.
Laatst gewijzigd door Oud-forumlid op 18-03-2018 22:02, 1 keer totaal gewijzigd.

Gerard
Berichten: 13570
Lid geworden op: 31-12-2004

Re: Duidelijkheid over weergegevens.nl

Bericht door Gerard » 05-05-2016 10:39

En de uurmetingen zijn het gemiddelde van 6 10-minutengemiddelden of 6 waarnemingen aan het eind van iedere 10 minuten? En 6 10-minutengemiddelden kan ook verder opgesplitst worden (hoeveel metingen per minuut, verder dan 1 Hz zal het wel niet gaan).

Oud-forumlid
Berichten: 41

Re: Duidelijkheid over weergegevens.nl

Bericht door Oud-forumlid » 05-05-2016 13:08

Een uurmeting is het 1-minuutgemiddelde over de minuut voorafgaand aan het hele uur. Voorbeeld: de uurmeting van 6 UTC is het minuutgemiddelde over 5:59:00 tót 6:00:00 UTC. Het minuutgemiddelde wordt weer bepaald uit vijf opeenvolgende 'samples' (steekproeven) met een interval van 12 seconden. In het voorbeeld is de uurmeting van 6 UTC in de kern dus opgebouwd uit deze vijf momentmetingen:

5:59:12
5:59:24
5:59:36
5:59:48
6:00:00

Het gebruik van alleen metingen op het hele uur heeft te maken met internationale afspraken, met het oog op vergelijkbaarheid van metingen tussen landen. Immers in Nederland meten we per 10 minuten, maar elders is uurlijks vaak het hoogst haalbare.
Laatst gewijzigd door Oud-forumlid op 05-05-2016 13:10, 1 keer totaal gewijzigd.

Gerben
Berichten: 16631
Lid geworden op: 08-09-2013

Re: Duidelijkheid over weergegevens.nl

Bericht door Gerben » 05-05-2016 14:17

Ben schreef:Een uurmeting is het 1-minuutgemiddelde over de minuut voorafgaand aan het hele uur. Voorbeeld: de uurmeting van 6 UTC is het minuutgemiddelde over 5:59:00 tót 6:00:00 UTC. Het minuutgemiddelde wordt weer bepaald uit vijf opeenvolgende 'samples' (steekproeven) met een interval van 12 seconden. In het voorbeeld is de uurmeting van 6 UTC in de kern dus opgebouwd uit deze vijf momentmetingen:

5:59:12
5:59:24
5:59:36
5:59:48
6:00:00

Het gebruik van alleen metingen op het hele uur heeft te maken met internationale afspraken, met het oog op vergelijkbaarheid van metingen tussen landen. Immers in Nederland meten we per 10 minuten, maar elders is uurlijks vaak het hoogst haalbare.


Men meet dus maar 48 sec van die laatste minuut. 5:59:01 zouden ze eigenlijk ook moeten meten om een volledige minuut te meten...

Oud-forumlid
Berichten: 41

Re: Duidelijkheid over weergegevens.nl

Bericht door Oud-forumlid » 05-05-2016 16:17

Dat zou betekenen dat er geen gelijkmatige interval is en door 5:59:00 mee te nemen ontstaat er overlap. Op deze manier wordt er consequent met regelmaat gemeten zonder te veel verlies aan nauwkeurigheid. In Nederland wordt tenminste nog een minuutgemiddelde berekend, veel landen geven uurlijks een enkele afgelezen waarde door (die dus gevoelig is voor zeer kortstondige flucuaties, die zo'n minuutgemiddelde eruit haalt).

Edward
Berichten: 1856
Lid geworden op: 30-04-2010

Re: Duidelijkheid over weergegevens.nl

Bericht door Edward » 05-05-2016 17:12

@Gerben: In dat opzicht lijkt me de reactietijd van de sensor op veranderingen van de luchttemperatuur meer van belang. Hiermee bedoel ik in dit geval de tijd die nodig is om bij een sensor die denkbeeldig in de ene kamer met een constante luchtsnelheid en temperatuur (T1) geplaatst wordt en vervolgens in de andere kamer met dezelfde constante luchtsnelheid en een andere temperatuur (T2), vanaf het moment van overplaatsing van T1 naar T2-(T2-T1)/e te stijgen/dalen.

Als die in dezelfde orde ligt (10-15 sec), dan telt de hele minuut ongeveer even zwaar mee. Als de reactietijd veel sneller is, zoals bij een eddy covariantie meetsysteem (orde een tiende van een seconde of nog wat sneller), dan telt inderdaad de periode 59:11,9-59:12,0 heel zwaar mee en de periode 59:11,8-59:11,9 al bijna niet meer; hetzelfde voor 59:24 etc. Als je met een Davis VP2 meet, dan is de reactietijd langer (orde 60-120 seconde) en telt in dezelfde omstandigheden voor 59:12 de periode vanaf minuut 58 al mee. Dus zolang de reactietijd van de sensor niet veel sneller is dan de sampling intervallen, dan gaat het goed. Het kan wel betekenen dat bij te lange reactietijd t.o.v. sampling interval, het beginmoment waarvan de eerste sample wordt gebruikt, zwaarder telt, doordat de invloed daarvan 12, 24 en 36 seconde later nog merkbaar is.

Pas als de sensor veel sneller is, mis je veel van de variantie en kan de middeling af gaan wijken van het werkelijke gemiddelde, als je bijvoorbeeld bij toeval vier, vijf keer een piekje te pakken hebt.
Ik neem aan dat het KNMI wel zorgt dat de reactietijd ongeveer overeenkomt met de sampling intervallen. Er zal vast ook wel iets over te lezen zijn in het Handboek Waarnemingen. Je kan met meer ingewikkelde methodes nog wel filteren om de reactietijd heen, maar ik zou niet weten of dat praktisch toepasbaar is, i.v.m. benodigde variabelen als windsnelheid rondom de sensor die benodigd kunnen zijn. Overigens wordt in een snel meetsysteem soms ultrasoon gemeten en dan krijg je dat er geen aanpassingstijd van het sensorelement bestaat, zoals in eddy covariantie systemen kan voorkomen.
Laatst gewijzigd door Edward op 05-05-2016 17:27, 1 keer totaal gewijzigd.

Oud-forumlid
Berichten: 61

Re: Duidelijkheid over weergegevens.nl

Bericht door Oud-forumlid » 02-08-2016 23:24

Vul hier je reactie in...
Ben schreef:Dat zou betekenen dat er geen gelijkmatige interval is en door 5:59:00 mee te nemen ontstaat er overlap. Op deze manier wordt er consequent met regelmaat gemeten zonder te veel verlies aan nauwkeurigheid. In Nederland wordt tenminste nog een minuutgemiddelde berekend, veel landen geven uurlijks een enkele afgelezen waarde door (die dus gevoelig is voor zeer kortstondige flucuaties, die zo'n minuutgemiddelde eruit haalt).


In de VS geldt het 5 minuten gemiddelde als een meetwaarde. Het lijkt erop dat men de traagheid van kwikthrmometers (aldaar) wil benaderen. Tsja...methodiek. Er zijn talloze redenaties tegenaan te gooien.

Verder richting Gerard: de nieuwe Davis sensoren hebben nu een reactietijd van > 2 s. De oude van 5 - 30 s. Maar dat is de sensor, niet de meting. De traagheid zit 'm verder natuurlijk in de constructie waarin de sensor zich bevindt.

De Davis was tot nu toe wel echt zo traagisch dat ik er wel genoeg van had. Heel toevallig dit weekeinde weer eens getest: Gewoon een Peetbros Ultimete 2100 sensor, een datalogger en een Davis (met SHT11 sensirion) in een Davis hutje gehangen. In een keer in de zon met de hut geschroefd aan een door de zon beschenen schutting. Het verschil bedroeg lange tijd 2 K. De datalogger en de Peet reageerden veel sneller, Zelfs even een vraagteken gehad of die twee misschien toch niet fout zaten (maar ik had al eerder vergeleken met een geijkte fatresponse datalogger en weet dat dit beslist niet zo is), Echt; 15 minuten nadat het maximum op de Peet en de datalogger was bereikt volgde uiteindelijk de Davis. De weg terug gebeurde natuurlijk weer hetzelfde.

De nieuwe Sensirion blijkt in te praktijk zoveel sneller dat ie bij diverse waarnemers veel grotere extrema registreert. Ook na bij-ijking vban -0,5K als deze sensor gekoppeld wordt aan stations van pre-2016. Ik las regelmatig verschillen van 4 F dus 2,2 C ongeveer. Dat is nogal wat. Men heeft het ook over een achtbaan...

Als dit geen defecte sensors betreft voor de waarnemers hier wellicht iets om rekening mee te houden...

Gerben
Berichten: 16631
Lid geworden op: 08-09-2013

Re: Duidelijkheid over weergegevens.nl

Bericht door Gerben » 18-03-2018 18:21

Ben schreef:Een uurmeting is het 1-minuutgemiddelde over de minuut voorafgaand aan het hele uur. Voorbeeld: de uurmeting van 6 UTC is het minuutgemiddelde over 5:59:00 tót 6:00:00 UTC. Het minuutgemiddelde wordt weer bepaald uit vijf opeenvolgende 'samples' (steekproeven) met een interval van 12 seconden. In het voorbeeld is de uurmeting van 6 UTC in de kern dus opgebouwd uit deze vijf momentmetingen:

5:59:12
5:59:24
5:59:36
5:59:48
6:00:00

Het gebruik van alleen metingen op het hele uur heeft te maken met internationale afspraken, met het oog op vergelijkbaarheid van metingen tussen landen. Immers in Nederland meten we per 10 minuten, maar elders is uurlijks vaak het hoogst haalbare.


Ted,
De volgende meting is volgens Ben om 12 sec over 1. Het 24e uur mag je niet meenemen naar de volgende dag....

Plaats reactie