Storing: zondag 3 januari algemene storing – opgelost
Gepubliceerd op 3 January 2021
5 jan 2021 14:00 – hoofdoorzaak en oplossing
De oorzaak van de storing afgelopen zondag lag niet in onze interne systemen, maar in het bereiken van een prestatielimiet bij onze cloudprovider. Dat heeft een uitvoerige analyse van de storing aan het licht gebracht. Sinds begin december zijn steeds meer kijkers geleidelijk aan doorverwezen naar het distributienetwerk (CDN) van onze cloudprovider. Dit is nodig om grote aantallen kijkers goed te kunnen bedienen. Afgelopen zondag werden alle kijkers doorverwezen naar het CDN. Helaas werd daardoor een prestatielimiet bereikt waardoor er fouten ontstonden bij het afspelen van live uitzendingen en opnames. Deze fouten zorgden voor een sneeuwbaleffect met een overbelasting van onze website tot gevolg. We zijn in contact met onze cloudprovider om de limiet voor a.s. zondag ruim voldoende te verhogen. Hiermee verwachten we de hoofdoorzaak van de storing van afgelopen zondag op te lossen.
3 jan 2021 12:27 – mogelijke oorzaak gevonden
Een van onze interne systemen voor de administratie van beeld-uitzendingen is vanmorgen overbelast geraakt. Dit heeft een sneeuwbal-effect gehad waardoor andere systemen overbelast raakten. We gaan maatregelen nemen om het desbetreffende systeem automatisch te laten opschalen. Het (tijdelijk) bijschakelen van extra capaciteit heeft in ieder geval gezorgd voor een sneller herstel van een normaal functionerend systeem. Desalniettemin een vervelende storing waarvoor onze welgemeende excuses.
3 jan 2021 10:27 – systemen functioneren weer normaal
De grote belasting op onze servers is afgezakt en door het bijschakelen van capaciteit is de storing voorbij. De systemen werken weer naar behoren. We onderzoeken de oorzaak van de storing en nemen actie om dit voor de toekomst te voorkomen.
3 jan 2021 10:16 – extra capaciteit bijgeschakeld
Er is vanmorgen een onevenredig grote belasting op onze website. We hebben extra capaciteit bijgeschakeld. De verwachting is dat de druk op onze systemen nu gaat afnemen en de website weer beter bereikbaar wordt.
3 jan 2021 10:05 – melding algemene storing
Er is op dit moment een algemene storing. We werken aan een oplossing en onderzoeken de oorzaak.