[Ustabilt] Feil med en lagringsenhet gir usammenhengende ustabilitet

Saken er under arbeid og oppdateres løpende:

11.08.2017: I natt feilet en lagringsenhet som holdt flere skrivebordsservere. Disse ble da stoppet og kunne ikke starte igjen. Vi jobber med å flytte vekk de berørte serverne og starte dem opp igjen.
Kl 08:05 skal alle tjenester kjøre som normalt. Vi jobber nå med å identifisere og korrigere årsaken til feilen.

19.08.2017: Vi opplever fremdeles noe symptomer på feilen. Eksperter er hentet inn for å feilsøke videre.

23.08.2017: Ny ustabilitet. Feilende komponent er funnet og det jobbes med å korrigere denne.
Som ledd i feilsøkingen er vi dessverre nødt til å skru av tilgang til tjenester i vedlikeholdsvinduet i kveld. Nærmere orientering gis de som er pålogget i tidsvinduet.

24.08.2017: Det oppleves fremdeles problemer for enkelte kunder.
Kl 08:30 var de fleste løsninger stabile, og det arbeides med å rette enkelte følgefeil.

28.08.2017: Feilende komponent er identifisert, og sannsynlig løsning planlagt. Nå venter vi bare på en tid med litt mindre belastning så den kan byttes med minimalt bryderi for brukere.

29.08.2017: Feilretting i datasenteret tar lenger tid enn forventet, og løsningen er i stor grad utilgjengelig i kveld mens det arbeides. Vi beklager ulempene det medfører.

03.09.2017: Vi opplever på nytt problemer med stabilitet på enkelte tjenester.

05.09.2017: Under en belastningstest på ettermiddagen var det en ny hendelse der en rekke servere ble påvirket av stabilitetsproblemer.

06.09.2017: Det oppsto nettopp en ny hendelse der en rekke servere ble påvirket. Vi jobber på å flytte tjenester vekk fra den ustabile enheten.

Vi jobber nå med å flytte data vekk fra hele lagringsløsningen som utpeker seg som synder. Dette gjøres primært på kveld/natt, men vil i noen tilfeller løpe ut over morgen der det er store sammenhengende datamengder. Under flytting vil det oppleves noe tregere respons på enkelte tjenester.

19.09.2017: Vi har igjen opplevd ustablitet i løpet av natten. feilretting ble påbegynt 06:45, men noen av de som er tidlig på har nok merket litt til dette før alt var på plass.