1. Johdanto

Kysy IT-osastolta, kuinka sillä menee, ja se vastaa omalla kielellään: käytettävyys kolmen ysin tasolla, palvelupiste tavoitteidensa sisällä, migraatio aikataulussa, auditointi läpäisty, tiekartta suunnitelman mukaan. Kysy niiltä ihmisiltä, joita palvellakseen osasto on olemassa, kuinka IT:llä menee, ja vastaus on aivan toisella kielellä: se mitä he tarvitsivat kesti viikon, uudessa portaalissa on yksi vaihe enemmän kuin vanhassa, raportti jonka varassa he elävät on laskentataulukko, jota he pitävät järjestelmän ulkopuolella, ja nopein tapa saada mitään tehtyä on tuntea joku. Molemmat vastaukset voivat olla totta yhtä aikaa, ja kun ne ovat, osastolla on tila, jonka tämä artikkeli nimeää ja jonka se erittelee: se on kääntynyt sisäänpäin ja ottanut oman maailmansa maailmaksi.

Lainaamme sanan solipsismi tarkoituksella. Filosofiassa se on kanta, jonka mukaan vain oman mielen olemassaolo on varmaa ja kaikki muu on päätelmä, joka voisi olla virheellinen. Organisaatio ei voi kirjaimellisesti pitää tätä uskomusta, mutta se voi käyttäytyä ikään kuin pitäisi. IT-osasto käyttäytyy solipsistisesti silloin, kun sen omat tuotokset — järjestelmät joita se ylläpitää, mittarit joita se seuraa, tiekartta jota se puolustaa, arkkitehtuuri jota kohti se rakentaa — muuttuvat niiksi asioiksi, joita se kohtelee todellisina, ja käyttäjistä, työstä ja lopputuloksista tulee päätelmä, jonka se johtaa omista mittausvälineistään, enimmäkseen tiketeistä. Päätelmä on häviöllinen, eikä osasto huomaa häviötä, koska mittarit näyttävät jatkuvasti vihreää. Tämä ei ole tyhmyyttä, ja se on harvoin vilpillisyyttä. Se on luonnollista ajautumista missä tahansa ryhmässä, jota mitataan sen oman toiminnan perusteella, joka on eristetty palvelemistaan ihmisistä tikettien ja asiakasvastaavien kerroksella ja jota palkitsee hierarkia, joka näkee samat sisäänpäin kääntyneet luvut kuin se itse.

Kaava ei ole erityinen IT:lle. Se on yleisesti tunnustettu organisaatioiden epäonnistuminen, jota kutsutaan joskus yritysmaailman solipsismiksi: yritys, joka toimii ikään kuin sen brändi, sen mittarit ja sen sisäiset tavoitteet olisivat sen asiakkaiden elämän keskipiste, menettäen kosketuksen muuriensa ulkopuolella oleviin ihmisiin ja todellisuuksiin. Markkinointikampanja, joka ihastuttaa hallitusta ja kuolee markkinoilla, uudelleenjärjestely, joka optimoi organisaatiokaavion muttei työtä, pakkomielle korkean tason hallintaan abstraktiosta samalla kun liiketoimintaa pyörittävä ruohonjuuritason työ sivuutetaan — kaikki ovat samaa sisäänpäin kääntymistä. Tämä artikkeli siirtää tuon kaavan IT-osastoon, jossa sillä on omat tunnusomaiset muotonsa, omat itsepetoksen välineensä ja, kuten tulemme esittämään, oma parannuskeinonsa.

Kontribuutio on sanasto ja pieni malli, ei uusi teoria. Sanasto on neljä ilmenemismuotoa (luku 3), joista jokainen on jonkin yritysmaailman alkuperäismuodon IT-versio. Malli (luku 4) erottaa liiketoiminnan toteuttaman arvon osaston laskemasta työstä ja osoittaa mekanismin — virhekysynnän — jonka kautta nämä kaksi voivat liikkua vastakkaisiin suuntiin, niin että osasto näyttää terveimmältä koontinäytöillä juuri siellä, missä se palvelee huonoiten. Mallista luemme joukon varhaisvaroitusindikaattoreita ja niiden ulospäin suuntautuvat korvaajat (luku 5). Artikkelin kysymys on siis: kuinka IT-osasto päätyy erehtymään pitämään omia mittausvälineitään palvelemanaan liiketoimintana, kuinka se voi sen havaita ja kuinka se kääntää linssin takaisin ulospäin?

Artikkeli on kirjoitettu Alankomaiden tilannetta varten, joka osoittaa kaavan poikkeuksellisen selkeästi (luku 6). Alankomaiden IT-hallinnon jäsentävä idea viimeisen viidentoista vuoden ajalta — regieorganisatie, joka erottaa kysyntäorganisaation toimittavasta organisaatiosta — institutionalisoi juuri sen etäisyyden osaston ja työn välillä, joka ruokkii sisäänpäin kääntymistä; ja vuosikymmenen mittaiset julkiset arvioinnit, parlamentaarisesta ICT-tutkinnasta sitä seuranneeseen pysyvään arviointielimeen, ovat suurelta osin kirjaus julkisista IT-hankkeista, jotka palvelivat omaa logiikkaansa kansalaisen sijaan. Luku 7 seuraa rakennettua tapausta. Luvut 8–11 esittävät parannuskeinon, vastaavat vastaväitteisiin, kertovat rajoitukset ja tekevät johtopäätökset.

2. Tausta ja aiempi tutkimus

2.1 Solipsismi organisatorisena metaforana

Se, että organisaatiot menettävät kosketuksen ulkopuoleensa, on vanha havainto monen eri nimen alla. Janis (1972) kuvasi ryhmäajattelun, kiinteän ryhmän taipumuksen päätyä näkemykseen, joka säilyttää ryhmän oman sopusoinnun todellisuudentestauksen kustannuksella. Beer (1979) rakensi koko johtamisen kybernetiikan periaatteelle, jonka mukaan organisaatio on elinkelpoinen vain, jos sen sisäistä maailmankuvaa korjaavat kanavat, jotka tuovat ulkopuolen sisään, ja että se epäonnistuu, kun nuo kanavat surkastuvat; hänen lauseensa, että järjestelmän tarkoitus on se, mitä se tekee, eikä se, mitä se sanoo tekevänsä, on se diagnostiikka, jota tämä artikkeli soveltaa koontinäyttöihin. Weick (1995) osoitti, kuinka organisaatiot toteuttavat ympäristön, jonka ne sitten ottavat annettuna, niin että sisäänpäin kääntynyt yksikkö ei vain lue maailmaansa väärin vaan osittain valmistaa lukemat itse. Kukaan näistä kirjoittajista ei kirjoittanut IT-osastoista, mutta kukin heistä kuvasi mekanismin, jonka kautta ryhmä päätyy elämään oman tulkintansa sisällä.

2.2 Sisäinen näkökulma ja ulkoinen näkökulma

Tarkimman kuvauksen tästä kognitiivisesta virheestä esittävät Kahneman ja Lovallo. Sisäinen näkökulma ennustaa hanketta itse hankkeen yksityiskohdista — suunnitelmasta, tiimistä, Gantt-kaaviosta; ulkoinen näkökulma ennustaa sitä samankaltaisten hankkeiden historiasta, joista useimmat myöhästyivät (Lovallo & Kahneman, 2003). Sisäinen näkökulma tuntuu tarkemmalta, koska se rakentuu siitä, mitä suunnittelija näkee, ja se on luotettavasti väärässä, koska se minkä suunnittelija näkee, on osaston oma koneisto eikä maailman perustaso. IT-osasto, joka suunnittelee, mittaa ja raportoi sisäisestä näkökulmasta, on solipsistinen juuri teknisessä mielessä: se päättelee omasta sisällöstään ja kohtelee ulkopuolta päätelmänä. Parannuskeino, jota kirjoittajat ehdottavat — ankkuroituminen ulkoiseen historiaan — on se parannuskeino, jota tämä artikkeli ehdottaa mittareille.

2.3 Arvo sellaisena kuin käyttäjä sen kokee

Rinnakkainen kirjallisuus korostaa, ettei arvoa luo ja toimita tarjoaja, vaan sen toteuttaa käyttäjä käytössä. Palvelukeskeinen logiikka (Vargo & Lusch, 2004) esittää asian yleisellä tasolla: tarjoaja voi vain tehdä arvolupauksen, ja arvon luo yhdessä ja määrittää hyödynsaaja omassa kontekstissaan. Jobs-to-be-done -perinne tekee siitä käytännöllisen: ihmiset eivät halua tuotetta, vaan he palkkaavat sen edistämään tehtävää, joka nousee heidän elämässään, ja analyysiyksikkö on tehtävä, ei tuote (Christensen et al., 2016; Ulwick, 2005). Von Hippel (1986) osoitti, että käyttäjät tarpeen eturintamassa ovat usein parempi lähde sille, mitä pitäisi rakentaa, kuin tarjoajan oma suunnittelu. Normanin (2013) suunnitteluperinne sanoo saman käytön puolelta: järjestelmä tulisi muotoilla käyttäjän tavoitteiden ja hänen tehtävänsä rakenteen ympärille, ja järjestelmä, joka on muotoiltu tarjoajan oman itsekuvan ympärille, on vakiotapa tuottaa jotakin käyttökelvotonta. Yhdessä luettuina nämä sanovat, että IT-osaston tuotos ei ole järjestelmät vaan se työ, jonka nuo järjestelmät antavat ihmisten tehdä, ja ettei osasto voi nähdä tuota tuotosta sisältäpäin.

2.4 Kuilu suunnitelman ja työn välillä

Lopuksi tietojärjestelmien tutkimusperinne on toistuvasti dokumentoinut, että muodollinen järjestelmä ja todellinen työ erkanevat toisistaan ja että juuri tässä erkanemisessa arvo elää tai kuolee. Suchman (1987) osoitti, että inhimillinen toiminta on tilannesidonnaista, improvisoitua hetken yksityiskohtia vasten ja vain löyhästi niiden suunnitelmien ohjaamaa, joiden on tarkoitus ohjata sitä, niin että suunnitelmasta rakennettu järjestelmä sopii huonosti työhön. Ciborra (2002) kuvasi, kuinka todelliset tietojärjestelmät ajautuvat suunnittelijoidensa aikomuksista, kun ihmiset saavat ne toimimaan paikkailun ja kiertoratkaisujen avulla, ja esitti, että kiertoratkaisu on dataa yhteensopimattomuudesta, ei tottelemattomuutta. Markus (1983) ja Keen (1981) osoittivat, että käyttäjän vastarinta järjestelmää kohtaan on yleensä rationaalinen reaktio siihen, kuinka järjestelmä jakaa uudelleen vaivaa ja valtaa, ja siksi signaali, jota tulee lukea, eikä este, joka tulee voittaa. Orlikowski (2000) muotoili teknologian uudelleen joksikin, joka rakentuu käytössä sen sijaan, että se olisi ruumiillistunut itse tuotokseen. Yhteinen löydös on, että IT-järjestelmän perustotuus on sitä käyttävien ihmisten käsissä, mikä on juuri se paikka, johon solipsistinen osasto ei katso. Varjojärjestelmät, jotka tästä seuraavat — laskentataulukot ja hyväksymättömät työkalut — ovat muodostuneet omaksi tutkimusalakseen (Haag & Eckhardt, 2017); luemme niitä luvussa 3 selkeimpänä viestinä, jonka liiketoiminta lähettää yhteensopimattomuudesta, ja viestinä, joka useimmin kuullaan väärin.

3. Neljä ilmenemismuotoa

Nimeämme neljä muotoa, jotka sisäänpäin kääntyminen saa IT-osastossa. Ne menevät päällekkäin ja vahvistavat toisiaan, mutta kullakin on oma erottuva paljastava merkkinsä, ja niiden nimeäminen erikseen antaa osastolle mahdollisuuden löytää, mikä niistä sillä on. Taulukko 1 asettaa kunkin sen yritysmaailman alkuperäismuodon ja sen ruohonjuuritason merkin rinnalle.

3.1 Keskeisyysharha

Ensimmäinen ilmenemismuoto on käsitys, että liiketoiminta ajattelee IT:tä suunnilleen yhtä paljon kuin IT ajattelee itseään. Osastolla on omissa silmissään brändi: nimi, portaali, palveluluettelo, seinällä oleva joukko arvoja, tiekartta josta se on ylpeä. Se kuvittelee käyttäjän saapuvan portaaliin tarkkaavaisena ja tarkoituksellisena, lukevan tiedotteen, arvostavan uutta ominaisuutta, välittävän siitä mikä julkaisu on kyseessä. Käyttäjä ei tee mitään tästä. Käyttäjä on keskellä päivää, joka koskee kaupan päättämistä, potilaan hoitamista, lähetyksen varaamista tai luokan opettamista, ja järjestelmä on asia, jonka läpi hänen on kuljettava päästäkseen eteenpäin, mieluiten huomaamatta. Hänen vuorovaikutuksensa IT:n kanssa on lyhyt, välineellinen ja vastahakoinen, yksi kymmenistä työkaluista, jotka kilpailevat sirpaleesta hänen huomiotaan, ja tunne jonka hän siihen tuo, on parhaimmillaan neutraali ja pahimmillaan keskeytyksen aiheuttama ärtymys.

Harha on kallis, koska se asettaa väärän tavoitteen. Osasto, joka uskoo vievänsä tilaa käyttäjän mielessä, rakentaa sitoutumista varten: portaaleja uutisineen, koontinäyttöjä kaikille, ominaisuuksia jotka kutsuvat tutkimaan, ilmoituksia jotka ilmoittavat itsestään. Osasto, joka ymmärtää vievänsä vastahakoisen hetken, rakentaa katoamista varten: vähimmän määrän vaiheita, vahvimmat oletusarvot, järjestelmän joka tekee itsestään selvän asian ilman pyytämistä ja väistyy sitten tieltä. Nämä kaksi rakentavat vastakkaisia asioita, ja vain jälkimmäinen palvelee käyttäjää, jonka huomio on muualla. Keskeisyysharha on syy siihen, miksi niin monet sisäiset työkalut on suunniteltu määränpäiksi, vaikka ne tulisi suunnitella oviksi.

3.2 Sisäinen kaikukammio

Toinen ilmenemismuoto on hallintomalli, joka valikoi sitä, mikä miellyttää osastoa, eikä sitä, mikä palvelee työtä. Idea — uusi alusta, standardi, itsepalveluportaali, tuen uudelleenjärjestely — syntyy IT:n sisällä ja sen on selvittävä sisäisten elinten kujanjuoksusta: arkkitehtuurilautakunta, muutosneuvottelukunta, ohjausryhmä, CIO:n johtoryhmän kokous. Kukin elin arvioi ideaa sisäisin kriteerein — tyylikkyys, standardointi, toimittajastrategia, kustannusten kohdistaminen, hallinta — ja idea, joka imartelee näitä kriteerejä, pääsee läpi kooten tukijoita noustessaan. Siihen mennessä, kun se saavuttaa liiketoiminnan, sitä on hiottu kuukausien ajan sellaisten ihmisten mieltymyksiä vasten, jotka eivät koskaan käytä sitä, ja se kohtaa työn ensimmäistä kertaa julkaisussa, jossa se epäonnistuu — ei siksi, että insinöörityö olisi ollut huonoa, vaan siksi, ettei sen polulla ollut koskaan yhtään ulkoista kanavaa. Portaali jota kukaan ei pyytänyt, itsepalvelutyökalu joka synnyttää enemmän puheluita kuin ohjaa pois, migraatio joka ratkaisi IT-ongelman ja loi liiketoimintaongelman — kaikki ovat arviointiprosessin tuotteita, jolla ei ole ikkunaa ulkopuolelle.

Kaikukammio on IT-versio sävelkorvattomasta kampanjasta, joka ihastuttaa johtoryhmän ja kuolee markkinoilla. Sen tunnusmerkki on se, että epäonnistuminen on yllättävää. Osasto, jonka ideat testataan työtä vasten, odottaa osan epäonnistuvan ja oppii halvalla; osasto, jonka ideat testataan sitä itseään vasten, hämmästyy toistuvasti, koska kaikki joita se konsultoi olivat samaa mieltä. Parannuskeino ei ole parempia lautakuntia vaan erilainen portti: idean tulisi kohdata todellinen käyttäjä tekemässä todellista työtä ennen kuin se kerää sisäisiä tukijoita, ei jälkeenpäin, niin että ulkopuoli voi tappaa sen samalla kun tappaminen on vielä halpaa.

3.3 Abstraktiokatkos

Kolmas ilmenemismuoto on huomio, jonka johto kiinnittää korkean tason hallintaan ja abstraktioon ruohonjuuritason työn sijaan, joka pitää yrityksen käynnissä. Ylimmän tason keskustelu koskee tavoitearkkitehtuuria, yhtä totuuden lähdettä, alustaa, pilvilinjausta, datastrategiaa, yhtä yhtenäistä hallintanäkymää — abstraktioita, jotka ovat houkuttelevia juuri siksi, että ne lupaavat hallinnan ylhäältä ilman kosketusta alla olevaan sekasotkuun. Samaan aikaan yritys tosiasiassa pyörii perustalla, jota abstraktio ei mallinna: yöllinen eräajo, jonka yksi ihminen ymmärtää, täsmäytys jonka joku tekee käsin joka kuukausi, integraatio jota pitää koossa ajastettu vienti, kokemusperäinen tieto siitä, mihin järjestelmään luottaa kun kaksi on eri mieltä. Tämä työ on näkymätöntä ylhäältä, koska se ei näy arkkitehtuurikaaviossa, ja abstraktion otteessa oleva osasto kohtelee kaaviota maastona.

Katkos on vaarallinen juuri niinä hetkinä, joina abstraktion on tarkoitus auttaa. Konsolidointi yhdelle alustalle, suunniteltuna kaaviosta, huomaa liian myöhään, että käytöstä poistettu järjestelmä oli kantava tavalla, jota mikään kaavio ei näyttänyt, koska sen todellinen rooli eli kiertoratkaisussa. Kartta jätti pois sillan, jota liikenne tosiasiassa käytti. Kokonaisarkkitehtuuri tieteenalana ei ole ongelma; ongelma on arkkitehtuuri, jota harjoitetaan sisäänpäin kääntyneenä tekona, piirtäen se järjestelmä, jonka osasto toivoo pyörittävänsä, sen sijaan että löydettäisiin se järjestelmä, jota se pyörittää. Parannuskeino on etnografinen ennen kuin se on arkkitehtoninen: mene katsomaan työtä, etsi käsin tehtävät täsmäytykset ja kantavat laskentataulukot ja kohtele niitä määrittelynä sille, mitä alusta ei saa rikkoa.

3.4 Sisäänpäin kääntynyt linssi

Neljäs ilmenemismuoto on muiden kolmen taustalla: tapa katsoa kaikkea mittareiden läpi, jotka kuvaavat osaston omaa toimintaa eivätkä käyttäjän lopputulosta. Käytettävyys, keskimääräinen ratkaisuaika, suljetut tiketit, muutosten onnistumisaste, saavutetut hankkeen välitavoitteet, budjetissa pysyminen, suljetut auditointihavainnot — nämä ovat seinällä olevat mittausvälineet, ja jokainen niistä mittaa jotakin, mikä tapahtuu IT:n sisällä. Yksikään niistä ei mittaa sitä, pystyikö ihminen tekemään työnsä, kuinka kauan hänen tehtävänsä todella kesti alusta loppuun, kuinka paljon hänen vaivastaan meni työkaluja vastaan taistelemiseen vai onko se asia, jonka hän tarvitsi, olemassa lainkaan. Linssi osoittaa sisäänpäin, eikä se voi hallita sitä, mitä se ei näe.

Sisäänpäin kääntynyt linssi ei ole vain epätäydellinen; se on aktiivisesti harhaanjohtava, koska sisäisiä mittareita voidaan optimoida tavoilla, jotka vahingoittavat ulkoista lopputulosta. Palvelupiste, jota mitataan suljetuilla tiketeillä ja sulkemisajalla, oppii sulkemaan tikettejä, mikä ei ole sama asia kuin ongelmien ratkaiseminen; nopea, pinnallinen sulkeminen joka ei korjaa taustalla olevaa ongelmaa tuottaa toisen tiketin, ja osasto joka laskee molemmat läpivirtaukseksi näkee tuottavuutta siellä, missä käyttäjä näkee ongelman, joka vei kaksi puhelua. Tämä on mekanismi, jota seuraava luku mallintaa, ja se on syy siihen, miksi osasto voi olla vihreällä jokaisessa koontinäytössä samalla kun sen palvelema liiketoiminta ei ole. Käyttäjäkeskeinen suunnittelu on pohjimmiltaan ohje kääntää tämä linssi ympäri: lähteä käyttäjän tavoitteesta ja katsoa takaisin IT:hen sen sijaan, että lähdettäisiin IT:n toiminnasta ja pääteltäisiin käyttäjä.

4. Minimaalinen malli: solipsismikuilu

Neljällä ilmenemismuodolla on yhteinen mitattava seuraus: kuilu sen välillä, mitä osasto laskee ja mitä liiketoiminta toteuttaa. Tämä luku esittää pienen mallin tuosta kuilusta, riittävän osoittamaan, miksi nämä kaksi voivat erkaantua ja miksi erkaneminen on itseään vahvistavaa. Malli on luonnos, jonka tarkoitus on tehdä mekanismi näkyväksi, ei kalibrointi.

4.1 Kaksi kysynnän lajia

Seuraa palvelunhallinnan perinnettä jakamalla IT-osastolle saapuva työ kahteen lajiin (Seddon, 2008). Arvokysyntä on työtä, jonka liiketoiminta aidosti haluaa tehtäväksi: uusi kyvykkyys, todellinen muutos, vastausta kaipaava kysymys. Virhekysyntä on työtä, jonka synnyttää osaston oma aiempi epäonnistuminen tehdä jotakin tai tehdä se oikein: käyttäjä joka soittaa takaisin, koska ensimmäinen korjaus ei pitänyt, pyyntö kiertoratkaisusta järjestelmään joka ei olisi saanut sitä tarvita, uudelleen avattu tiketti, toinen käynti. Olkoon kokonaiskysyntä tietyllä ajanjaksolla

ja määritä solipsismisuhde osuutena osaston työstä, joka koskee sen omia aiempia epäonnistumisia,

Suhde on hyvin nimetty. Osasto, jolla on korkea $\sigma$, käyttää suurimman osan vaivastaan vastatakseen oman työnsä seurauksiin, mikä on kirjaimellista toiminnan kääntymistä sisäänpäin, ja silti jokainen yksikkö tuosta vaivasta ilmestyy sisäisiin mittareihin käsiteltynä tikettinä ja suljettuna ongelmana.

4.2 Miksi luvut ja arvo erkanevat

Olkoon osaston mitattu tuotos, se suure jonka sisäänpäin kääntynyt linssi raportoi, sen käsittelemä kokonaistyö, joka ensimmäisenä likiarvona on koko $D$: jokainen suljettu tiketti, arvo tai virhe, lasketaan. Olkoon toteutunut arvo, se suure jonka liiketoiminta kokee, tosiasiassa täytetty arvokysyntä vähennettynä sillä kitkalla, jonka virheet aiheuttavat, niin että se laskee $\sigma$:n noustessa. Merkitsemällä $M$ mitattua tuotosta ja $V$ toteutunutta arvoa osaston läpivirtauksen $T$ ja suhteen $\sigma$ funktioina,

missä $q \in (0,1]$ on se, kuinka hyvin toimitettu työ sopii käyttäjän todelliseen tehtävään — suure jota luvun 3 ilmenemismuodot heikentävät. Kuilu sen välillä, mitä lasketaan ja mitä toteutuu,

kasvaa läpivirtauksen, virhesuhteen ja yhteensopimattomuuden myötä. Osasto voi nostaa $M$:ää nostamalla $T$:tä — tekemällä kovemmin töitä, sulkemalla nopeammin — samalla kun $V$ pysyy ennallaan tai laskee, ja koontinäytöt näyttävät vaivan edistyksenä. Kuva 1 piirtää nämä kaksi suuretta sisäänpäin suuntautumisen kasvaessa: mitattu suorituskyky nousee samalla kun toteutunut arvo laskee, kaksi terää jotka risteävät siinä pisteessä, jossa osasto näyttää terveimmältä juuri silloin kun se alkaa palvella huonoiten.

4.3 Miksi se vahvistaa itseään

Kuilu olisi pelkkä mittausongelma, jos $\sigma$ olisi kiinteä. Se ei ole, koska sisäisen mittarin optimointi ruokkii sitä. Paine sulkea tiketit nopeammin alentaa kunkin sulkemisen sopivuutta $q$ ja nostaa todennäköisyyttä, että taustalla oleva ongelma palaa virhekysyntänä, joten seuraavan jakson $\sigma$ on korkeampi. Olkoon sisäinen optimointivaiva $e$, se huomio jonka osasto kiinnittää omiin mittareihinsa, ja olkoon ulospäin kuunteleminen, se huomio jonka se kiinnittää työhön, $\ell$. Yksinkertainen sopeutus kuvaa silmukan:

missä $\alpha,\beta>0$. Kun sisäinen paine on vallitseva ($\alpha e > \beta \ell$), suhde kiipeää korkeaan kiintopisteeseen: vakaaseen, itseään ylläpitävään tilaan, jossa osasto on pysyvästi kiireinen itsensä kanssa, pysyvästi vihreällä mittausvälineissään ja pysyvästi ajelehtimassa erossa työstä. Tuo kiintopiste on organisatorinen solipsismi tasapainotilana, ja ainoa parametri joka siirtää osaston pois siitä on $\ell$, se huomio jonka se kiinnittää ulkopuoleen. Jokainen luvun 3 ilmenemismuoto on tapa pitää $\ell$ lähellä nollaa.

5. Varhaisvaroitusindikaattorit

Malli sanoo, ettei osasto voi rakenteellisesti päätellä sisäisistä mittareistaan, että se on kääntymässä sisäänpäin. Se voi päätellä sen toisesta joukosta indikaattoreita, joista kukin yhdistää terveeltä näyttävän sisäisen signaalin siihen ulkoiseen todellisuuteen, jonka se kätkee, ja siihen ulkoiseen mittaan, joka sen paljastaisi. Taulukko 2 kokoaa ne. Indikaattorit ovat diagnostisia, eivät pelkästään retorisia: kukin nimeää luvun, jota osasto voisi alkaa kerätä huomenna, ja itse kerääminen on jo linssin ensimmäinen käännös.

Kolme niistä ansaitsee sanan. Ensimmäinen on virhekysyntä osuutena volyymistä: useimmat osastot mittaavat tikettivolyymiä ja juhlivat kun ne käsittelevät sen, mutta eivät jaottele sitä, ja jaottelu on yksittäinen paljastavin luku, jota palvelupiste voi pitää, koska nouseva osuus tarkoittaa, että osasto on yhä enemmän kiireinen itsensä kanssa. Toinen on varjo-IT:n inventaario: solipsistinen osasto kohtelee hyväksytyn järjestelmän ulkopuolella ylläpidettyä laskentataulukkoa kitkettävänä vaatimustenmukaisuusongelmana, vaikka se on tarkka viesti siitä, missä hyväksytty järjestelmä sopii huonosti työhön; varjojärjestelmien laskeminen ja niiden lukeminen määrittelyinä muuttaa uhan parhaaksi ilmaiseksi tutkimukseksi, jonka osasto koskaan saa. Kolmas on tehtäväaika, ei tikettiaika: osasto mittaa, kuinka nopeasti se sulkee omat tietueensa, mutta käyttäjä mittaa, kuinka kauan koko työ kesti, mukaan lukien osat ennen tiketin avaamista ja sen sulkemisen jälkeen, ja vain alusta loppuun -aika on se, jonka käyttäjä todella tuntee.

6. Alankomaiden tilanne

Kaava on yleinen, mutta alankomaalainen konteksti antaa sille poikkeuksellisen selkeän muodon kahdesta institutionaalisesta syystä ja yhdestä markkinasyystä.

6.1 Regieorganisatie ja etäisyys jonka se rakentaa

Hallitseva idea Alankomaiden IT-hallinnossa viimeisen viidentoista vuoden ajan on ollut regieorganisatie: tarkoituksellinen erottelu, jossa kysyntäorganisaatio, joka omistaa suhteen liiketoimintaan ja päättää mitä halutaan, erotetaan tarjontaorganisaatiosta, usein ulkoisesta toimittajasta, joka rakentaa ja pyörittää sitä. Erottelulla on todellisia hyveitä, emmekä me vastusta sitä. Mutta se institutionalisoi juuri sen etäisyyden, joka ruokkii sisäänpäin kääntymistä. Kysyntäpuoli päätyy mittaamaan itseään toimittajien hallinnalla — täytetyillä sopimuksilla, raportoiduilla palvelutasoilla, pidetyillä hallintokokouksilla — ja tarjontapuoli palveluiden toimittamisella määritellyn mukaisesti, molemmat sisäänpäin suuntautuvia toimintoja, samalla kun käyttäjän todellinen työ sijaitsee kummankin tuolla puolen, tavoitettavissa vain niiden välillä kulkevan paperityön kautta. Regieorganisatie, jota ei ole tarkoituksellisesti kytketty työhön, mittaa kahden IT-organisaation välistä suhdetta ja kutsuu sitä suorituskyvyksi. Luvun 8 parannuskeino pätee täällä erityisellä voimalla: kysyntäorganisaation todellinen tehtävä on tuoda ulkopuoli sisään, ja jos se mittaa itseään toimittajahallinnalla, se on hiljaa muuttunut siksi, mitä sen oli tarkoitus estää.

6.2 Vuosikymmen julkisia arviointeja

Alankomaiden valtio on pitänyt poikkeuksellisen julkista kirjausta sisäänpäin kääntyneestä IT:stä. Parlamentaarinen tutkinta valtion ICT-hankkeista (Tweede Kamer, 2014) löysi kaavan suurista hankkeista, joita ajoi niiden oma vauhti ja sisäinen logiikka ja jotka oli ankkuroitu riittämättömästi siihen ongelmaan, jonka niiden oli tarkoitus ratkaista, tai niihin ihmisiin, jotka käyttäisivät tulosta, ja suositteli pysyvää elintä testaamaan hankkeita todellisuutta vasten ennen rakentamista ja sen aikana. Tuo elin, nykyinen Adviescollege ICT-toetsing, on olemassa juuri siksi, ettei sisäinen näkökulma itsekorjaudu: asiantunteva ulkoinen kanava on rakennettava ja rahoitettava, koska omien mittausvälineidensä varaan jätetyt osastot eivät hanki sellaista. Oppi yleistyy hallinnon ulkopuolelle. Syy siihen, että tämän artikkelin parannuskeino on institutionaalinen — portti, inventaario, mittaus — eikä kehotus välittää käyttäjistä, on se, ettei välittäminen ole niukka panos; niukka panos on kanava, joka tuo ulkopuolen sisään riippumatta siitä, haluaako osasto sitä vai ei.

6.3 Hallinnoitujen palveluiden suhde

Alankomaiden keskisuurilla markkinoilla, joilla me Nashualla työskentelemme, useimmat organisaatiot eivät pyöritä lainkaan suurta sisäistä IT-osastoa; ne luottavat hallinnoitujen palveluiden tarjoajaan. Tämä muuttaa riskin muodon muttei sen luonnetta. Tarjoajaa mitataan sen palvelutasoilla ja sopimuksellaan, jotka ovat tarjoajan maailman sisäisiä mittareita, ja tarjoaja, joka hoitaa pelkästään nämä, voi raportoida terveestä suhteesta samalla kun sen asiakkaan henkilöstö kiertää järjestelmät. Se ulospäin suuntautuva kuri, jonka hyvä tarjoaja on asiakkaalleen velkaa, on sama jonka sisäinen osasto on liiketoiminnalleen velkaa: mitata asiakkaan tehtävän suorittamista eikä vain tarjoajan käytettävyyttä, lukea asiakkaan kiertoratkaisut määrittelyinä ja laskea se osuus omasta työstään, joka on virhekysyntää. Tarjoaja joka tekee näin, muuttaa suhteen etäisyyden rasitteesta eduksi, koska se näkee monen asiakkaan työn ja voi kantaa ulkoista näkökulmaa niiden välillä. Tarjoaja joka ei tee näin, muuttuu solipsistiseksi IT-osastoksi yhden välimatkan päässä, sopimus omantunnon sijaan.

7. Rakennettu tapaus

Seuraava tapaus on rakennettu, ei havaittu. Se on olemassa osoittaakseen ilmenemismuodot ja mallin yhdessä asetelmassa; sen luvut ovat havainnollistavia. Se kuvaa keskikokoista alankomaalaista organisaatiota, jolla on noin neljänkymmenen hengen sisäinen IT-osasto palvelemassa noin tuhatta työntekijää toiminnoissa, myynnissä ja taloudessa.

Omilla mittausvälineillään osastolla on paras vuotensa. Käytettävyys ydinjärjestelmien yli on 99.9 prosenttia. Palvelupiste sulkee kahdeksankymmentäviisi prosenttia tiketeistä tavoitteen sisällä, ja kokonaisvolyymi on noussut kaksitoista prosenttia, minkä neljännesvuosiraportti esittää nousevana tuottavuutena. Monivuotinen alustan konsolidointi on suunnitelmassa: kolme legacy-järjestelmää poistettu, kaikki siirtymässä yhteen ohjelmistosviittiin. Vuotuinen IT-tyytyväisyyskysely palauttaa kunnioitettavan tuloksen. Jokainen dia on vihreä, ja osaston johto, lukiessaan mittausvälineitään uskollisesti, uskoo pärjäävänsä hyvin.

Jokaisen vihreän luvun alla on ei-vihreä todellisuus, jota mittausvälineet eivät kanna. Kahdentoista prosentin nousu tikettivolyymissä on enimmäkseen virhekysyntää: sviitin uusi julkaisu muutti näkymän, jota myyntitiimi käytti viisikymmentä kertaa päivässä, ja siitä syntynyt hämmennys tuottaa tasaisen virran tikettejä, joista kukin suljetaan nopeasti ja hyvin palvelupisteen omin mittapuin, eikä yksikään kosketa syytä. Käytettävyys mitataan järjestelmäkohtaisesti, mutta tilauksesta kassaan -tehtävä ylittää nyt kolme järjestelmää ja kaksi luovutusta, ja tehtävään kulunut aika on kasvanut tunneista kahteen päivään — luku jota mikään koontinäyttö ei näytä, koska mikään koontinäyttö ei mittaa tehtävää. Konsolidointi poisti legacy-raportointityökalun, jonka todellinen rooli, dokumentoimaton, oli yöllinen vienti, josta taloustiimin kuukauden lopun täsmäytys riippui; talous on rakentanut sen uudelleen yhden analyytikon ylläpitämäksi laskentataulukoksi, jonka osasto, huomatessaan sen, kirjaa karsittavaksi varjo-IT:ksi. Tyytyväisyyskysely sai hyvän tuloksen, koska se kysyi, oliko palvelupiste kohtelias ja olivatko järjestelmät käytettävissä, eikä sitä, pystyikö kukaan tekemään työtään.

Osasto on tämän artikkelin määritelmän mukaan solipsistinen, ja huomionarvoista on, ettei kukaan siinä tee huonoa työtä. Palvelupiste on aidosti nopea ja kohtelias. Insinöörit todella toimittivat konsolidoinnin. Arkkitehtuuri on aidosti siistimpi. Jokainen ihminen optimoi edessään olevaa mittaria, ja jokainen mittari osoittaa sisäänpäin, joten pätevän, hyvää tarkoittavan työn summa on osasto, joka on kääntänyt selkänsä liiketoiminnalle uskoessaan olevansa sitä kohti. Luvun 4 malli nimeää tilan tarkasti: läpivirtaus $T$ on noussut, suhde $\sigma$ nousee, mitattu tuotos $M$ nousee läpivirtauksen myötä samalla kun toteutunut arvo $V$ laskee $\sigma$:n myötä, ja ne kaksi mittausvälinettä, jotka osastolta puuttuvat — virhekysyntä osuutena volyymistä ja tehtäväaika — ovat juuri ne kaksi, jotka olisivat sen näyttäneet.

8. Linssin kääntäminen ulospäin

Parannuskeino ei ole välittää enemmän. Rakennetun tapauksen ihmiset välittävät jo, ja sisäisten mittausvälineiden kautta kulkeva välittäminen tuottaa sisäänpäin suuntautunutta työtä. Parannuskeino on rakentaa kanavia, jotka tuovat ulkopuolen sisään riippumatta siitä, muistaako kukaan katsoa, ja muuttaa sitä mitä mitataan, niin että osaston oma optimointi vetää sitä kohti työtä eikä siitä poispäin. Viisi siirtoa seuraa mallista ja ilmenemismuodoista.

Mittaa tehtävää, älä tikettiä. Lisää vähintään yksi lopputulosmitta jokaiseen sisäiseen: tehtäväaika ratkaisuajan rinnalle, tehtävän suorittaminen käytettävyyden rinnalle, käyttöönotto toimitettujen ominaisuuksien rinnalle. Tarkoitus ei ole hylätä sisäisiä mittareita, jotka ovat hyödyllisiä toiminnan pyörittämiseen, vaan kieltää niiltä se huomion monopoli, joka antaa luvun 4 kuilun avautua huomaamatta.

Jaottele ja seuraa virhekysyntää. Luokittele saapuva työ arvokysynnäksi tai virhekysynnäksi ja seuraa suhdetta $\sigma$ ajan myötä. Se on tämän artikkelin halvin diagnostiikka ja suorin luenta sisäänpäin kääntymisestä, koska se mittaa, kuinka suuri osa osaston vaivasta on reaktio itseensä.

Lue varjo-IT:tä määrittelynä. Pidä inventaariota laskentataulukoista ja hyväksymättömistä työkaluista ja kohtele kutakin tarkkana lausumana siitä, missä hyväksytyt järjestelmät sopivat huonosti työhön. Kiertoratkaisu on liiketoiminta kirjoittamassa vaatimuksia ainoalla jäljellä olevalla kielellään; osasto joka kitkee sen pois, tuhoaa oman parhaan tutkimuksensa.

Aseta käyttäjä polulle ennen tukijoita. Muuta hallintoporttia niin, että idea kohtaa todellisen käyttäjän tekemässä todellista työtä varhain, kun sen tappaminen on halpaa, eikä vasta sen jälkeen, kun se on kiivennyt sisäisen hierarkian ja kerännyt tukijoita. Tämä on kaikukammion rakenteellinen korjaus: se asettaa ulkoisen kanavan sisäisten yläjuoksulle.

Mene katsomaan työtä. Ennen mitään konsolidointia tai käytöstäpoistoa lähetä joku havainnoimaan ruohonjuuritason työtä, jota abstraktio ei mallinna, ja löytämään käsin tehtävät täsmäytykset ja kantavat laskentataulukot. Kohtele sitä mitä he löytävät, määrittelynä sille, mitä uusi alusta ei saa rikkoa. Tämä on abstraktiokatkoksen rakenteellinen korjaus, ja se on etnografinen ennen kuin se on arkkitehtoninen.

Mikään näistä ei ole kallis, ja siinä on pointti. Organisatorista solipsismia ei paranneta budjetilla tai uudelleenjärjestelyllä; se paranee kourallisella ulkoisia kanavia, jotka on tarkoituksellisesti rakennettu ja pidetty avoimina, koska eristetyn, sisäänpäin mitatun ryhmän luonnollinen taipumus on sulkea ne.

9. Vastaväitteet ja vastaukset

Sisäiset mittarit ovat tärkeitä; toimintaa ei voi pyörittää ilman niitä. Samaa mieltä, eikä artikkeli sano muuta. Käytettävyys ja ratkaisuaika ovat välttämättömiä palvelun pyörittämiseksi. Väite on kapeampi ja terävämpi: ne eivät ole riittäviä, ne kuvaavat osaston maailmaa eivätkä käyttäjän, ja kun ne ovat ainoat mittausvälineet seinällä, ne antavat kuilun avautua huomaamatta. Parannuskeino on lisäys, ei korvaaminen.

Käyttäjät eivät tiedä mitä haluavat, joten käyttäjäkeskeisyys on tie kaaokseen. Jobs-to-be-done -perinne vastaa tähän täsmälleen: käyttäjät ovat huonoja määrittelemään ratkaisuja ja erinomaisia osoittamaan tehtävänsä. Ohje ei ole pyytää käyttäjiä suunnittelemaan järjestelmää vaan havainnoida työtä, lukea kiertoratkaisuja ja mitata lopputulosta, joista mikään ei vaadi käyttäjää tietämään vastausta, vaan ainoastaan tulemaan seuratuksi tehtävää tehdessään.

Tämä on vain käyttäjäkeskeistä suunnittelua uudella nimilapulla. Osittain, tarkoituksella. Kontribuutio ei ole uusi menetelmä vaan diagnoosi siitä, miksi menetelmillä varustettu osasto kääntyy silti sisäänpäin, nimittäin että sen mittaus ja sen hallinto osoittavat molemmat sisäänpäin ja vahvistavat toisiaan, sekä pieni malli siitä, kuinka tuo tuottaa kuilun, joka on näkymätön sisältäpäin. Nimilappu nimeää tämän vikatilan, jotta osasto voi tunnistaa sen itsessään.

Hallinnoitujen palveluiden tarjoaja on rakenteellisesti liiketoiminnan ulkopuolella; tämä ei päde. Se pätee suuremmalla voimalla, ei pienemmällä. Etäisyys on se olosuhde, joka ruokkii sisäänpäin kääntymistä, ja sopimuksellaan mitattu tarjoaja pystyy solipsismiin yhtä lailla kuin mikä tahansa sisäinen osasto, kuten luvussa 6 esitetään. Tarjoajan etu on se, että se näkee monta asiakasta ja voi kantaa ulkoista näkökulmaa niiden välillä, mutta vain jos se valitsee mitata asiakkaan työtä eikä omia palvelutasojaan.

10. Rajoitukset ja tutkimusagenda

Tämä on käytännön toimijoille suunnattu analyysi, ja sen rajat tulisi todeta. Luvun 4 malli on luonnos: sen suureet on määritelty riittävän selkeästi mitattaviksi, mutta sen funktiomuodot ovat havainnollistavia, valittuina tekemään mekanismi näkyväksi eikä estimoituina datasta. Neljä ilmenemismuotoa ovat typologia, hyödyllinen jos se auttaa osastoa löytämään vikatilansa, muttei ositus, jonka on todistettu olevan tyhjentävä. Alankomaalainen luenta on tulkitseva. Rakennettu tapaus on rakennettu.

Väitteet ovat kuitenkin testattavissa, ja ulospäin suuntautuvat indikaattorit ovat ne välineet, joilla niitä testataan. Neljä tutkimusta tekisi sen. Ensiksi, mittaa solipsismisuhdetta $\sigma$ joukossa osastoja ja korreloi se riippumattomaan mittaan liiketoiminnan toteuttamasta arvosta; malli ennustaa negatiivisen suhteen, jota sisäiset mittarit eivät näytä. Toiseksi, seuraa $\sigma$:aa ja sisäisiä mittareita sellaisen jakson läpi, jolloin sisäisiin mittareihin kohdistuu painetta; malli ennustaa $\sigma$:n nousevan sitä mukaa kun sisäiset luvut paranevat. Kolmanneksi, mittaroi tehtäväaika ratkaisuajan rinnalla todellisessa palvelussa ja mittaa niiden välinen kuilu. Neljänneksi, toteuta hallintomuutos — käyttäjä polulle ennen tukijoita — kontrolloituna interventiona ja mittaa julkaisun epäonnistumisaste nykyistä porttia vasten. Kukin tutkimus tarvitsee vain mittoja, jotka artikkeli jo nimeää, ja kukin siirtäisi argumentin analyysistä evidenssiin.

11. Johtopäätös

IT-osasto kääntyy sisäänpäin ei osaamattomuuden tai välinpitämättömyyden kautta vaan sen tavanomaisen toiminnan kautta, että sitä mitataan sen oman toiminnan perusteella, se on eristetty työstä tikettien ja sopimusten kerroksella ja sitä palkitsee hierarkia, joka lukee samoja sisäänpäin kääntyneitä mittausvälineitä kuin se itse. Tuloksena on osasto, joka ottaa omat järjestelmänsä, mittarinsa, tiekarttansa ja arkkitehtuurinsa yrityksen keskipisteeksi ja käyttäjät päätelmäksi, jonka se johtaa tiketeistä — organisatorinen versio uskomuksesta, että vain oman mielen olemassaolo on varmaa. Olemme nimenneet neljä ilmenemismuotoa — keskeisyysharhan, sisäisen kaikukammion, abstraktiokatkoksen ja sisäänpäin kääntyneen linssin — ja osoittaneet pienellä mallilla, kuinka virhekysyntä antaa osaston mitatun tuotoksen nousta samalla kun liiketoiminnan toteuttama arvo laskee, niin että koontinäytöt näyttävät terveimmiltä juuri siellä, missä palvelu on huonointa.

Parannuskeino ei ole kehotus vaan putkityö: kourallinen ulkoisia kanavia, jotka on tarkoituksellisesti rakennettu ja pidetty avoimina, koska eristetyn, sisäänpäin mitatun ryhmän luonnollinen taipumus on antaa niiden sulkeutua. Mittaa tehtävää äläkä vain tikettiä. Jaottele ja seuraa virhekysyntää. Lue varjo-IT:tä määrittelynä. Aseta käyttäjä polulle ennen tukijoita. Mene katsomaan työtä. Kukin on halpa, kukin kantaa palasen ulkopuolta sisään, ja yhdessä ne kääntävät linssin takaisin ympäri, niin että osasto mittaa itseään sillä, pystyykö sen palvelema liiketoiminta tekemään työnsä, mikä on ainoa mitta, joka koskaan oli todellinen.

Liite A. Solipsismikuilun mittaaminen

Luvun 4 kuilu voidaan arvioida datasta, jota useimmat palveluorganisaatiot jo pitävät hallussaan, sekä kahdesta mitasta, joita ne yleensä eivät pidä. Kaikki voidaan kerätä neljännesvuosittain ilman kyselyä.

Virhekysynnän osuus $\sigma$. Ota edustava otos suljetuista kohteista ja luokittele kukin arvokysynnäksi (aito uusi tarve) tai virhekysynnäksi (työ jonka aiheutti aiempi epäonnistuminen tehdä tai tehdä oikein) lyhyellä koodaussäännöllä, jota sovelletaan sulkemisen yhteydessä tai takautuvasti otokseen. Virhekysynnän osuus on $\sigma$. Sudenkuoppa: koodaus sulkemisen yhteydessä saman työntekijän toimesta, joka sulki kohteen, aliarvioi sen; käytä riippumatonta otosta.

Sopivuus $q$. Arvioi sopivuutta uudelleenavaus- ja uudelleentyöstöasteen komplementilla: niiden arvokysyntäkohteiden osuus, jotka valmistuvat ilman myöhempää niihin liittyvää kohdetta määritellyn aikaikkunan sisällä. Sudenkuoppa: lyhyt aikaikkuna imartelee $q$:ta; aseta se käyttäjän omaan sykliin, ei palvelupisteen.

Tehtäväaika. Ota pieni joukko edustavia käyttäjäpolkuja ja mittaa koko polkuun kulunut aika, siitä hetkestä kun käyttäjä tarvitsee lopputuloksen siihen hetkeen kun hänellä se on, kaikkien järjestelmien ja luovutusten yli, tiketin rajoista riippumatta. Sudenkuoppa: mittaaminen ensimmäisestä tiketistä viimeiseen sulkemiseen jättää huomiotta ne tehtävän osat, joista ei koskaan tullut tikettiä ja jotka ovat usein pisimpiä.

Kuilu. Kun $M$ on käsiteltyjen kohteiden kokonaismäärä ja $V = M(1-\sigma)q$, solipsismikuilu on $G = M - V$. Raportoituna suhteena $G/M = 1-(1-\sigma)q$ se on vertailukelpoinen osastojen välillä ja ajan myötä, ja se nousee kun joko virhekysyntä tai yhteensopimattomuus nousee, mikä on ne kaksi asiaa, jotka sisäiset mittarit kätkevät.

Liite B. Diagnostinen tarkistuslista

Alla olevat kysymykset on ryhmitelty ilmenemismuodon mukaan. Kyllä on oire, ei tuomio; useat kyllä-vastaukset yhdessä ryhmässä paikantavat vikatilan, ja viimeisen sarakkeen ulospäin suuntautuva testi on se mittaus, joka vahvistaisi tai hylkäisi sen. Tarkistuslista on tarkoituksella vastattavissa yhdessä iltapäivässä, koska diagnoosia joka vaatii projektin, ei tulla tekemään.

Lähteet

Beer, S. (1979). The heart of enterprise. John Wiley & Sons. ISBN 978-0-471-27599-1.

Brynjolfsson, E. (1993). The productivity paradox of information technology. Communications of the ACM, 36(12), 66–77. https://doi.org/10.1145/163298.163309

Christensen, C. M., Hall, T., Dillon, K., & Duncan, D. S. (2016). Know your customers’ “jobs to be done.” Harvard Business Review, 94(9), 54–62. https://hbr.org/2016/09/know-your-customers-jobs-to-be-done

Ciborra, C. (2002). The labyrinths of information: Challenging the wisdom of systems. Oxford University Press. ISBN 978-0-19-924152-7.

Davis, F. D. (1989). Perceived usefulness, perceived ease of use, and user acceptance of information technology. MIS Quarterly, 13(3), 319–340. https://doi.org/10.2307/249008

DeLone, W. H., & McLean, E. R. (2003). The DeLone and McLean model of information systems success: A ten-year update. Journal of Management Information Systems, 19(4), 9–30. https://doi.org/10.1080/07421222.2003.11045748

Haag, S., & Eckhardt, A. (2017). Shadow IT. Business & Information Systems Engineering, 59(6), 469–473. https://doi.org/10.1007/s12599-017-0497-x

Henderson, J. C., & Venkatraman, N. (1999). Strategic alignment: Leveraging information technology for transforming organizations. IBM Systems Journal, 38(2&3), 472–484. https://doi.org/10.1147/sj.382.0472

Janis, I. L. (1972). Victims of groupthink: A psychological study of foreign-policy decisions and fiascoes. Houghton Mifflin.

Keen, P. G. W. (1981). Information systems and organizational change. Communications of the ACM, 24(1), 24–33. https://doi.org/10.1145/358527.358543

Lovallo, D., & Kahneman, D. (2003). Delusions of success: How optimism undermines executives’ decisions. Harvard Business Review, 81(7), 56–63. https://hbr.org/2003/07/delusions-of-success-how-optimism-undermines-executives-decisions

Markus, M. L. (1983). Power, politics, and MIS implementation. Communications of the ACM, 26(6), 430–444. https://doi.org/10.1145/358141.358148

Norman, D. A. (2013). The design of everyday things (Revised and expanded ed.). Basic Books. ISBN 978-0-465-05065-9.

Orlikowski, W. J. (2000). Using technology and constituting structures: A practice lens for studying technology in organizations. Organization Science, 11(4), 404–428. https://doi.org/10.1287/orsc.11.4.404.14600

Seddon, J. (2008). Systems thinking in the public sector: The failure of the reform regime and a manifesto for a better way. Triarchy Press.

Suchman, L. A. (1987). Plans and situated actions: The problem of human–machine communication. Cambridge University Press. ISBN 978-0-521-33739-7.

Tweede Kamer der Staten-Generaal (2014). Naar grip op ICT: Parlementair onderzoek naar ICT-projecten bij de overheid. Eindrapport van de Tijdelijke commissie ICT-projecten bij de overheid (Commissie Elias). Kamerstukken II 2014/15, 33 326, nr. 5. https://zoek.officielebekendmakingen.nl/kst-33326-5.html

Ulwick, A. W. (2005). What customers want: Using outcome-driven innovation to create breakthrough products and services. McGraw-Hill. ISBN 978-0-07-140867-7.

Vargo, S. L., & Lusch, R. F. (2004). Evolving to a new dominant logic for marketing. Journal of Marketing, 68(1), 1–17. https://doi.org/10.1509/jmkg.68.1.1.24036

von Hippel, E. (1986). Lead users: A source of novel product concepts. Management Science, 32(7), 791–805. https://doi.org/10.1287/mnsc.32.7.791

Weick, K. E. (1995). Sensemaking in organizations. Sage Publications. ISBN 978-0-8039-7177-6.