Ihan nykyisessä duunissa tullut vastaan aika paljon keissejä Copilotin kanssa ja puutteet useimmiten liittyvät ympäröivään in-house koodiin:
- tarjottu koodi ei ymmärrä ympäröivän tuotteen tietomalleja
- generoitu koodi voi yrittää accessoida attribuutteja joidenka nimet kuulostavat oikeahkoilta, mutta eivät ole
- tarjottu koodi ei käytä sisäisiä kirjastoja asioihin oikein, kun kontekstiin ei saa mahtumaan tarvittavaa domain-ymmärrystä ympäröivästä maailmasta
Muutamia ihan kohtuullisen positiivisesti yllättäviä juttujakin on tullut vastaan Copilotilla. Esimerkiksi keissi jossa kirjoitin in-house kyselykielen parserille / generaattorille yksikkötestejä, ja muutaman kirjoitetun testin jälkeen Copilot alkoi tarjoilla parserin outputtia assertoitaessa ehdotuksena oikean mallisia parsittuja objekteja.
Myös ihan perus refaktoroinnit testatulle koodille toimii hyvin, toisinaan on tullut keissejä jossa jonkun funktion haluttu behaviour on mielessä mutta toteutus on vähän pielessä. On voinut kuvata promptilla että "muuta tämä funktio toimimaan siten, että sitä clientin näkökulmasta kutsutaan näin" ja lopputuloksena on tullut ihan selkeätä toimivaa kamaa.