En utbredt misforståelse om de nye chattetjenestene basert på kunstig intelligens (KI), er at de kan tenke selv, at de besitter en form for bevissthet. Inntrykket forsterkes gjerne av chatbotenes tendens til å lyve eller opptre uforutsigbart.
Da Microsoft lanserte en lukket versjon av søketjenesten Bing, forsterket med det som trolig var en tidlig versjon av OpenAIs ennå ikke lanserte språkmodell GPT-4, kom det så mye rart at Microsoft så seg nødt til å skru av botens evne til å snakke om seg selv.