Beginnend mit den Grundlagen steht GPT-3 für Generative Pre-trained Transformer 3 – es ist die dritte Version des Tools, die veröffentlicht wird.

Kurz gesagt bedeutet dies, dass es Text mit vortrainierten Algorithmen generiert, die bereits mit allen Daten gefüttert wurden, die sie zur Erfüllung ihrer Aufgabe benötigen. Insbesondere wurden ihnen rund 570 GB Textinformationen zugeführt, die durch Crawlen des Internets (ein öffentlich verfügbarer Datensatz, der als CommonCrawl bekannt ist) zusammen mit anderen von OpenAI ausgewählten Texten, einschließlich des Textes von Wikipedia, gesammelt wurden.

]]>