Các nhà nghiên cứu đã sử dụng 40GB dữ liệu lấy từ 8 triệu trang web để huấn luyện phần mềm GPT-2. Lượng dữ liệu này lớn gấp 10 lần lượng dữ liệu họ từng dùng để huấn luyện thế hệ GPT đầu tiên. Bộ dữ liệu được thu thập bằng cách lướt mạng xã hội Reddit và chọn những liên kết đến các bài viết nhận được hơn 3 lượt upvote. Khi quá trình huấn luyện hoàn tất, họ phát hiện ra rằng phần mềm có thể nhận vào một phần văn bản và tiếp tục hoàn thành nội dung của đoạn văn bản đó theo độ dài được yêu cầu một cách đầy thuyết phục. Nó gặp một số rắc rối với "những loại nội dung nặng yếu tố kỹ thuật hoặc bí mật, ít người biết", nhưng đối với các nội dung mang tính trao đổi, phân nửa số nội dung nó tạo ra có tính hợp lý khá cao.

Ví dụ, phần mềm được giao đoạn văn bản sau:

"In a shocking finding, scientist discovered a herd of unicorns living in a remote, previously unexplored valley, in the Andes Mountains. Even more surprising to the researchers was the fact that the unicorns spoke perfect English." (Trong một phát hiện gây sốc, các nhà khoa học đã tìm ra một đàn kỳ lân sống ở một thung lũng xa xôi, chưa từng được khám phá trước đây, ở Dãy Andes. Ngạc nhiên hơn nữa với các nhà nghiên cứu là lũ kỳ lân nói tiếng Anh một cách hoàn hảo).

Dựa trên hai câu đó, GPT-2 đã có thể viết tiếp câu chuyện kỳ lạ này bằng 9 đoạn văn khác theo cách mà nếu không biết, bạn sẽ tin rằng chúng được viết bởi con người. Dưới đây là một số đoạn văn do máy viết:

"The scientist named the population, after their distinctive horn, Ovid’s Unicorn. These four-horned, silver-white unicorns were previously unknown to science.

Now, after almost two centuries, the mystery of what sparked this odd phenomenon is finally solved.

Dr. Jorge Pérez, an evolutionary biologist from the University of La Paz, and several companions, were exploring the Andes Mountains when they found a small valley, with no other animals or humans. Pérez noticed that the valley had what appeared to be a natural fountain, surrounded by two peaks of rock and silver snow."

(Các nhà khoa học đã đặt tên cho bầy này, theo cái sừng đặc trưng của chúng, là Ovid's Unicorn. Những con kỳ lân 4 sừng, màu trắng bạc này trước đây chưa từng được khoa học biết đến.

Hiện nay, sau gần 2 thế kỷ, bí ẩn tạo nên hiện tượng kỳ lạ này cuối cùng đã được giải đáp.

Tiến sỹ Jorge Perez, một nhà sinh vật học tiến hóa từ Đại học La Paz và nhiều cộng sự lúc đó đang khám phá Dãy Andes thì tìm thấy một thung lũng nhỏ, không có động vật hay con người. Perez chú ý thấy thung lũng có một suối nước tự nhiên, vây quanh bởi hai đỉnh đá và tuyết bạc).