GPT给我写了一个语言模型......

陶远航

代码在下面，注意我在main()函数加的注释
记得在your_chinese_text_file.txt加入中文语料
我加的是：

1. 从前有个聪明的年轻人，他住在一个美丽的村庄。这个村子里的人们生活得很幸福。有一天，年轻人决定去旅行，看看外面的世界。他告别了家人和朋友，踏上了漫长的旅程。沿途，他遇到了各种各样的人和事。有时候，他会遇到困难，但他总是能够克服艰难险阻，继续前行。这段旅程教会了他很多关于生活的智慧。当他回到家乡时，他成了一个更加成熟、睿智的人。他用自己学到的知识帮助村子里的人们，让他们的生活变得更好。从那以后，他过上了幸福快乐的生活，成为了村子里受人尊敬的智者。
   
2. 
   
3. 从前有个村子里，住着一位聪明的老人，他名叫孙老头。他总是乐于助人，用他的智慧帮助村子里的人解决各种难题。有一天，村子附近发现了一座神秘的山洞，里面传说有一种神奇的力量。许多探险家都想要获取这种力量，但没有人能成功地进入山洞深处。
   
4. 
   
5. 村子里的人们都想知道这个神秘的山洞究竟有什么秘密，于是，他们求助于孙老头。孙老头思考了一下，决定带领村子里的一些年轻人，一起探寻这个山洞的秘密。他们带着充足的粮食和水，开始了漫长的旅程。
   
6. 
   
7. 在探险过程中，孙老头发挥着他的智慧，成功解决了许多问题。他们遇到了险恶的动物，孙老头敏锐地捕捉到了它们的弱点，帮助众人安全度过危机。他们还遇到了一片迷雾密布的森林，孙老头指引着大家走出了这片森林。
   
8. 
   
9. 经过长时间的艰苦探险，他们终于到达了山洞深处。在那里，他们发现了一个神奇的宝藏，里面有各种珍贵的矿石和宝石。村子里的人们高兴极了，感谢孙老头带领他们找到了这个宝藏。
   
10. 
    
11. 从此，孙老头的名声传遍了世界，他成为了人们心中的英雄。他继续用他的智慧帮助别人，为世界带来了无尽的祝福。

复制代码

你想让它生成什么方面的内容，就加关于什么的，生成内容不一定准确！！！
代码：

1. import random
   
2. from collections import defaultdict, Counter
   
3. import jieba
   
4. 
   
5. # 读取文本数据
   
6. def read_data(file_path):
   
7.     with open(file_path, "r", encoding="utf-8") as f:
   
8.         data = f.read()
   
9.     return data
   
10. 
    
11. # 创建n-gram模型
    
12. def create_ngram_model(data, n):
    
13.     ngram_model = defaultdict(Counter)
    
14.     words = list(jieba.cut(data))
    
15. 
    
16.     for i in range(len(words) - n):
    
17.         ngram = tuple(words[i:i + n - 1])
    
18.         next_word = words[i + n - 1]
    
19.         ngram_model[ngram][next_word] += 1
    
20. 
    
21.     return ngram_model
    
22. 
    
23. # 生成新的文本
    
24. def generate_text(ngram_model, seed, num_words):
    
25.     current_ngram = tuple(seed.split()[-(len(list(ngram_model.keys())[0])):])
    
26.     generated_text = seed
    
27. 
    
28.     for _ in range(num_words):
    
29.         next_word_candidates = ngram_model[current_ngram]
    
30. 
    
31.         # 如果next_word_candidates为空，则从ngram_model中随机选择一个n-gram
    
32.         while not next_word_candidates:
    
33.             current_ngram = random.choice(list(ngram_model.keys()))
    
34.             next_word_candidates = ngram_model[current_ngram]
    
35. 
    
36.         next_word = random.choices(list(next_word_candidates.keys()), weights=list(next_word_candidates.values()))[0]
    
37.         generated_text += "" + next_word
    
38.         current_ngram = (*current_ngram[1:], next_word)
    
39. 
    
40.     return generated_text
    
41. 
    
42. # 主函数
    
43. def main():
    
44.     # 读取文本数据
    
45.     data = read_data("your_chinese_text_file.txt")
    
46.    
    
47.     # 设置n-gram参数
    
48.     n = 5#################3到5#############
    
49.    
    
50.     # 创建n-gram模型
    
51.     ngram_model = create_ngram_model(data, n)
    
52.    
    
53.     # 设置种子文本和生成的单词数
    
54.     seed = "从前有个"###############随便写##################
    
55.     num_words = 200###############别太多，最好50-500##############
    
56.    
    
57.     # 生成新文本
    
58.     generated_text = generate_text(ngram_model, seed, num_words)
    
59.    
    
60.     print(generated_text)
    
61. 
    
62. if __name__ == "__main__":
    
63.     main()
    

复制代码

注：如题，代码GPT写的

陶远航

@不二如是 @歌者文明清理员 @sfqxx_小 @sfqxx @isdkz @zhangjinxuan

歌者文明清理员

?

sfqxx

seed = "从前有个"###############随便写##################
    num_words = 200###############别太多，最好50-500##############

陶远航

歌者文明清理员 发表于 2023-7-10 13:37
?

额...small语言模型

如果你的训练文本多一些的话，生成的文本会比较自然，通顺一点，

陶远航

sfqxx 发表于 2023-7-10 13:37

对，打注释这里可以改

sfqxx

陶远航 发表于 2023-7-10 13:39
对，打注释这里可以改

牛

sfqxx

gpt4 吗

陶远航

sfqxx 发表于 2023-7-10 13:44
gpt4 吗

......白解释了，你运行试试

sfqxx

陶远航 发表于 2023-7-10 13:45
......白解释了，你运行试试

？为什么要运行

isdkz

boanch

有意思