开场白

嘿，小伙伴们！准备好探索如何让计算机学会分辨和分类文字了吗？想象一下，如果文本是一堆杂乱无章的乐谱，那我们的任务就是教会计算机如何演奏出美妙的音乐。让我们一起踏上这场奇妙的旅程吧！

什么是文本分类？

文本分类就像是给每个故事贴上标签，这样当我们需要找某个特定类型的故事时，就可以很快找到。比如，我们可以通过文本分类来识别一封邮件是不是垃圾邮件，或者一篇新闻报道是体育类还是财经类。

关键步骤

文本分类通常包括以下几个关键步骤：

1. 数据预处理：这一步就像是清理房间，我们要把文本数据清洗干净，去除不需要的部分。例如，我们可能会去掉标点符号，转换成小写字母，以及去除停用词。

   import nltk
   from nltk.corpus import stopwords
   from nltk.tokenize import word_tokenize
   
   stop_words = set(stopwords.words('english'))
   words = word_tokenize(example_text)
   filtered_sentence = [word for word in words if not word in stop_words]

2. 特征提取：接下来，我们要从文本中提取出有用的特征。常见的方法有词袋模型（Bag-of-Words）、TF-IDF（Term Frequency-Inverse Document Frequency）等。

   from sklearn.feature_extraction.text import TfidfVectorizer
   
   vectorizer = TfidfVectorizer()
   X = vectorizer.fit_transform(documents)

3. 选择模型：这一步就像是挑选合适的工具箱。我们可以选择多种机器学习模型，比如朴素贝叶斯、支持向量机、决策树等。

   from sklearn.naive_bayes import MultinomialNB
   
   clf = MultinomialNB().fit(X_train, y_train)

4. 训练模型：现在，我们需要让模型学习如何分类。我们会用一部分数据来训练模型，让它学会区分不同的类别。

   from sklearn.model_selection import train_test_split
   
   X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

5. 评估模型：最后，我们要检查模型学得怎么样。我们会用剩下的数据来测试模型的准确率。

   predicted = clf.predict(X_test)
   from sklearn import metrics
   
   print("Accuracy:", metrics.accuracy_score(y_test, predicted))

实战演练

现在，让我们通过一个实战案例来加深理解。假设我们有一组邮件数据，我们需要构建一个模型来识别哪些是垃圾邮件。

1. 加载数据：我们先加载邮件数据集。

   from sklearn.datasets import fetch_openml
   
   emails = fetch_openml('emails', version=1)
   X, y = emails.data, emails.target

2. 数据预处理：接着我们清理数据，去除停用词，转换为小写等。

   processed_data = preprocess(X)

3. 特征提取：然后我们提取特征，这里我们用TF-IDF。

   vectorizer = TfidfVectorizer()
   X = vectorizer.fit_transform(processed_data)

4. 模型训练：现在我们用朴素贝叶斯分类器来训练模型。

   from sklearn.naive_bayes import MultinomialNB
   from sklearn.model_selection import train_test_split
   
   X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
   clf = MultinomialNB().fit(X_train, y_train)

5. 模型评估：最后，我们测试模型的准确性。

   predicted = clf.predict(X_test)
   print("Accuracy:", metrics.accuracy_score(y_test, predicted))

小结

同学们，今天我们学习了如何进行文本分类，包括数据预处理、特征提取、选择模型、训练模型和评估模型。希望你们喜欢今天的课程！