Skip to content

Commit 74259a4

Browse files
km1994km1994
committed
bert 技巧
1 parent 2e7b2f6 commit 74259a4

File tree

6 files changed

+152
-2
lines changed

6 files changed

+152
-2
lines changed

‎NLPinterview/textclassifier/Retrieval2Classifier/readme.md

Lines changed: 98 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,98 @@
1+
# 【关于 用检索的方式做文本分类 】 那些你不知道的事
2+
3+
> 作者：杨夕
4+
>
5+
> 论文：
6+
>
7+
> 论文地址：
8+
>
9+
> github:
10+
>
11+
> 论文出处：
12+
>
13+
> 项目地址：https://github.com/km1994/nlp_paper_study
14+
>
15+
> NLP 面经地址：https://github.com/km1994/NLP-Interview-Notes
16+
>
17+
> 推荐系统 百面百搭：https://github.com/km1994/RES-Interview-Notes
18+
>
19+
> 个人介绍：大佬们好，我叫杨夕，该项目主要是本人在研读顶会论文和复现经典论文过程中，所见、所思、所想、所闻，可能存在一些理解错误，希望大佬们多多指正。
20+
21+
- [【关于 用检索的方式做文本分类 】 那些你不知道的事](#关于-用检索的方式做文本分类--那些你不知道的事)
22+
- [一、动机](#一动机)
23+
- [二、基于检索的方法做文本分类思路](#二基于检索的方法做文本分类思路)
24+
- [2.0 基于检索的方法做文本分类 整体思路](#20-基于检索的方法做文本分类-整体思路)
25+
- [2.1 检索的方法的召回库如何构建](#21-检索的方法的召回库如何构建)
26+
- [2.2 检索的方法 的 训练阶段 如何做？](#22-检索的方法-的-训练阶段-如何做)
27+
- [2.3 检索的方法 的 预测阶段 如何做？](#23-检索的方法-的-预测阶段-如何做)
28+
- [2.3.1 **把标签集作为召回库** 的预测思路](#231-把标签集作为召回库-的预测思路)
29+
- [2.3.2 **把训练数据作为召回** 的预测思路](#232-把训练数据作为召回-的预测思路)
30+
- [三、用检索的方式做文本分类 方法 适用场景](#三用检索的方式做文本分类-方法-适用场景)
31+
- [参考](#参考)
32+
33+
## 一、动机
34+
35+
1. 标签类别较多：常规的分类模型只是预测10几个 label，但是真实工业界有时需要预测的 label 可能上百个，这种情况 一方面标注数据会存在严重不均衡现象，另一方面模型的预测结果也存在偏差性严重问题；
36+
2. 标签类别不固定：面对业务需求需要不断添加新标签时，容易导致每次新增标签都面临重新训练分类器模型问题；
37+
3. 语义信息丢失：以前的分类任务中，标签信息作为无实际意义，独立存在的one-hot编码形式存在，这种做法会潜在的丢失标签的语义信息；
38+
39+
那有什么方法可以解决该问题么？
40+
41+
答案：**基于检索的方法做文本分类**
42+
43+
## 二、基于检索的方法做文本分类思路
44+
45+
### 2.0 基于检索的方法做文本分类 整体思路
46+
47+
把文本分类任务中的标签信息转换成含有语义信息的语义向量，将文本分类任务转换成向量检索和匹配的任务。
48+
49+
### 2.1 检索的方法的召回库如何构建
50+
51+
因为采用 检索的方法 去做 文本分类，首先就是需要考虑如果 构建 召回库 问题，构建方法：
52+
53+
1. 把标签集作为召回库；
54+
2. 把训练数据作为召回库；
55+
56+
### 2.2 检索的方法 的 训练阶段 如何做？
57+
58+
无论是 **把标签集作为召回库** 还是 **把训练数据作为召回库**，其训练阶段的方法都是相同的，都可以采用 **双塔模型**；
59+
60+
1. 塔构建思路：
61+
62+
- 一个塔（模型）：用于对 输入句子 进行 encoding;
63+
- 一个塔（模型）：用于对 输入标签 进行 encoding;
64+
65+
2. 目标：通过训练拉近句子和标签的[CLS]输出特征表示之间距离；
66+
67+
### 2.3 检索的方法 的 预测阶段 如何做？
68+
69+
**把标签集作为召回库** 和 **把训练数据作为召回库** 思路存在不同。
70+
71+
### 2.3.1 **把标签集作为召回库** 的预测思路
72+
73+
1. 把标签作为召回集，每个标签的向量表示（也即[CLS]输出特征表示）是固定的；
74+
2. 然后构建一个标签向量库；
75+
3. 用待预测的句子的向量在标签向量库进行检索，找到特征相似度最大的标签，也即为待预测句子的标签。
76+
77+
### 2.3.2 **把训练数据作为召回** 的预测思路
78+
79+
1. 把训练数据作为召回集，构建一个训练集文本的向量库;
80+
2. 用待预测的句子的向量表示（也即[CLS]输出特征表示）在文本向量库进行检索，找到特征相似度最大的训练集文本，待预测句子的标签也即召回文本的标签。
81+
82+
## 三、用检索的方式做文本分类 方法 适用场景
83+
84+
1. 对于一些类别标签不是很固定的场景，或者需要经常有一些新增类别的需求的情况非常合适；
85+
2. 对于一些新的相关的分类任务，这种方法也不需要模型重新学习或者设计一种新的模型结构来适应新的任务。
86+
87+
总的来说，这种基于检索的文本分类方法能够有很好的拓展性，能够利用标签里面包含的语义信息，不需要重新进行学习。这种方法可以应用到相似标签推荐，文本标签标注，金融风险事件分类，政务信访分类等领域。
88+
89+
## 参考
90+
91+
1. [【NLP从零入门】预训练时代下，深度学习模型的文本分类算法（超多干货，小白友好，内附实践代码和文本分类常见中文数据集）](https://zhuanlan.zhihu.com/p/562448431)
92+
93+
94+
95+
96+
97+
98+

‎README.md

Lines changed: 14 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -71,7 +71,9 @@
7171
- [5.4 【关于 早停法 EarlyStopping 】那些你不知道的事](#54-关于-早停法-earlystopping-那些你不知道的事)
7272
- [5.5 【关于 标签平滑法 LabelSmoothing 】那些你不知道的事](#55-关于-标签平滑法-labelsmoothing-那些你不知道的事)
7373
- [5.6 【关于BERT如何处理篇章级长文本】那些你不知道的事](#56-关于bert如何处理篇章级长文本那些你不知道的事)
74-
- [5.7 【关于 Bert 未登录词处理】 那些你不知道的事](#57-关于-bert-未登录词处理-那些你不知道的事)
74+
- [5.7 【关于 Bert Trick】 那些你不知道的事](#57-关于-bert-trick-那些你不知道的事)
75+
- [5.7.1 【关于 Bert 未登录词处理】 那些你不知道的事](#571-关于-bert-未登录词处理-那些你不知道的事)
76+
- [5.7.2 【关于BERT在输入层引入额外特征】 那些你不知道的事](#572-关于bert在输入层引入额外特征-那些你不知道的事)
7577
- [六、【关于 Python 】那些你不知道的事](#六关于-python-那些你不知道的事)
7678
- [七、【关于 Tensorflow 】那些你不知道的事](#七关于-tensorflow-那些你不知道的事)
7779

@@ -953,6 +955,7 @@
953955
- 6.6 小模型大智慧
954956
- 6.6.1 模型蒸馏
955957
- 6.6.2 数据蒸馏
958+
- [【关于 用检索的方式做文本分类 】 那些你不知道的事](NLPinterview//textclassifier/Retrieval2Classifier/)
956959

957960
#### 4.4 [【关于 文本匹配】那些你不知道的事](NLPinterview/TextMatch/)
958961

@@ -1319,7 +1322,9 @@
13191322
- [3.4.1 从 模型角度 处理 介绍](#341-从-模型角度-处理-介绍)
13201323
- [3.4.2 从 模型角度 处理 模型思路介绍](#342-从-模型角度-处理-模型思路介绍)
13211324

1322-
#### 5.7 [【关于 Bert 未登录词处理】 那些你不知道的事](Trick/Bert_UNK_process/)
1325+
#### 5.7 [【关于 Bert Trick】 那些你不知道的事](Trick/Bert_trick/)
1326+
1327+
##### 5.7.1 [【关于 Bert 未登录词处理】 那些你不知道的事](Trick/Bert_trick/Bert_UNK_process/)
13231328

13241329
- 动机
13251330
- 中文预训练BERT 对于 英文单词覆盖不全问题。由于 中文预训练BERT 主要针对中文，所以词表中英文单词比较少，但是一般英文单词如果简单的直接使用tokenize函数，往往在一些序列预测问题上存在一些对齐问题，或者很多不存在的单词或符号没办法处理而直接使用　unk　替换了，某些英文单词或符号失去了单词的预训练效果；
@@ -1337,6 +1342,13 @@
13371342
- 方法三：
13381343
- 优点：对于一些 占位符（eg：<e></e>），方法一和方法二可能都无法生效，因为 <, e, >和 <e></e>均存在于 vocab.txt，但前三者的优先级高于 <e></e>，而 add_special_tokens会起效，却会使得词汇表大小增大，从而需另外调整模型size。但是，如果同时在词汇表vocab.txt中替换[unused]，同时 add_special_tokens，则新增词会起效，同时词汇表大小不变。
13391344

1345+
1346+
##### 5.7.2 [【关于BERT在输入层引入额外特征】 那些你不知道的事](Trick/Bert_trick/Bert_import_new_features/)
1347+
1348+
1. 邱锡鹏老师的flat : 他简单来说呢，是把词典拼在原文的输入的后面，然后和前面的词典的位置共享一个position的embedding。相当于呢是词典对原文进行了一种提示，引入了外部的知识。
1349+
2. 在底层增加一个embedding层，就像bert原生的一样，从input-id-embedding、token-type-embedding和mask-embedding变成input-id-embedding、token-type-embedding、mask-embedding和keyword-embedding。输入，lookup之后，输出进行加和即可。这样的话，只需要随机初始化keyword-embedding就行，其他参数都可以加载原始参数;
1350+
3. 在关键词前后加上特殊的标识符，让模型强行去学习，关键词的信息。
1351+
13401352
### 六、[【关于 Python 】那些你不知道的事](python/)
13411353

13421354
- [【关于 Python 】那些你不知道的事](python/)

‎Trick/Bert_UNK_process/img/微信截图_20220917161347.png renamed to ‎Trick/Bert_trick/Bert_UNK_process/img/微信截图_20220917161347.png

File renamed without changes.

‎Trick/Bert_UNK_process/readme.md renamed to ‎Trick/Bert_trick/Bert_UNK_process/readme.md

File renamed without changes.

‎Trick/Bert_UNK_process/ukn_test.ipynb renamed to ‎Trick/Bert_trick/Bert_UNK_process/ukn_test.ipynb

File renamed without changes.

‎Trick/Bert_trick/Bert_import_new_features/readme.md

Lines changed: 40 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,40 @@
1+
# 【关于BERT在输入层引入额外特征】 那些你不知道的事
2+
3+
> 作者：杨夕
4+
>
5+
> 介绍：研读顶会论文，复现论文相关代码
6+
>
7+
> NLP 百面百搭 地址：https://github.com/km1994/NLP-Interview-Notes
8+
>
9+
> 推荐系统 百面百搭 地址：https://github.com/km1994/RES-Interview-Notes
10+
>
11+
> 搜索引擎 百面百搭 地址：https://github.com/km1994/search-engine-Interview-Notes 【编写ing】
12+
>
13+
> NLP论文学习笔记：https://github.com/km1994/nlp_paper_study
14+
>
15+
> 推荐系统论文学习笔记：https://github.com/km1994/RS_paper_study
16+
>
17+
> GCN 论文学习笔记：https://github.com/km1994/GCN_study
18+
>
19+
> **推广搜 军火库**：https://github.com/km1994/recommendation_advertisement_search
20+
![](other_study/resource/pic/微信截图_20210301212242.png)
21+
22+
> 手机版笔记，可以关注公众号 **【关于NLP那些你不知道的事】** 获取，并加入 【NLP && 推荐学习群】一起学习！！！
23+
24+
> 注：github 网页版 看起来不舒服，可以看 **[手机版NLP论文学习笔记](https://mp.weixin.qq.com/s?__biz=MzAxMTU5Njg4NQ==&mid=100005719&idx=1&sn=14d34d70a7e7cbf9700f804cca5be2d0&chksm=1bbff26d2cc87b7b9d2ed12c8d280cd737e270cd82c8850f7ca2ee44ec8883873ff5e9904e7e&scene=18#wechat_redirect)**
25+
26+
## 一、动机
27+
28+
29+
30+
## 二、方法
31+
32+
33+
1. 邱锡鹏老师的flat : 他简单来说呢，是把词典拼在原文的输入的后面，然后和前面的词典的位置共享一个position的embedding。相当于呢是词典对原文进行了一种提示，引入了外部的知识。
34+
2. 在底层增加一个embedding层，就像bert原生的一样，从input-id-embedding、token-type-embedding和mask-embedding变成input-id-embedding、token-type-embedding、mask-embedding和keyword-embedding。输入，lookup之后，输出进行加和即可。这样的话，只需要随机初始化keyword-embedding就行，其他参数都可以加载原始参数;
35+
3. 在关键词前后加上特殊的标识符，让模型强行去学习，关键词的信息。
36+
37+
38+
## 参考
39+
40+
1. [BERT在输入层如何引入额外特征？](https://www.zhihu.com/question/470540809/answer/2691234148)

0 commit comments

Comments
 (0)