安全公司报告
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210297511.9 (22)申请日 2022.03.24 (71)申请人 阳光保险集团股份有限公司 地址 518000 广东省深圳市福田区红荔西 路7002号第一世界广场A座17层 (72)发明人 史祎凡 杜新凯 吕超 王建辉 侯佳腾 杨金凯 杨欢 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 荣颖佳 (51)Int.Cl. G06F 16/35(2019.01) G06F 40/30(2020.01) G06K 9/62(2022.01) (54)发明名称 文本数据的标注方法、 装置和电子设备 (57)摘要 本发明提供了一种文本数据的标注方法、 装 置和电子设备, 该方法包括: 获取多个待标注文 本; 对多个待标注文本进行文本聚类, 得到多个 聚类簇; 采用语义文本相似度算法, 计算多个聚 类簇中每两个聚类簇的相似度; 基于相似度计算 结果, 确定多个待标注文本的分类标签。 该方式 中, 首先采用文本聚类得出初步的标注结果, 然 后采用语义文本相似度算法进行聚类文本间的 相似度计算, 该方式可保证文本数据标注的精 度, 也无需大量的人工标注, 降低了数据标注的 时间和人力成本, 进而为提升AI模型的性能提供 优质的标注数据。 权利要求书2页 说明书7页 附图2页 CN 114722195 A 2022.07.08 CN 114722195 A 1.一种文本数据的标注方法, 其特 征在于, 所述方法包括: 获取多个待标注文本; 对所述多个待标注文本进行文本聚类, 得到多个聚类簇; 采用语义文本相似度算法, 计算所述多个聚类簇中每两个所述聚类簇的相似度; 基于相似度计算结果, 确定所述多个待标注文本的分类标签。 2.根据权利要求1所述的方法, 其特征在于, 每个所述聚类簇 中至少包含有一个所述待 标注文本; 所述采用语义文本相似度算法, 计算所述多个聚类簇 中每两个所述聚类簇的相似度的 步骤, 包括: 针对所述多个聚类簇中的每两个所述聚类簇, 执 行下述操作: 从第一聚类簇所包 含的待标注文本中, 选取第一目标文本; 从第二聚类簇所包 含的待标注文本中, 选取第二目标文本; 采用所述语义文本相似度算法, 计算所述第 一目标文本和所述第 二目标文本的文本相 似度, 将所述文本相似度确定为所述第一聚类簇和所述第二聚类簇的相似度。 3.根据权利要求1或2所述的方法, 其特征在于, 所述相似度计算结果包括: 每两个所述 聚类簇的相似度; 所述基于相似度计算结果, 确定所述多个待标注文本的分类标签的步骤, 包括: 将所述相似度计算结果中, 相似度大于预设阈值的所述聚类簇合并为一个分类集合, 得到至少一个分类集 合; 确定每个所述分类集 合对应的分类标签; 针对每个所述分类集合, 将当前分类集合对应的分类标签, 确定为所述当前分类集合 所包含的所述待标注文本的分类标签。 4.根据权利要求3所述的方法, 其特征在于, 所述确定每个所述分类集合对应的分类标 签的步骤, 包括: 针对每个所述分类集 合, 对所述分类集 合所包含的待标注文本进行 特征提取; 基于特征提取结果, 确定所述分类集 合的分类标签。 5.根据权利要求3所述的方法, 其特征在于, 所述确定每个所述分类集合对应的分类标 签的步骤, 包括: 响应针对于所述分类集合的标签设置指令, 将所述标签设置指令指示的分类标签, 设 置为所述分类集 合的分类标签。 6.根据权利要求1所述的方法, 其特征在于, 所述对所述多个待标注文本进行文本聚 类, 得到多个聚类簇的步骤之前, 所述方法还 包括: 对每个所述待标注文本进行文本向量化处理, 得到每个所述待标注文本对应的文本向 量, 以对所述多个待标注文本对应的文本向量进行文本聚类, 得到多个聚类簇 。 7.根据权利要求6所述的方法, 其特征在于, 所述对每个所述待标注文本进行文本向量 化处理, 得到每 个所述待标注文本对应的文本向量的步骤, 包括: 采用Bert模型对每个所述待标注文本进行文本向量化操作, 得到每个所述待标注文本 对应的文本向量。 8.根据权利要求1所述的方法, 其特征在于, 所述获取多个待标注文本的步骤之后, 所权 利 要 求 书 1/2 页 2 CN 114722195 A 2述方法还 包括: 对每个所述待标注文本进行预处理; 其中, 所述预处理包括数据清洗、 数据去重、 去停 用词和缺失值补充中的至少一种。 9.一种文本数据的标注装置, 其特 征在于, 所述装置包括: 文本获取模块, 用于获取多个待标注文本; 文本聚类模块, 用于对所述多个待标注文本进行文本聚类, 得到多个聚类簇; 相似度计算模块, 用于采用语义文本相似度算法, 计算所述多个聚类簇中每两个所述 聚类簇的相似度; 标签确定模块, 用于基于相似度计算结果, 确定所述多个待标注文本的分类标签。 10.一种电子设备, 其特征在于, 所述电子设备包括处理器和存储器, 所述存储器存储 有能够被所述处理器执行的机器可执行指 令, 所述处理器执行所述机器可执行指 令以实现 权利要求1至8任一项所述的文本数据的标注方法。权 利 要 求 书 2/2 页 3 CN 114722195 A 3
专利 文本数据的标注方法、装置和电子设备
文档预览
中文文档
12 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共12页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 人生无常 于
2024-03-18 17:51:08
上传分享
举报
下载
原文档
(507.6 KB)
分享
友情链接
T-WJDGC 0010—2022 生产自动化智能控制系统与高效节能技术.pdf
T-CIECCPA 009—2020 工业企业节能诊断改造效果评估指南.pdf
NIST SP 800-61 R2 Computer Security Incident Handling Guide 英文版.pdf
GB-T 25970-2010 不燃无机复合板.pdf
GB-T 43512-2023 全钒液流电池可靠性评价方法.pdf
GB-T 42435-2023 海岸侵蚀监测与灾害损失评估技术规范.pdf
GB-T 5171.22-2017 小功率电动机 第22部分:永磁无刷直流电动机试验方法.pdf
GB-T 32923-2016 信息技术 安全技术 信息安全治理 .pdf
GB-T 23176-2008 篮球架.pdf
GB-T 41785-2022 磁光电混合存储系统通用规范.pdf
深信服 销售技巧之客户公关 2022.pdf
GB-T 20257.1-2017 国家基本比例尺地图图式 第1部分:1500 11 000 12 000地形图图式.pdf
T-CEC 611—2022 变电站设备声成像测试技术导则.pdf
人工智能行业:AI大模型赋能千行百业-国泰君安-2023.7.16-117页.pdf
GB-T 30998-2014信息技术软件安全保障规范.pdf
GB-T 19345.1-2017 非晶纳米晶合金 第1部分:铁基非晶软磁合金带材.pdf
GB-T 30238-2013 可移动文物保护修复室规范化建设与仪器装备基本要求.pdf
法律法规 青岛市民用建筑节能条例2022-01-21.pdf
DB42-T 2226.4-2024 自然资源政务一张图应用规范 第4部分:运行服务 湖北省.pdf
DB52-T 1636.6-2021 机关事务云 第6部分:公共机构节能管理数据 贵州省.pdf
1
/
3
12
评价文档
赞助2.5元 点击下载(507.6 KB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。