| 基于知识图谱的多模 内容创作技术及应用 卞东海 百度高级研发工程师 目录 CONTENT 01 百度知识图谱概览 02 百度智能创作全景 03 多模内容创作技术 04 落地产品及应用案例 1. 百度知识图谱概览 知识图谱——让机器像人类一样理解客观世界的基石 概 实体 念 关 属性 标 系 s 评论 签 配图 … i s A 百度知识图谱发展历程 知识图谱立项 面向搜索的知识图谱 通用知识图谱 通用/行业知识图谱/知识中台 发布知识中台 规模化行业落地 知识图谱服务规模增长千倍 平台日均图检索服务量 • • • 知识图谱 立项 2010 2013 图数据库 图谱问答 规模化落地 百度搜索 2014 2017年获中国电子学会科技进步一等奖 2020年获第21届中国专利奖银奖 2021年中国数博会领先成果奖 知识生产 全流程平台化 落地百度 各产品线 事件图谱 行业 知识图谱 多模态 知识图谱 知识图谱 自学习 • 数十亿级实体 • 数千亿级事实 • 日均响应百亿次请求 2015 2016 2017 2018 2019 2020 2021 百度知识图谱技术视图 知识获取 知识整合 结构化 解析 本体构建 半结构化 知识挖掘 实体归一 知识补全与扩展 关系挖掘 图谱认知 标签挖掘 评论挖掘 关注点 挖掘 异构数据 关联 知识表示 知识解析 应用技术 搜索 问答 推荐 开放 知识挖掘 实体融合 合作数据 引入 属性归一 知识图谱 对话 知识推理 收录模型 架构与平台 知识计算 图存储系统 发现 图检索系统 调度 图谱策略框架 更新 数据生产平台 图谱开放平台 决策 通用知识图谱应用 智能搜索：基于知识图谱，直接满足用户搜索需求，日均响应数十亿搜索 信息流推荐：基于知识图谱的内容模型+智能推荐技术，带 请求 来分发效率的大幅提升 实体 subClass 汽 车 产 品 实体短评 实体视频 实体配图 实 体 图 谱 知识检索 内 饰 车 身 类 型 suv 高 端 大 气 实体属性 标签 产 品 Of hasA 品 牌 评 测 定 价 汽车 品牌 instanceOf 保 时 捷 卡 宴 竞 争 关 基于关注点图谱的语义理解与推荐 保 时 捷 系 豪 华 路 虎 路 虎 揽 胜 所属品牌 实体侧面 实体图谱 保时捷内饰 850 实体服务 力,覆盖40%+的信息满足需求 DuerOS对话服务 电视 冰箱 空调 小家电 语音识别 语音播报 自然语言理解 对话状态控制 手机 机器人 手表 实体 / 概念类 汽车 产品 DuerOS语音对话系统：助力DuerOS实现10大类目超过100类能 音箱 汽车 玩具 对话管理 屏幕展示 自然语言生成 知识图谱 DuerOS Bot框架 来源 车行路天下 900 实体长评 知识计算 内容语义理解 搜索 关 注 点 图 谱 S U V 汽 车 品 牌 汽车 内饰 豪华SUV 保 时 捷 保时捷 内饰 保时捷卡宴与 路虎揽胜 保时捷 820 豪 华suv 790 保时捷 评测 关注点图谱 保 时 捷 Mac an 行业知识图谱应用 智慧医疗 医疗临床辅助决策服务(CDSS) 智能 辅助 治疗 分诊 诊断 建议 符号推理 产生式规则推理 与概率图推理 医疗专业图谱 • 静态知识保 • 临床经验健 站 医 院 科 室 药 品 保 健 品 医 疗 组 织 机 医 构 院 司法庭审辅助决策——高效判决、人机结合 病历语义 搜索 原告诉 求 实体 链接 深度学习 基于图表征学习的关 系推理 • 争议焦 点 相似案 例 法规依 据 我话费还有多少？ 查费 我要更换套餐 办理 你们服务太差了 语义检 索 执 业 医 师 治 疗 方 案 食 疗 人机 结合 医 学 学 科 科 室 多轮交互 语音IVR 症状 or 体征 疾 病 手 术 人 体 结 构 医学检 验检查 客服助手 物 质 推理计 算 实体刻 画 文书理 解 推荐模 型 客服助手 业务推荐 法律行业图谱 引导 办理 客观知识 来电意图预测 自动 人工 实时话术提示 行业经验 用户业务画像 业务 模型 行为 模型 法律类FAQ 语音机器人 法令法规 诊断路径 挖掘 行业数 据 关联 基于海量专业知识构建的医疗图谱，包 含千万量级的医学事实 基于专业医疗知识的医疗认知计算引擎 行业主 体 知识抽 取 真实案件 类案要 素 抽取 行业语 义 标签挖 掘 语音 识别 行业对 象 刻画 法律知识图谱Ontology构建 • • • 自动分类预测 行政实体 用户行为预测 诊 断 路 径 因果关系 学习 人工客 服 投诉 多轮交互语音IVR 反 馈 学 习 机 制 医疗大数据 权威教材 | 药典 | 病历 | 临床指南 | 问诊交互数据 • 案件情 形 知识图谱智能庭审系统 医疗 对象 医疗图谱构建 结构化 解析 病历质 控 智能客服 …… 医疗认知计算 交互式问答 知识图驱动的问 题生成 药 企 智慧司法 标准、精细、体系化的类案知识体系构建 类案推荐效果显著 办案效率显著提升，结案率提高一倍以上 语义 理解 知识图谱 自主 学习 智能 检索 • 引入知识图谱，沉淀客服知识和信息资源 • 理解客户意图，支持客服坐席知识提示 • 人工通话成本大幅降低 2. 百度智能创作全景 内容创作挑战 优 优质的内容 如何从海量信息中实时把握热点事件、价值信息 快 时效性要求高 如何提高创作效率，第一时间触达用户 质 高质量的写作 如何提升文章丰富度，同时避免错误 广 广泛内容需求 如何覆盖长尾、冷门内容，满足用户多样需求 智能创作是解决问题的有力工具 百度大脑智能创作平台全景图 行业场景 媒体 金融 策采编发评全流程效率提升 舆情分析与金融报告生成 营销 更多场景…… 营销数据分析与报告生成 百度大脑智能创作平台 应用层 智能辅助 创作技术 智能自动 创作技术 新闻线索 热点分析 专题分析 素材检索 智能写稿 视频创作 智能审校 热点发现 热度趋势 舆情监控 自动拆条 文本纠错 文章标签 质量检测 数据监控 关联事件 事件脉络 观点分析 自动编目 文本审核 热度分析 传播分析 …… 数据写作 事件写作 视频转写 摘要生成 文案生成 主题生成 聚合写作 评论写作 视频创作 标题生成 图片生成 智能改写 自然语言处理+知识图谱 写诗/春联 …… 自动创作：让作者从重复工作中解放 天⽓ 股市 体育 寻⼈ …… 财经 ⺠⽣ 汽⻋ …… 机器自动创作 vs. 人工撰稿 “ 机器创作不能完全取代作者 机器自动创作 素材来源 创作速度 创作类型 • 大数据分析 机器创作与作者应分工协作 人工撰稿 • 依赖个人知识背景 • 热点、素材实时获取 • 高效快速生成 • 时间长、成本高 • 擅长数据类报道 • 能够演绎、联想 • 限定格式写作 • 擅长题材深度挖掘 • 深度分析类不够实用 • 写作形式多变 ” 辅助创作：全流程智能辅助，全面赋能内容生产 创作前：辅助选题、激发灵感 创作后：保证质量，提升分发 创作中：素材推荐，丰富内容 热点发现 热词分析 领域知识库 事件脉络 低质监测 文本纠错 合规检测 文本润色 事件检索 观点分析 标题生成 多模推荐 标题提取 自动摘要 文本分类 相似度对比 全网域信息 获取分析 热词分析 全网热度趋势 需求关联分析 事件脉络 百万量级资讯库 事件脉络小时级自动更新 文本纠错 俄乌局势 词语润色 素材分析 主题挖掘 评论分析 关系挖掘 自动拆条 自动编目 文本审核 3. 多模内容创作技术 创作一般流程（人工VS机器） 策 策 采 采 编 编 审 审 发 智能辅助创作 发 反馈 媒体 机器 智能自动创作 3.1 自动图文创作 自动图文创作 – 文章类型 计算/数值类 聚合类 自动图文创作 – 文章类型 浓缩类 植物科普 事件类 每日大事件 分析类 视频转写 投资并购 视频->图文 自动图文创作 – 文章生成流程 写作触发 文章生成 话题挖掘 宏观 规划 数据触发 微观 规划 数据 资讯 知识 表层 实现 素材组织 篇章结构规划 词汇选择 句子结构规划 文本生成 标题,短句,摘要 润色&配图 质量控制 文章发布 质量模型检测 百家号 审核 小程序 其他业务内容平台