Hswyの小窝

网站标签

最是人间留不住、 朱颜辞镜花辞树、

网站描述

坐标：江苏南京

上一篇：成和电力科技有限公司

下一篇：深圳网站建设公司

网站快照

H s w y の 小 窝 今 日 事 | 今 日 做 文 章 3 7 标 签 2 4 分 类 1 2 首 页 时 间 轴 标 签 分 类 娱 乐 图 库 音 乐 电 影 关 于 H s w y の 小 窝 搜 索 首 页 时 间 轴 标 签 分 类 娱 乐 图 库 音 乐 电 影 关 于 H s w y の 小 窝 图 对 比 学 习 发 表 于 2 0 2 3 0 3 2 9 | 对 比 学 习 图 对 比 学 习 的 经 典 步 骤 图 对 比 从 一 张 大 图 中 随 机 采 样 一 批 （ b a t c h ） 图 ； 对 每 一 个 图 进 行 两 次 随 机 的 数 据 增 强 （ 如 删 除 若 干 条 边 （ e d g e ） ） ， 增 强 后 两 个 新 图 称 为 视 图 （ V i e w ） ； 使 用 待 训 练 的 G N N 对 V i e w 进 行 编 码 ， 得 到 节 点 表 示 向 量 （ n o d e r e p r e s e n t a t i o n ） 和 图 表 示 向 量 （ g r a p h r e p r e s e n t a t i o n s ） ； 根 据 上 述 表 示 向 量 计 算 I n f o N C E 损 失 ， 其 中 由 同 一 个 g r a p h 增 强 出 来 的 v i e w 的 表 示 相 互 靠 近 ， 由 不 同 的 g r a p h 增 强 得 到 的 v i e w 的 表 示 相 互 远 离 。 节 点 对 比 （ 以 H e C o 为 例 ） 针 对 一 张 图 ， 设 置 两 个 视 图 ， 分 别 为 n e t w o r k s c h e m a 视 图 与 m e t a p a t h 视 图 ； 使 用 待 训 练 的 G N N 在 两 个 视 图 下 分 别 进 行 编 码 ， 得 到 两 种 视 图 节 点 表 示 向 量 （ n o d e r e p r e s e n t a t i o n ） ； 根 据 上 述 表 示 向 量 计 算 对 比 损 失 ， 根 据 两 节 点 之 间 m e t a p a t h 路 径 条 数 确 定 正 负 样 本 节 点 ， 正 样 本 节 点 表 示 相 互 靠 近 ， 负 样 本 节 点 表 示 相 互 远 离 。 （ 补 充 ： 对 比 损 失 计 算 了 两 次 ， 第 一 次 正 负 样 本 在 n e t w o r k s c h e m a 视 图 上 ， 一 次 正 负 样 本 在 m e t a p a t h 视 . . . 几 个 m a t c h 发 表 于 2 0 2 2 0 5 0 9 | 半 监 督 学 习 几 个 m a t c h M i x M a t c h 转 载 ： h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 6 6 2 8 1 8 9 0 人 类 的 学 习 方 法 是 半 监 督 学 习 ， 他 们 能 从 大 量 的 未 标 记 数 据 和 极 少 量 的 标 记 数 据 学 习 ， 迅 速 理 解 这 个 世 界 。 半 监 督 学 习 最 近 有 没 有 什 么 大 的 突 破 呢 ？ 这 篇 博 客 介 绍 了 D e e p M i n d 的 M i x M a t c h 【 2 】 方 法 ， 此 方 法 仅 用 少 量 的 标 记 数 据 ， 就 使 半 监 督 学 习 的 预 测 精 度 逼 近 监 督 学 习 。 深 度 学 习 领 域 的 未 来 可 能 因 此 而 刷 新 。 以 前 的 半 监 督 学 习 方 案 ， 一 直 以 来 表 现 其 实 都 很 差 。 你 可 能 会 想 到 B E R T 和 G P T ， 这 两 个 超 强 的 自 然 语 言 预 训 练 模 型 。 但 这 两 个 模 型 的 微 调 只 能 算 迁 移 学 习 ， 而 非 半 监 督 学 习 。 因 为 它 们 最 开 始 训 练 的 时 候 ， 使 用 了 监 督 学 习 方 法 。 比 如 通 过 语 言 模 型 ， 输 入 前 言 ， 预 测 后 语 ； 输 入 语 境 ， 完 形 填 空 ； 输 入 前 言 和 后 语 ， 预 测 是 否 前 言 不 搭 后 语 。 这 几 种 方 法 ， 很 难 称 作 无 监 督 学 习 。 下 面 这 几 种 大 家 很 容 易 想 到 的 半 监 督 学 习 方 法 ， 效 果 都 不 是 很 好 。 比 如 使 用 主 成 分 分 析 P C A ， 提 取 数 据 中 方 差 最 大 的 特 征 ， 再 在 少 量 标 记 数 据 上 ， 做 监 督 学 习 ； 又 比 如 使 用 自 编 码 机 A u t o E n c o d e r ， 以 重 建 输 入 图 像 的 方 式 ， 获 得 数 据 潜 在 表 示 ， 对 小 数 据 监 督 学 习 ； 再 比 如 . . . 有 监 督 对 比 学 习 调 研 发 表 于 2 0 2 2 0 5 0 6 | 对 比 学 习 有 监 督 对 比 学 习 调 研 论 文 总 览 C V 领 域 K h o s l a P , T e t e r w a k P , W a n g C , e t a l . S u p e r v i s e d c o n t r a s t i v e l e a r n i n g [ J ] . A d v a n c e s i n N e u r a l I n f o r m a t i o n P r o c e s s i n g S y s t e m s , 2 0 2 0 , 3 3 : 1 8 6 6 1 1 8 6 7 3 . L i J , X i o n g C , H o i S C H . C o m a t c h : S e m i s u p e r v i s e d l e a r n i n g w i t h c o n t r a s t i v e g r a p h r e g u l a r i z a t i o n [ C ] / / P r o c e e d i n g s o f t h e I E E E / C V F I n t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e r V i s i o n . 2 0 2 1 : 9 4 7 5 9 4 8 4 . Y a n g F , W u K , Z h a n g S , e t a l . C l a s s A w a r e C o n t r a s t i v e S e m i S u p e r v i s e d L e a r n i n g [ J ] . a r X i v p r e p r i n t a r X i v : 2 2 0 3 . 0 2 2 6 1 , 2 0 2 2 . Z h a o Z , Z h o u L , W a n g . . . 一 些 小 知 识 点 发 表 于 2 0 2 2 0 4 2 9 | 标 签 噪 声 一 些 小 知 识 点 L a b e l S m o o t h i n g 参 考 ： 标 签 平 滑 L a b e l S m o o t h i n g 概 述 云 + 社 区 腾 讯 云 ( t e n c e n t . c o m ) l a b e l s m o o t h i n g 就 是 把 原 来 的 o n e h o t 表 示 ， 在 每 一 维 上 都 添 加 了 一 个 随 机 噪 音 。 这 是 一 种 简 单 粗 暴 ， 但 又 十 分 有 效 的 方 法 ， 目 前 已 经 使 用 在 很 多 的 图 像 分 类 模 型 中 了 。 o n e h o t 劣 势 可 能 导 致 过 拟 合 。 0 或 1 的 标 记 方 式 导 致 模 型 概 率 估 计 值 为 1 ， 或 接 近 于 1 ， 这 样 的 编 码 方 式 不 够 s o f t ， 容 易 导 致 过 拟 合 。 为 什 么 ？ 用 于 训 练 模 型 的 t r a i n i n g s e t 通 常 是 很 有 限 的 ， 往 往 不 能 覆 盖 所 有 的 情 况 ， 特 别 是 在 训 练 样 本 比 较 少 的 情 况 下 更 为 明 显 。 以 神 经 机 器 翻 译 （ N M T ） 为 例 ： 假 设 预 测 句 子 “ 今 天 下 午 我 们 去 . . ” 中 ， “ 去 ” 后 面 的 一 个 词 。 假 设 只 有 “ 去 钓 鱼 ” 和 “ 去 逛 街 ” 两 种 搭 配 ， 且 真 实 的 句 子 是 “ 今 天 下 午 我 们 去 钓 鱼 ” 。 t r a i n i n g s e t 中 ， “ 去 钓 鱼 ” 这 个 搭 配 出 现 1 0 次 ， “ 去 逛 街 ” 搭 配 出 现 4 0 次 。 “ 去 钓 鱼 ” 出 现 概 率 真 实 概 率 是 2 0 % ， “ 去 逛 街 ” 出 现 的 真 实 概 率 是 8 0 % 。 因 为 采 用 0 或 1 的 表 示 方 式 ， 随 着 t r a i n i n g 次 数 增 加 ， 模 型 逐 渐 倾 向 于 “ 去 逛 街 ” 这 个 搭 配 ， 使 这 个 . . . L a b e l n o i s e R e p r e s e n t a t i o n L e a r n i n g 发 表 于 2 0 2 2 0 4 2 8 | 标 签 噪 声 L a b e l n o i s e R e p r e s e n t a t i o n L e a r n i n g 参 考 文 献 噪 声 标 签 的 最 早 工 作 可 以 追 溯 到 2 0 世 纪 8 0 年 代 的 任 意 分 类 噪 声 的 二 分 类 问 题 。 近 些 年 ， 随 着 深 度 学 习 研 究 的 深 入 ， 相 关 研 究 发 现 深 度 神 经 网 络 在 众 多 场 景 中 取 得 的 成 果 离 不 开 大 量 的 真 实 标 签 信 息 。 然 而 ， 在 现 实 复 杂 的 生 活 场 景 中 ， 由 于 人 工 失 误 、 原 始 数 据 噪 声 和 专 业 知 识 不 足 等 问 题 ， 导 致 实 际 采 集 得 到 的 数 据 常 常 包 含 错 误 的 标 签 ， 或 者 只 包 含 少 量 的 真 实 性 可 靠 的 标 签 。 因 此 ， 如 何 在 包 含 噪 声 标 签 的 数 据 集 上 ， 合 理 地 选 出 真 实 性 大 或 者 说 可 靠 的 标 签 是 当 前 的 一 大 研 究 热 点 。 在 包 含 噪 声 标 签 的 数 据 集 上 ， 如 果 不 作 任 何 处 理 ， 直 接 采 用 神 经 网 络 进 行 有 监 督 的 训 练 和 建 模 ， 会 导 致 神 经 网 络 模 型 难 以 学 习 到 原 始 数 据 的 真 实 分 布 ， 或 者 说 很 容 易 让 神 经 网 络 模 型 对 错 误 标 注 的 数 据 过 拟 合 ， 导 致 下 游 的 分 类 任 务 性 能 不 理 想 。 理 论 分 析 原 文 从 数 据 （ D a t a ） 层 面 、 目 标 （ O b j e c t i v e ） 层 面 和 优 化 （ O p t i m i z a t i o n ） 层 面 对 如 何 处 理 L N R L 进 行 了 分 析 数 据 层 面 数 据 层 面 主 要 考 虑 建 模 噪 声 数 据 到 无 噪 声 数 据 之 间 的 关 系 ， 即 对 数 据 对 分 布 的 标 签 噪 声 特 性 进 行 建 模 。 有 两 种 类 型 的 噪 声 ： i n s t a n c e d e p e n d e . . . U n i f i e d R o b u s t T r a i n i n g f o r G r a p h N e u r a l N e t w o r k s a g a i n s t L a b e l N o i s e （ P A K D D ） 发 表 于 2 0 2 2 0 4 2 1 | 标 签 噪 声 U n i f i e d R o b u s t T r a i n i n g f o r G r a p h N e u r a l N e t w o r k s a g a i n s t L a b e l N o i s e ( P A K D D ) 论 文 链 接 代 码 ： 暂 无 摘 要 图 神 经 网 络 ( g n n ) 在 图 的 节 点 分 类 方 面 已 经 达 到 了 最 先 进 的 性 能 。 现 有 的 绝 大 多 数 陈 国 都 假 设 训 练 集 提 供 的 标 签 是 正 确 的 。 然 而 ， 如 何 在 有 标 签 噪 声 的 情 况 下 提 高 G N N 的 鲁 棒 性 的 研 究 还 很 少 。 挑 战 图 学 习 的 建 模 面 临 标 签 稀 疏 性 和 标 签 依 赖 的 两 个 问 题 ： ( 1 ） 标 签 稀 疏 性 : 节 点 相 互 连 接 的 图 结 构 数 据 比 单 个 图 像 更 难 以 进 行 数 据 标 注 。 通 常 ， 图 是 稀 疏 标 记 的 ， 只 有 一 小 部 分 标 记 节 点 用 于 训 练 。 因 此 ， 我 们 不 能 像 之 前 使 用 “ 小 损 失 技 巧 ” 的 方 法 那 样 ， 简 单 地 删 除 带 有 损 坏 标 签 的 “ 坏 节 点 ” 。 ( 2 ) 标 签 依 赖 : 图 节 点 数 据 表 现 出 很 强 的 标 签 依 赖 ， 因 此 结 构 接 近 度 高 ( 直 接 或 间 接 连 接 ) 的 节 点 往 往 具 有 相 似 的 标 签 。 这 就 迫 切 需 要 在 训 练 抗 标 签 噪 声 的 鲁 棒 模 型 时 充 分 利 用 图 拓 扑 和 稀 疏 节 点 标 签 。 方 法 总 结 本 文 提 出 了 一 种 采 用 标 签 聚 合 策 略 的 样 本 重 加 权 和 标 签 纠 正 的 方 法 ， 具 体 分 为 ： 1 ） 标 签 聚 合 ： 具 体 来 说 ， 我 们 执 行 随 机 漫 步 来 收 集 具 有 更 高 阶 接 近 度 的 上 下 文 节 点 。 然 后 ， 采 用 上 述 策 略 选 取 的 节 点 ， 组 成 一 . . . X F T P 通 过 密 钥 登 录 访 问 远 程 服 务 器 发 表 于 2 0 2 2 0 4 0 7 | 杂 记 X F T P 通 过 密 钥 登 录 访 问 远 程 服 务 器 1 安 装 X f t p 之 后 ， 点 击 左 上 角 的 文 件 新 建 2 填 写 配 置 信 息 名 称 ： 随 意 设 置 主 机 ： I P 地 址 协 议 ： S F T P 端 口 号 ： 2 2 方 法 ： P u b l i c K e y 用 户 名 ： 自 己 的 用 户 名 密 码 ： 用 户 名 对 应 的 密 码 3 P u b l i c K e y 的 设 置 找 到 自 己 本 地 私 钥 （ i d _ r s a ） 所 在 目 录 ， 一 般 在 本 地 用 户 目 录 下 ， 然 后 选 择 该 私 钥 导 入 。 待 全 部 信 息 配 置 完 成 后 ， 点 击 确 定 。 4 访 问 远 程 服 务 器 点 击 右 上 角 的 文 件 ， 点 击 打 开 此 时 会 显 示 已 经 创 建 的 会 话 信 息 ， 选 择 刚 才 创 建 的 会 话 ， 双 击 访 问 远 程 服 务 器 右 边 的 是 远 程 服 务 器 的 文 件 ， 左 边 的 是 本 地 的 文 件 ， 可 以 将 本 地 文 件 直 接 拖 拽 至 服 务 器 相 应 目 录 下 完 成 文 件 传 输 子 模 函 数 发 表 于 2 0 2 2 0 4 0 6 | 杂 记 子 模 函 数 边 际 效 益 递 减 一 般 而 言 ， 消 费 者 偏 好 某 物 而 未 能 获 得 ， 或 拥 有 数 量 不 够 大 时 ， 增 加 消 费 量 则 其 满 足 感 大 增 （ 边 际 效 用 增 加 ） ； 但 拥 有 数 量 足 够 时 ， 再 增 加 消 费 量 则 其 满 足 感 增 加 幅 度 逐 渐 平 缓 （ 边 际 效 用 递 减 ） ； 拥 有 数 量 太 多 时 ， 再 增 加 消 费 量 则 反 而 感 觉 厌 恶 （ 边 际 效 用 减 为 负 且 继 续 递 减 ， 累 积 之 总 效 用 因 此 ， 亦 减 少 ） 。 在 正 常 状 况 下 ， 消 费 者 拥 有 足 够 数 量 而 边 际 效 用 递 减 后 ， 会 将 有 限 资 源 配 置 转 移 以 满 足 其 他 欲 望 ， 不 至 于 消 费 同 一 商 品 过 量 到 感 觉 厌 恶 。 简 单 来 说 ， 就 是 比 如 说 ， 你 在 非 常 饿 的 时 候 ， 打 开 了 一 桶 泡 面 ， 你 吃 下 去 的 第 一 口 给 你 带 来 的 满 足 感 是 比 吃 了 好 几 口 之 后 给 你 带 来 的 满 足 感 要 高 的 多 的 。 按 照 上 面 的 这 个 例 子 ， 这 个 “ 边 际 ” 指 的 就 是 “ 当 前 吃 的 最 后 一 口 面 ” ， “ 边 际 效 益 ” 指 的 是 “ 当 前 这 口 面 给 你 带 来 的 满 足 感 ” 。 S u b m o d u l a r F u n c t i o n s （ 子 模 函 数 ） 存 在 一 个 集 合 $ E = $ D e f i n i t i o n 1 存 在 一 个 集 合 函 数 $ f : 2 ^ \ \ r i g h t a r r o w \ \ m a t h b f _ $ ， 如 果 对 于 任 意 的 两 个 子 集 $ S \ \ s u b s e t e q T \ \ s u b s e t e q E $ ， $ f $ 是 . . . N R G N N L e a r n i n g a L a b e l N o i s e R e s i s t a n t G r a p h N e u r a l N e t w o r k o n S p a r s e l y a n d N o i s i l y L a b e l e d G r a p h s 发 表 于 2 0 2 2 0 3 3 0 | 标 签 噪 声 N R G N N : L e a r n i n g a L a b e l N o i s e R e s i s t a n t G r a p h N e u r a l N e t w o r k o n S p a r s e l y a n d N o i s i l y L a b e l e d G r a p h s ( K D D 2 0 2 1 ) 论 文 链 接 代 码 摘 要 图 神 经 网 络 ( G N N ) 已 经 在 图 的 半 监 督 学 习 任 务 中 取 得 了 很 好 的 结 果 ， 例 如 节 点 分 类 。 尽 管 G N N 取 得 了 巨 大 的 成 功 ， 但 现 实 世 界 中 的 许 多 图 往 往 是 稀 疏 且 带 噪 声 的 标 记 ， 这 可 能 会 严 重 降 低 G N N 的 性 能 。 因 此 ， 开 发 一 种 抗 标 签 噪 声 的 G N N 对 半 监 督 节 点 分 类 具 有 重 要 意 义 。 I n t r o d u c t i o n 因 为 噪 声 信 息 会 通 过 图 结 构 传 播 到 无 标 记 的 节 点 ， 由 于 图 的 稀 疏 性 ， 错 误 标 签 节 点 的 邻 居 可 能 无 法 获 取 正 确 标 签 的 信 息 。 同 时 一 些 无 标 记 的 节 点 只 能 聚 合 无 标 记 节 点 的 信 息 。 C N N l o s s c o r r e c t i o n ， s a m p l e s e l e c t i o n ， 但 是 应 用 到 G N N 中 会 遇 到 一 些 问 题 ： 假 定 有 大 量 的 噪 声 标 签 用 来 学 习 噪 声 分 布 或 选 择 正 确 标 签 ， 但 是 G N N 中 的 标 签 是 l i m i t e d 的 ， 无 法 通 过 少 量 的 噪 声 标 签 来 学 习 噪 声 分 布 ， 若 选 择 正 确 标 签 ， 则 会 使 可 用 的 标 签 数 更 小 ， 降 低 模 型 性 能 C N N 所 处 理 的 数 据 都 是 I I D 的 ， 无 法 处 理 图 上 . . . 标 签 噪 声 发 表 于 2 0 2 2 0 3 2 8 | 标 签 噪 声 标 签 噪 声 模 型 U n i f o r m N o i s e 标 签 以 均 匀 随 机 概 率 被 错 误 标 记 为 其 他 类 型 的 标 签 ， 如 $ T _ = T _ $ ， 如 下 面 的 转 换 矩 阵 ， 每 个 类 型 的 标 签 都 有 4 0 % 的 概 率 转 化 为 其 他 类 型 的 标 签 ， 概 率 都 为 2 0 % 。 $ $ T ^ } = \ \ l e f t [ \ \ b e g i n 0 . 6 & 0 . 2 & 0 . 2 \ \ 0 . 2 & 0 . 6 & 0 . 2 \ \ 0 . 2 & 0 . 2 & 0 . 6 \ \ e n d \ \ r i g h t ] $ $ P a i r N o i s e 标 签 被 错 误 标 记 为 相 似 类 型 的 标 签 。 如 下 面 的 转 换 矩 阵 所 示 ， 每 个 类 型 的 标 签 都 有 2 0 % 的 概 率 被 错 误 标 记 为 与 其 相 似 的 标 签 。 $ $ T ^ } = \ \ l e f t [ \ \ b e g i n 0 . 6 & 0 . 4 & 0 . \ \ 0 . & 0 . 6 & 0 . 4 \ \ 0 . 4 & 0 . & 0 . 6 \ \ e n d \ \ r i g h t ] $ $ 代 码 实 现 生 成 u n i f o r m 标 签 转 换 矩 阵 d e f b u i l d _ u n i f o r m _ P ( s i z e , n . . . 1 2 … 4 H s w y の 小 窝 坐 标 ： 江 苏 南 京 文 章 3 7 标 签 2 4 分 类 1 2 F o l l o w M e 公 告 T h i s i s m y B l o g 最 新 文 章 图 对 比 学 习 2 0 2 3 0 3 2 9 几 个 m a t c h 2 0 2 2 0 5 0 9 有 监 督 对 比 学 习 调 研 2 0 2 2 0 5 0 6 一 些 小 知 识 点 2 0 2 2 0 4 2 9 L a b e l n o i s e R e p r e s e n t a t i o n L e a r n i n g 2 0 2 2 0 4 2 8 分 类 半 监 督 学 习 1 图 分 布 式 3 图 神 经 网 络 9 基 因 测 序 5 b a s e c a l l e r 2 实 验 1 测 序 技 术 1 对 比 学 习 2 标 签 A t t e n t i o n B e r t G N N L P A N C B I P E T r a n s f o r m e r a l i g n m e n t b a s e c a l l e r c r o n t a b e m b e d d i n g t e n s o r b o a r d t u n n e l u s e l a b e l s 优 化 半 监 督 学 习 图 图 分 布 式 图 神 经 网 络 基 因 测 序 对 比 学 习 服 务 器 标 签 噪 声 论 文 清 单 归 档 三 月 2 0 2 3 1 五 月 2 0 2 2 2 四 月 2 0 2 2 5 三 月 2 0 2 2 5 二 月 2 0 2 2 3 一 月 2 0 2 2 1 4 十 二 月 2 0 2 1 7 网 站 资 讯 文 章 数 目 : 3 7 本 站 访 客 数 : 本 站 总 访 问 量 : 最 后 更 新 时 间 : © 2 0 2 0 2 0 2 3 B y H s w y の 小 窝 框 架 H e x o | 主 题 B u t t e r f l y 苏 I C P 备 2 0 2 2 0 0 5 8 2 5 号 本 地 搜 索

关于www.hswy.wang说明：

www.hswy.wang由网友主动性提交被妲己导航网整理收录的，妲己导航网仅提供www.hswy.wang的基础信息并免费向大众网友展示，www.hswy.wang的是IP地址：- 地址：-，www.hswy.wang的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、www.hswy.wang的备案号是-、备案人叫-、被百度收录的关键词有0个、手机端关键词有0个、该站点迄今为止已经创建未知。

内容声明：

1、本站收录的内容来源于大数据收集，版权归原网站所有！
2、本站收录的内容若侵害到您的利益，请联系我们进行删除处理！
3、本站不接受违规信息，如您发现违规内容，请联系我们进行清除处理！
4、本文地址：https://www.dajidhw.com/dianyingdh/b8fdf7b5e4e799e496b9.html，复制请保留版权链接！

---