MLTalks

网站标签

该站未曾设置keywords

---

网站描述

该站未曾设置description

---

上一篇：西经控股

下一篇：访问的内容不存在或已删除

seo综合信息

SEO信息	百度来访IP：- | 移动端来访IP：- | 出站链接：0 | 站内链接：0
IP网速：	IP地址：- 地址：- | 网速：963毫秒
ALEXA排名	世界排名：- | 预估IP：- | 预估PV：-
备案信息	- | 名称：- | 已创建：未知

收录	百度	360	搜狗	谷歌
查询	0	0	0	0

电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
0	0	电脑端优秀	-	0	0

服务器信息 协议类型 - 页面类型 - 服务器类型 - 程序支持 - 连接标识 - 消息发送 - GZIP检测 - 源文件大小 - 压缩后大小 - 压缩率 -

网站快照

M L T a l k s M L T a l k s S t a y H u n g r y , S t a y F o o l i s h 首 页 关 于 分 类 归 档 文 章 目 录 站 点 概 览 5 1 日 志 5 分 类 1 标 签 G i t H u b 0 % D e e p S e e k V 3 论 文 发 表 于 2 0 2 5 0 2 1 0 分 类 于 机 器 学 习 本 文 字 数 ： 3 . 5 k 阅 读 时 长 ≈ 1 3 分 钟 1 . 概 述 D e e p S e e k V 3 采 用 M o E 架 构 ， 总 共 6 7 1 B 参 数 ， 每 个 t o k e n 会 激 活 3 7 B 参 数 量 ； 训 练 采 用 了 1 4 . 8 T T o k e n 数 ， 训 练 耗 时 为 2 . 7 8 8 M H 8 0 0 G P U 时 跟 D e e p S e e k V 2 相 同 点 M L A ( M u l t i h e a d L a t e n t A t t e n t i o n ) D e e p S e e k M o E 结 构 跟 D e e p S e e k V 2 不 同 点 负 载 均 衡 策 略 : 使 用 a u x i l i a r y l o s s f r e e 策 略 用 于 负 载 均 衡 ， 减 少 不 均 衡 对 模 型 性 能 产 生 负 面 影 响 训 练 目 标 ： 使 用 了 多 t o k e n 预 测 目 标 ( M u l t i T o k e n P r e d i c t i o n ) ， 简 称 M T P 各 个 评 测 集 下 的 效 果 ： 阅 读 全 文 » D e e p S e e k M o E 论 文 发 表 于 2 0 2 5 0 2 1 0 分 类 于 机 器 学 习 本 文 字 数 ： 1 . 1 k 阅 读 时 长 ≈ 4 分 钟 1 . 简 介 之 前 现 存 的 M o E 架 构 像 G S h a r d 的 实 现 上 是 在 T r a n s f o r m e r 中 的 F F N 层 替 换 为 M o E 层 ， 训 练 时 从 \ \ ( N \ \ ) 个 专 家 中 选 出 \ \ ( t o p K \ \ ) 个 专 家 进 行 训 练 。 这 类 M o E 架 构 往 往 面 临 两 类 问 题 : ( 1 ) 知 识 混 合 ， 架 构 中 专 家 数 是 有 限 的 ( 8 个 / 1 6 个 ) ， 每 个 t o k e n 会 分 发 给 不 同 的 专 家 有 可 能 会 让 专 家 涉 及 多 样 的 知 识 , 在 同 一 时 刻 很 难 被 同 时 用 到 ； ( 2 ) 知 识 冗 余 ， 每 个 t o k e n 分 成 不 同 专 家 处 理 时 会 涉 及 相 同 的 知 识 ， 所 以 不 同 专 家 在 参 数 中 可 能 会 学 到 相 同 的 知 识 内 容 ， 产 生 冗 余 。 对 于 \ \ ( D e e p S e e k M o E \ \ ) 可 以 采 用 了 两 个 原 则 来 实 现 最 大 限 度 的 专 家 特 化 ( 即 术 业 有 专 攻 ， 不 同 专 家 的 知 识 越 少 交 叉 越 好 ) ， 具 体 做 法 ： ( 1 ) 把 专 家 细 粒 度 拆 分 为 \ \ ( m N \ \ ) 个 ， 然 后 使 用 时 激 活 其 中 的 \ \ ( m K \ \ ) 个 ; ( 2 ) 将 其 中 的 \ \ ( K _ s \ \ ) 个 专 家 隔 离 出 来 共 享 ， 用 于 获 取 公 共 知 识 ， 减 少 专 家 冗 余 。 D e e p S e e k M o E 2 B 表 现 跟 G S h a r d 2 . 9 B 可 比 ， 后 者 有 1 . 5 倍 专 家 参 数 和 计 算 量 ； D e e p S e e k M o E 1 6 B 跟 L L a M A 2 7 B 可 比 ， 计 算 量 减 少 了 4 0 % ； D e e p S e e k M o E 1 4 5 B 可 与 D e e p S e e k 6 7 B 相 比 ， 只 用 了 2 8 . 5 % 的 计 算 量 ( 甚 至 更 少 到 1 8 . 2 % 计 算 量 ) 阅 读 全 文 » D e e p S e e k V 2 论 文 发 表 于 2 0 2 5 0 2 1 0 分 类 于 机 器 学 习 本 文 字 数 ： 2 . 2 k 阅 读 时 长 ≈ 8 分 钟 D e e p S e e k V 2 是 M o E 模 型 架 构 ， 有 2 3 6 B 总 的 参 数 量 ， 每 个 t o k e n 会 激 活 其 中 的 2 1 B 的 参 数 ， 支 持 1 2 8 K t o k e n 长 度 的 上 下 文 。 在 D e e p S e e k V 2 中 采 用 了 M u l t i h e a d L a t e n t A t t e n t i o n ( M L A ) 和 D e e p S e e k M o E 的 架 构 设 计 。 相 比 D e e p S e e k 6 7 B 实 现 了 4 2 . 5 % 训 练 成 本 下 降 ， K V C a c h e 减 少 9 3 . 3 % ， 生 成 吞 吐 最 高 提 升 了 5 . 7 6 倍 。 先 使 用 8 . 1 T 训 练 数 据 进 行 了 D e e p S e e k V 2 的 预 训 练 ， 然 后 进 行 S F T 和 R L 训 练 发 挥 更 大 潜 能 。 阅 读 全 文 » M O E 论 文 详 解 ( 4 ) G L a M : E f f i c i e n t S c a l i n g o f L a n g u a g e M o d e l s w i t h M i x t u r e o f E x p e r t s 发 表 于 2 0 2 4 1 0 1 5 分 类 于 机 器 学 习 本 文 字 数 ： 4 9 1 阅 读 时 长 ≈ 2 分 钟 2 0 2 2 年 g o o g l e 在 G S h a r d 之 后 发 表 另 一 篇 跟 M o E 相 关 的 p a p e r , 论 文 名 为 G L a M ( G e n e r a l i s t L a n g u a g e M o d e l ) , 最 大 的 G L a M 模 型 有 1 . 2 t r i l l i o n 参 数 , 比 G P T 3 大 7 倍 , 但 成 本 只 有 G P T 3 的 1 / 3 , 同 时 效 果 也 超 过 G P T 3 . 以 下 是 两 者 的 对 比 : 阅 读 全 文 » M O E 论 文 详 解 ( 3 ) S w i t c h T r a n s f o r m e r s : S c a l i n g t o T r i l l i o n P a r a m e t e r M o d e l s w i t h S i m p l e a n d E f f i c i e n t S p a r s i t y 发 表 于 2 0 2 4 1 0 1 5 分 类 于 机 器 学 习 本 文 字 数 ： 3 k 阅 读 时 长 ≈ 1 1 分 钟 S w i t c h T r a n s f o r m e r s 也 是 g o o g l e 在 2 0 2 2 年 发 表 的 一 篇 论 文 , 该 论 文 简 化 了 M o E 的 路 由 算 法 , 减 少 了 计 算 量 和 通 信 量 ; 第 一 次 支 持 b f l o a t 1 6 精 度 进 行 训 练 . 基 于 T 5 B a s e 和 T 5 L a r g e 设 计 的 模 型 在 相 同 的 算 力 下 训 练 速 度 提 升 了 7 x 倍 ; 同 时 发 布 了 1 . 6 万 亿 ( 1 . 6 t r i l l i o n ) 参 数 的 M o E 模 型 ， 相 比 T 5 X X L 模 型 训 练 速 度 提 长 了 4 x 倍 . 阅 读 全 文 » M O E 论 文 详 解 ( 2 ) G S h a r d : S c a l i n g G i a n t M o d e l s w i t h C o n d i t i o n a l C o m p u t a t i o n a n d A u t o m a t i c S h a r d i n g 发 表 于 2 0 2 4 1 0 1 5 分 类 于 机 器 学 习 本 文 字 数 ： 4 . 5 k 阅 读 时 长 ≈ 1 6 分 钟 1 . 背 景 说 明 G S h a r d 是 G o o g l e 在 2 0 2 0 年 的 一 篇 论 文 , 将 \ \ ( S p a r s e l y \ \ G a t e d \ \ M i x t u r e \ \ o f \ \ E x p e r t s \ \ ) 与 t r a n s f o r m e r 结 合 , 支 持 了 6 0 0 B 大 小 的 参 数 量 , 使 用 了 2 0 4 8 块 T P U v 3 训 练 了 4 天 翻 译 任 务 ( 1 0 0 种 语 言 翻 译 为 英 文 ) . 阅 读 全 文 » M O E 论 文 详 解 ( 1 ) O U T R A G E O U S L Y L A R G E N E U R A L N E T W O R K S : T H E S P A R S E L Y G A T E D M I X T U R E O F E X P E R T S L A Y E R 发 表 于 2 0 2 4 1 0 1 4 分 类 于 机 器 学 习 本 文 字 数 ： 2 . 2 k 阅 读 时 长 ≈ 8 分 钟 1 . 背 景 介 绍 这 是 2 0 1 7 年 G o o g l e B r a i n 团 队 发 表 的 一 篇 比 较 经 典 的 论 文 , 可 以 做 为 M O E 在 大 语 言 模 型 上 应 用 的 第 一 篇 , M O E 全 称 是 混 合 专 家 ( M i x t u r e o f E x p e r t s ) . 这 里 的 每 个 E x p e r t 都 是 一 个 更 小 的 神 经 网 络 , 比 如 最 简 单 就 是 F C 全 连 接 网 络 , M O E 整 体 不 是 一 个 完 整 的 网 络 结 构 , 而 是 作 为 l a y e r 层 嵌 入 到 别 的 网 络 中 . 首 先 介 绍 这 篇 论 文 的 背 景 , 模 型 的 学 习 能 力 强 弱 跟 模 型 的 参 数 量 有 关 , 即 模 型 越 大 参 数 量 越 多 那 么 模 型 效 果 越 好 , 同 时 存 在 个 问 题 就 是 按 之 前 稠 密 模 型 的 设 计 , 模 型 参 数 量 越 大 计 算 量 也 越 大 , 计 算 越 慢 . 有 没 有 一 种 方 式 既 可 以 增 大 模 型 参 数 量 又 能 使 得 计 算 量 控 制 在 一 定 范 围 内 ( 对 应 有 个 名 词 叫 条 件 计 算 c o n d i t i o n a l c o m p u t a t i o n ) , 这 就 是 这 次 论 文 讨 论 的 重 点 . 本 文 中 基 于 L S T M 堆 栈 基 础 上 应 用 了 M O E 结 果 使 得 参 数 量 提 升 至 1 3 7 B 大 小 , 相 比 之 前 模 型 容 量 提 升 了 有 1 0 0 0 倍 , 但 是 计 算 量 只 增 加 了 一 少 部 分 , 具 体 数 据 和 效 果 看 最 后 . 阅 读 全 文 » M e g a t r o n L M 源 码 系 列 ( 八 ) ： C o n t e x t P a r a l l e l 并 行 发 表 于 2 0 2 4 0 5 2 7 分 类 于 机 器 学 习 本 文 字 数 ： 1 . 2 k 阅 读 时 长 ≈ 4 分 钟 1 . C o n t e x t P a r a l l e l 并 行 原 理 介 绍 m e g a t r o n 中 的 c o n t e x t 并 行 ( 简 称 C P ) 与 s e q u e n c e 并 行 ( 简 称 S P ) 不 同 点 在 于 ， S P 只 针 对 L a y e r n o r m 和 D r o p o u t 输 出 的 a c t i v a t i o n 在 s e q u e n c e 维 度 上 进 行 切 分 ， C P 则 是 对 所 有 的 i n p u t 输 入 和 所 有 的 输 出 a c t i v a t i o n 在 s e q u e n c e 维 度 上 进 行 切 分 ， 可 以 看 成 是 增 强 版 的 S P 。 除 了 A t t e n t i o n 模 块 以 外 ， 其 他 的 模 块 ( L a y e r n o r m 、 D r o p o u t ) 由 于 没 有 多 t o k e n 的 处 理 ， 在 C P 并 行 时 都 不 用 任 何 修 改 。 阅 读 全 文 » G e m m a 模 型 论 文 详 解 ( 附 源 码 ) 发 表 于 2 0 2 4 0 2 2 3 分 类 于 机 器 学 习 本 文 字 数 ： 1 . 2 k 阅 读 时 长 ≈ 4 分 钟 1 . 背 景 介 绍 G e m m a 模 型 是 在 2 0 2 4 . 2 . 2 1 号 G o o g l e 新 发 布 的 大 语 言 模 型 , G e m m a 复 用 了 G e m i n i 相 同 的 技 术 ( G e m i n i 也 是 G o o g l e 发 布 的 多 模 态 模 型 ) ， G e m m a 这 次 发 布 了 了 2 B 和 7 B 两 个 版 本 的 参 数 ， 不 仅 提 供 了 预 训 练 的 c h e c k p o i n t s ， 还 提 供 了 用 于 对 话 、 指 令 跟 随 等 f i n e t u n e 的 c h e c k p o i n t s 。 在 Q A 问 答 、 常 识 。 在 1 1 阅 读 全 文 » M e g a t r o n L M 源 码 系 列 ( 七 ) ： D i s t r i b u t e d O p t i m i z e r 分 布 式 优 化 器 实 现 P a r t 2 发 表 于 2 0 2 4 0 2 0 4 分 类 于 机 器 学 习 本 文 字 数 ： 1 . 4 k 阅 读 时 长 ≈ 5 分 钟 1 . 使 用 入 口 D i s t r i b u t e d O p t i m i z e r 类 定 义 在 m e g a t r o n / o p t i m i z e r / d i s t r i b _ o p t i m i z e r . p y 文 件 中 。 创 建 的 入 口 是 在 m e g a t r o n / o p t i m i z e r / _ _ i n i t _ _ . p y 文 件 中 的 g e t _ m e g a t r o n _ o p t i m i z e r 函 数 中 。 根 据 传 入 的 a r g s . u s e _ d i s t r i b u t e d _ o p t i m i z e r 参 数 来 判 断 是 用 D i s t r i b u t e d O p t i m i z e r 还 是 F l o a t 1 6 O p t i m i z e r W i t h F l o a t 1 6 P a r a m s 。 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 d e f g e t _ m e g a t r o n _ o p t i m i z e r ( m o d e l , n o _ w e i g h t _ d e c a y _ c o n d = N o n e , s c a l e _ l r _ c o n d = N o n e , l r _ m u l t = 1 . 0 ) : . . . # M e g a t r o n o p t i m i z e r . o p t _ t y = D i s t r i b u t e d O p t i m i z e r \ \ i f a r g s . u s e _ d i s t r i b u t e d _ o p t i m i z e r e l s e \ \ F l o a t 1 6 O p t i m i z e r W i t h F l o a t 1 6 P a r a m s r e t u r n o p t _ t y ( o p t i m i z e r , a r g s . c l i p _ g r a d , a r g s . l o g _ n u m _ z e r o s _ i n _ g r a d , p a r a m s _ h a v e _ m a i n _ g r a d , a r g s . u s e _ c o n t i g u o u s _ b u f f e r s _ i n _ l o c a l _ d d p , a r g s . f p 1 6 , a r g s . b f 1 6 , a r g s . p a r a m s _ d t y p e , g r a d _ s c a l e r , m o d e l ) 相 关 的 O p t i m i z e r 的 使 用 参 考 【 M e g a t r o n L M 源 码 系 列 ( 六 ) ： D i s t r i b u t e d O p t i m i z e r 分 布 式 优 化 器 实 现 P a r t 1 】 阅 读 全 文 » 1 2 … 6 京 I C P 备 2 0 2 3 0 2 1 3 1 9 号 京 公 网 安 备 1 1 0 1 1 4 0 2 0 1 4 1 5 1 号 © 2 0 2 5 9 0 k 5 : 2 8 T h e m e N e x T w o r k s b e s t w i t h J a v a S c r i p t e n a b l e d

站点概括

关于www.mltalks.com说明：
www.mltalks.com由网友主动性提交被爱收录站整理收录的，爱收录站仅提供www.mltalks.com的基础信息并免费向大众网友展示，www.mltalks.com的是IP地址：- 地址：-，www.mltalks.com的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、www.mltalks.com的备案号是-、备案人叫-、被百度收录的关键词有0个、手机端关键词有0个、该站点迄今为止已经创建未知。

内容声明：

1、本站收录的内容来源于大数据收集，版权归原网站所有！
2、本站收录的内容若侵害到您的利益，请联系我们进行删除处理！
3、本站不接受违规信息，如您发现违规内容，请联系我们进行清除处理！
4、本文地址：http://jas.2dhz.cn/links/06c13d8586f3ce956b8b.html，复制请保留版权链接！

---