TigerBot 是一个多语言多任务的大规模语言模型(LLM)。根据 OpenAI InstructGPT 论文在公开 NLP 数据集上的自动评测，TigerBot-7B 达到 OpenAI 同样大小模型的综合表现的 96%，并且这只是我们的 MVP，在此我们将如下探索成果开源：
- 模型: TigerBot-7B, TigerBot-7B-base，TigerBot-180B (research version)
- 代码: 基本训练和推理代码，包括双卡推理 180B 模型的量化和推理代码
- 数据: 预训练 100G，从 2TB 过滤后的数据中经过去噪去重清洗而得；监督微调 1G 或 100 万条数据，按比例涵盖用户指令常见的 10 大类 120 小类任务
- API: chat, plugin, finetune, 让用户能在半小时内无代码的训练和使用专属于自己的大模型和数据
- 领域数据: 涵盖金融，法律，百科，广邀大模型应用开发者，一起打造中国的世界级的应用
我们在 BLOOM 基础上，在模型架构和算法上做了如下优化：
- 指令完成监督微调的创新算法以获得更好的可学习型(learnability)
- 运用 ensemble 和 probabilistic modeling 的方法实现更可控的事实性(factuality)和创造性(generativeness)
- 在并行训练上，我们突破了 deep-speed 等主流框架中若干内存和通信问题，使得在千卡环境下数月无间断
- 对中文语言的更不规则的分布，从 tokenizer 到训练算法上做了更适合的算法优化
上月数据概览
| 月访问量 | 4.75亿 | 对比上月 | -5.57% | 月PV | 28.97亿 |
|---|---|---|---|---|---|
| 平均访问时长 | 394秒 | 跳出率 | 36.20% | 人均访问页面数 | 6 |
| 月活 | 1.19亿 | 月活(去重) | 9189.46万 | 人均访问次数 | 4.00 |
热门国家/地区访客分布
| 国家 | 流量占比 | 月访问量 | 人均访问时长 | 人均访问页数 | 跳出率 |
|---|---|---|---|---|---|
洪都拉斯 | 1.45% | -33.75% | 283秒 | 3 | 32.22% |
亚美尼亚 | 0.65% | 0.00% | 0秒 | 1 | 100.00% |
黑山 | 8.30% | 2426.39% | 892秒 | 4 | 27.82% |
南非 | 6.42% | -89.63% | 0秒 | 1 | 22.76% |
捷克 | 5.51% | 19.12% | 14秒 | 1 | 63.58% |
©版权声明： 本网站（猫目，网址：https://maomu.com/ ）所有内容，包括但不限于文字、图片、图标、数据、产品描述、页面设计及代码，均受中华人民共和国著作权法及国际版权法律保护，归本站所有。未经书面授权，任何个人、组织或机构不得以任何形式复制、转载、修改、传播或用于商业用途。 对于任何侵犯本网站版权的行为，我们保留追究其法律责任的权利，包括但不限于要求停止侵权、赔偿损失及提起诉讼。
你可能还喜欢
灵夕翻译
灵夕翻译是一个基于先进AI技术的专业文档翻译平台，主要为企业和个人提供高质量的跨语言文档翻译服务，帮助用户轻松跨越语言障碍。其服务覆盖商务、技术、学术、医学、法律、跨境电商等多个领域，支持多种文档格式的精准翻译，并保持原始排版样式，适用于商务合同、技术文档、学术论文、营销材料、医学文献等各类场景。
天壤小白
天壤小白大模型应用开发平台，提供一站式的大模型开发服务和全面的赋能，为开发者和零编程基础人员轻松创建个性化的AI应用。
腾讯混元
腾讯混元大模型是由腾讯研发的大语言模型，具备跨领域知识和自然语言理解能力，实现基于人机自然语言对话的方式，理解用户指令并执行任务，帮助用户实现人获取信息，知识和灵感。
BAAI北京智源人工智能研究院
BAAI 成立于 2018 年 11 月，是一家致力于推动人工智能技术创新、促进学术与产业协作、培养顶尖人才并专注于 AI 基础研究的非营利研究机构。网站作为 BAAI 的主要对外窗口，展示了其在 AI 领域的科研成果、生态系统、活动及合作项目，同时为 AI 研究者、从业者和公众提供资源与交流平台。
DeepSeek
DeepSeek-V3 在推理速度上相较历史模型有了大幅提升。