TigerBot 是一个多语言多任务的大规模语言模型(LLM)。根据 OpenAI InstructGPT 论文在公开 NLP 数据集上的自动评测，TigerBot-7B 达到 OpenAI 同样大小模型的综合表现的 96%，并且这只是我们的 MVP，在此我们将如下探索成果开源：
- 模型: TigerBot-7B, TigerBot-7B-base，TigerBot-180B (research version)
- 代码: 基本训练和推理代码，包括双卡推理 180B 模型的量化和推理代码
- 数据: 预训练 100G，从 2TB 过滤后的数据中经过去噪去重清洗而得；监督微调 1G 或 100 万条数据，按比例涵盖用户指令常见的 10 大类 120 小类任务
- API: chat, plugin, finetune, 让用户能在半小时内无代码的训练和使用专属于自己的大模型和数据
- 领域数据: 涵盖金融，法律，百科，广邀大模型应用开发者，一起打造中国的世界级的应用
我们在 BLOOM 基础上，在模型架构和算法上做了如下优化：
- 指令完成监督微调的创新算法以获得更好的可学习型(learnability)
- 运用 ensemble 和 probabilistic modeling 的方法实现更可控的事实性(factuality)和创造性(generativeness)
- 在并行训练上，我们突破了 deep-speed 等主流框架中若干内存和通信问题，使得在千卡环境下数月无间断
- 对中文语言的更不规则的分布，从 tokenizer 到训练算法上做了更适合的算法优化
上月数据概览
| 月访问量 | 4.75亿 | 对比上月 | -5.57% | 月PV | 28.97亿 |
|---|---|---|---|---|---|
| 平均访问时长 | 394秒 | 跳出率 | 36.20% | 人均访问页面数 | 6 |
| 月活 | 1.19亿 | 月活(去重) | 9189.46万 | 人均访问次数 | 4.00 |
热门国家/地区访客分布
| 国家 | 流量占比 | 月访问量 | 人均访问时长 | 人均访问页数 | 跳出率 |
|---|---|---|---|---|---|
洪都拉斯 | 1.45% | -33.75% | 283秒 | 3 | 32.22% |
亚美尼亚 | 0.65% | 0.00% | 0秒 | 1 | 100.00% |
黑山 | 8.30% | 2426.39% | 892秒 | 4 | 27.82% |
南非 | 6.42% | -89.63% | 0秒 | 1 | 22.76% |
捷克 | 5.51% | 19.12% | 14秒 | 1 | 63.58% |
©版权声明： 本网站（猫目，网址：https://maomu.com/ ）所有内容，包括但不限于文字、图片、图标、数据、产品描述、页面设计及代码，均受中华人民共和国著作权法及国际版权法律保护，归本站所有。未经书面授权，任何个人、组织或机构不得以任何形式复制、转载、修改、传播或用于商业用途。 对于任何侵犯本网站版权的行为，我们保留追究其法律责任的权利，包括但不限于要求停止侵权、赔偿损失及提起诉讼。
