阅读全文

⭐⭐⭐ Spring Boot 项目实战	⭐⭐⭐ Spring Cloud 项目实战
《Dubbo 实现原理与源码解析 —— 精品合集》	《Netty 实现原理与源码解析 —— 精品合集》
《Spring 实现原理与源码解析 —— 精品合集》	《MyBatis 实现原理与源码解析 —— 精品合集》
《Spring MVC 实现原理与源码解析 —— 精品合集》	《数据库实体设计合集》
《Spring Boot 实现原理与源码解析 —— 精品合集》	《Java 面试题 + Java 学习指南》

摘要: 原创出处 机器之心 「机器之心」欢迎转载，保留摘要，谢谢！

• 新增能力
• 下载安装

---

🙂🙂🙂关注**微信公众号：【芋道源码】**有福利：

1. RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表
2. RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址
3. 您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。
4. 新的源码解析文章实时收到通知。每周更新一篇左右。
5. 认真的源码交流微信群。

---

开源版的 Moss 真的来了。

项目地址：https://github.com/OpenLMLab/MOSS

MOSS 是一个支持中英双语和多种插件的开源对话语言模型，但参数数量比 ChatGPT 少得多。在 v0.0.2 之后，团队持续对其进行调整，推出了 MOSS v0.0.3，也就是目前开源的版本。相比于早期版本，功能也实现了多项更新。

最初的测试中，MOSS 的基础功能与 ChatGPT 类似，可以按照用户输入的指令完成各类自然语言处理任务，包括文本生成、文本摘要、翻译、代码生成、闲聊等等。

开放内测后，团队继续加大中文语料的预训练：「截止目前，MOSS 003 的基座语言模型已经在 100B 中文 token 上进行了训练，总训练 token 数量达到 700B，其中还包含约 300B 代码。」

在开放内测后，我们也收集了一些用户数据，我们发现真实中文世界的用户意图和 OpenAI InstructGPT 论文中披露的 user prompt 分布有较大差异（这不仅与用户来自的国家差异有关，也跟产品上线时间有关，早期产品采集的数据中存在大量对抗性和测试性输入），于是我们以这部分真实数据作为 seed 重新生成了约 110 万常规对话数据，涵盖更细粒度的 helpfulness 数据和更广泛的 harmlessness 数据。

内容来源：https://www.zhihu.com/question/596908242/answer/2994534005

目前，团队已将 moss-moon-003-base、moss-moon-003-sft、moss-moon-003-sft-plugin 三个模型上传到 HuggingFace。后续，还有三个模型将会开源。

根据项目主页介绍，moss-moon 系列模型具有 160 亿参数，在 FP16 精度下可在单张 A100/A800 或两张 3090 显卡运行，在 INT4/8 精度下可在单张 3090 显卡运行。

团队同时表示，由于模型参数量较小和自回归生成范式，MOSS 仍然可能生成包含事实性错误的误导性回复或包含偏见 / 歧视的有害内容，请谨慎鉴别和使用 MOSS 生成的内容，请勿将 MOSS 生成的有害内容传播至互联网。

新增能力

在 MOSS v0.0.3 中，团队加入了多项新能力。

团队构造了约 30 万插件增强的对话数据，包含搜索引擎、文生图、计算器、方程求解等。关于插件版 MOSS 如何使用，后续团队将在 GitHub 公布。

下图展示了调用搜索引擎的能力：

下图展示了调用方程求解器的能力：

下图展示了从文本生成图片的能力：

项目作者孙天祥补充说，MOSS 003 支持启用插件的能力是通过 meta instruction 来控制，类似 gpt-3.5-turbo 里的 system prompt。「因为是模型控制的，所以并不能保证 100% 控制率，以及还存在一些多选插件时调用不准、插件互相打架的缺陷，我们正在尽快开发新的模型来缓解这些问题。」

下载安装

下载本仓库内容至本地 / 远程服务器：

git clone https://github.com/OpenLMLab/MOSS.gitcd MOSS

创建 conda 环境：

conda create --name moss python=3.8
conda activate moss

安装依赖：

pip install -r requirements.txt

其中 torch 和 transformers 版本不建议低于推荐版本。

根据协议，开源的 MOSS 可用于商业用途：

此外，开发者也可通过 API 调用 MOSS 服务，团队将根据当前服务压力考虑通过 API 接口形式提供服务，接口格式可参考：https://github.com/OpenLMLab/MOSS/blob/main/moss_api.pdf

目前，已有开发者根据开源内容进行而创，比如通过 VideoChat 进行视频问答。

VideoChat 是一款多功能视频问答工具，结合了动作识别、视觉字幕和 StableLM 的功能。该工具可为视频中的任何对象和动作生成密集的描述性字幕，提供一系列语言风格以满足不同的用户偏好。它支持用户进行不同长度、情绪、语言真实性的对话。

项目地址：https://github.com/OpenGVLab/Ask-Anything/tree/main/video_chat_with_MOSS