StarDuster

[General]
skip-proxy = 192.168.0.0/16, 10.0.0.0/8, 172.16.0.0/12, localhost, *.local
bypass-tun = 192.168.0.0/16, 10.0.0.0/8, 172.16.0.0/12
dns-server = 8.8.8.8
loglevel = notify

[Proxy]
Proxy = custom,[server],[port],aes-256-cfb,[passwd],http://module.omicronplus.com/SSEncrypt.module

[Rule]

StarDuster

（一）力挽狂澜的 Ellen Hancock http://history.programmer.com.cn/6727/

（二）Linus Torvalds 的短视 http://history.programmer.com.cn/6617/

（三）Mach 之父 Avie Tevanian http://history.programmer.com.cn/8121/

（四）政客的跨界

StarDuster

# Based on CentOS7 fork of @smartmadsoft: https://gist.github.com/moneytoo/ab3f34e4fddc2110675952f8280f49c5

# "6" for CentOS6 or Amazon Linux, "7" for CentOS7
CENTVER="6"

OPENSSL="openssl-1.1.0-pre5"
NGINX="nginx-1.13.0-1"

#yum clean all
# Install epel packages (required for GeoIP-devel)

StarDuster

// To view the default settings, hold "alt" while clicking on the "Settings" button.
// For documentation on these settings, see: https://aka.ms/terminal-documentation
{
    "$schema": "https://aka.ms/terminal-profiles-schema",
    "defaultProfile": "{58ad8b0c-3ef8-5f4d-bc6f-13e4c00f2530}",
    "profiles": [
        {
            "guid": "{58ad8b0c-3ef8-5f4d-bc6f-13e4c00f2530}",
            "hidden": false,
            "name": "Debian",

StarDuster

很喜欢这次的课程，这次课程加入了一些我比较想了解的技术内容，比如量化部署，之前一直对量化有误解，今天才学习到原来计算时候是要反量化的。

批处理，课程介绍了turbomind的持续批处理优化（感觉有点类似 CPU 的指令流水线，CPU 也是访存压力大于计算压力，从需求和解决方式上都有点像）

https://github.com/InternLM/tutorial/blob/main/lmdeploy/img/6.png

StarDuster

命令行部署

我超，原神！

我决定让 internlm 写一篇中文的：

StarDuster

在部门专家的大模型专项汇报中，我首次听闻了书生大模型，一个在各大大模型评测集中表现突出的国产LLM，于是了解了一下上海人工智能实验室，然后偶然看见机会发现上海人工智能实验室提供了免费的体验活动，正好我长期困于没有高端显卡上手大模型，于是参加了本次体验营。

通过这次体验营，我对书生大模型有了更深入的理解。书生大模型不仅在多维度能力上展现出卓越性能，还在包括多语种处理、长文本理解和生成、数学推理等方面超越了其他主流模型，如LLaMA-65B。这不仅体现在它在42个主流评测集上的显著提升上，更在35个评测集中超越了ChatGPT。

在之前的学习中，我了解到大模型的部署、微调、插件能力都是模型能否落地实用的重要影响因素，书生大模型从各方面做到了易用易学，而且性能强大，书生大模型的易用性和易学性。它的全链条工具体系，包括数据、预训练、微调、部署和评测环节，为开发者提供了全面的支持。特别是XTuner工具箱，它支持多种大模型及微调算法，使得即使在较低显存下也能有效微调7B模型，大幅降低了大模型部署和微调的门槛。在实际体验中，我感受到了书生大模型的文档完善、代码优雅、易用易学。

这次体验活动不仅增强了我的理论知识，也为我提供了实际操作的机会。书生大模型的插件能力尤为引人注目，如专属调色师Intern-Colorist和AI搜索引擎Llama-Online，这些插件充分体现了大模型的多功能性和灵活性。

总的来说，书生大模型的这次体验营为我打开了一个新世界的大门。从理论到实践，从微调到部署，每一个环节都使我对大模型的潜力和应用前景有了更深的认识。它不仅是技术创新的典范，也是推动行业发展的强大引擎。我期待将在这次体验中获得的知识和技能应用到未来的工作和研究中。

StarDuster

命令行部署

web 部署

StarDuster

但是，感觉加了 langchain 之后基本对话能力下降了，不会跟我扯皮了……

拜托，怎么还知道自己是谁了

StarDuster

训练中，感觉微调需要的显存还蛮低的

已经是神里绫华的🐶了，不会说其他话了