Skip to content

Instantly share code, notes, and snippets.

View StarDuster's full-sized avatar
🏠
Working from home

Jun Liu StarDuster

🏠
Working from home
View GitHub Profile
Snipaste_2024-02-01_11-39-59

运行ceval_gen

Snipaste_2024-02-01_14-48-31

执行结果

image

训练中,感觉微调需要的显存还蛮低的

image image

已经是神里绫华的🐶了,不会说其他话了

Snipaste_2024-01-14_19-41-26 image

但是,感觉加了 langchain 之后基本对话能力下降了,不会跟我扯皮了……

image

拜托,怎么还知道自己是谁了

Snipaste_2024-01-14_17-50-13

命令行部署

Snipaste_2024-01-14_18-39-12

web 部署

Snipaste_2024-01-14_18-39-56
image

很喜欢这次的课程,这次课程加入了一些我比较想了解的技术内容,比如量化部署,之前一直对量化有误解,今天才学习到原来计算时候是要反量化的。

image

批处理,课程介绍了turbomind的持续批处理优化(感觉有点类似 CPU 的指令流水线,CPU 也是访存压力大于计算压力,从需求和解决方式上都有点像)

https://github.com/InternLM/tutorial/blob/main/lmdeploy/img/6.png![image](https://gist.github.com/assets/7328584/3278911e-9c79-428f-ac2c-b506c8888507)

在第二次课程中,我手动实践了书生·浦语大模型(InternLM)的部署,并通过LAgent框架尝试了代码执行插件。作为一个有经验的DevOps,我并没有遇到什么困难,整体使用过程非常顺利。我主要有以下几个感受:

  1. InternStudio开发机系统做得非常易用。这不仅仅是JupyterLab的封装,还加入了VSCode和Terminal等实用工具。它的易用性甚至超过了我们公司内部的AI平台。InternStudio的这种设计哲学和用户体验,不商用实在是可惜。它提供了一个高度集成的环境,让开发者能够轻松地处理各种任务,从代码编写到模型部署。

  2. LAgent的完成度相当高,其功能性和稳定性都达到了可以用于生产环境的水平。LAgent作为一个智能体框架,支持用户快速将大语言模型转变为多种类型的智能体,为大语言模型赋能。在实际操作中,它显示出了良好的性能和适应性,能够有效地协助完成各类复杂任务,从而提升了整个开发流程的效率。

整体而言,书生·浦语大模型的这次体验营不仅让我深入了解了最前沿的人工智能技术,还让我体验到了其在实际应用中的强大功能和潜力。无论是对于开发者的友好度,还是在实际的工作流程中的应用潜力,书生·浦语大模型都展现出了其作为AI技术领头羊的地位。

Snipaste_2024-01-09_20-59-21

命令行部署

image

我超,原神!

我决定让 internlm 写一篇中文的:

@StarDuster
StarDuster / 书生·浦语大模型全链路开源体系笔记.md
Last active February 1, 2024 08:28
书生·浦语大模型全链路开源体系笔记

在部门专家的大模型专项汇报中,我首次听闻了书生大模型,一个在各大大模型评测集中表现突出的国产LLM,于是了解了一下上海人工智能实验室,然后偶然看见机会发现上海人工智能实验室提供了免费的体验活动,正好我长期困于没有高端显卡上手大模型,于是参加了本次体验营。

通过这次体验营,我对书生大模型有了更深入的理解。书生大模型不仅在多维度能力上展现出卓越性能,还在包括多语种处理、长文本理解和生成、数学推理等方面超越了其他主流模型,如LLaMA-65B。这不仅体现在它在42个主流评测集上的显著提升上,更在35个评测集中超越了ChatGPT。

在之前的学习中,我了解到大模型的部署、微调、插件能力都是模型能否落地实用的重要影响因素,书生大模型从各方面做到了易用易学,而且性能强大,书生大模型的易用性和易学性。它的全链条工具体系,包括数据、预训练、微调、部署和评测环节,为开发者提供了全面的支持。特别是XTuner工具箱,它支持多种大模型及微调算法,使得即使在较低显存下也能有效微调7B模型,大幅降低了大模型部署和微调的门槛。在实际体验中,我感受到了书生大模型的文档完善、代码优雅、易用易学。

这次体验活动不仅增强了我的理论知识,也为我提供了实际操作的机会。书生大模型的插件能力尤为引人注目,如专属调色师Intern-Colorist和AI搜索引擎Llama-Online,这些插件充分体现了大模型的多功能性和灵活性。

总的来说,书生大模型的这次体验营为我打开了一个新世界的大门。从理论到实践,从微调到部署,每一个环节都使我对大模型的潜力和应用前景有了更深的认识。它不仅是技术创新的典范,也是推动行业发展的强大引擎。我期待将在这次体验中获得的知识和技能应用到未来的工作和研究中。

// To view the default settings, hold "alt" while clicking on the "Settings" button.
// For documentation on these settings, see: https://aka.ms/terminal-documentation
{
"$schema": "https://aka.ms/terminal-profiles-schema",
"defaultProfile": "{58ad8b0c-3ef8-5f4d-bc6f-13e4c00f2530}",
"profiles": [
{
"guid": "{58ad8b0c-3ef8-5f4d-bc6f-13e4c00f2530}",
"hidden": false,
"name": "Debian",
@StarDuster
StarDuster / nginx-tls1.3
Last active August 28, 2020 19:02 — forked from moneytoo/gist:ab3f34e4fddc2110675952f8280f49c5
nginx mainline (1.13) with openssl 1.1.1 to support TLSv1.3
# Based on CentOS7 fork of @smartmadsoft: https://gist.github.com/moneytoo/ab3f34e4fddc2110675952f8280f49c5
# "6" for CentOS6 or Amazon Linux, "7" for CentOS7
CENTVER="6"
OPENSSL="openssl-1.1.0-pre5"
NGINX="nginx-1.13.0-1"
#yum clean all
# Install epel packages (required for GeoIP-devel)