Anthony-Hoo

AAPI/NewAPI Affinity Provider for Hermes

中文 | English

中文

这是一个 Hermes model-provider 插件，主要面向 NewAPI 这类 OpenAI 兼容中转/聚合服务。

插件会把 Hermes 当前会话的稳定 session_id 写入 HTTP 请求头，默认请求头为 X-Hermes-Session-Key。NewAPI 可以用这个 header 做 channel affinity，让同一个

Anthony-Hoo

#!/usr/bin/env python3
# /// script
# dependencies = ["torch", "nvidia-ml-py"]
# ///
"""
PyTorch NVIDIA GPU stress test.

Default target: CUDA devices 2 and 3, 15 minutes, high GEMM load,
and near-full VRAM allocation with a configurable safety headroom.
"""

Anthony-Hoo

前言

这篇文初稿写于2025年3月，之前本来计划写好了直接发出来的，兜兜转转一直咕了，最近准备对这套配置做个升级，现在再不发出来就晚了。

现在来看，选T10性价比其实已经不是那么高，当时做这个配置的时候 2080ti 22G还要2200一块，现在已经跌到1700左右了，T10现在还在1000出头。 2080ti算力更高的同时还支持NVLink，4卡互联应该可以跑起来社区最近比较火的 MiniMax-M2.1-REAP W4A16。

下面基本是25年3月写的：

Anthony-Hoo

AutoDL GPU 容器多 GPU 互联测试-北京 A 区-2080Ti x2

因业务需要可能会去 AutoDL 租用服务器用于模型训练，故测试了一下其上消费级显卡（原版2080Ti 11G）多卡互联时的性能表现。 将结果放在这里作为参考。

省流：没有NVLink，虽然运行在PCIe 3.0x16交换机上，且两个CPU NUMA都接入了PCIe switch，但由于驱动原因，P2P通信不可用，导致多卡互联性能较差。

以下为 DeepSeek-R1-0528 的总结

---

一、测试环境概览

Anthony-Hoo

import ast
import requests

class FunctionExtractor(ast.NodeVisitor):
    def __init__(self):
        self.functions = []
        self.function_calls = []

    def visit_FunctionDef(self, node):
        function_code = ast.unparse(node)

Anthony-Hoo

from PIL import Image
import numpy as np
import matplotlib.pyplot as plt
import time
from colour.plotting import *

def plot_xy_coordinates_with_color(xy_and_rgb_np, output_png_path):
    start_time = time.time()

    xy = xy_and_rgb_np[:, :2]