Loginsophiayao: web 3 交易所职位，少量可远程需求
后端（ golang),移动端（ flutter ），QA （有编程能力），前端（ Node. js ）等工程师职位
预算 3000-5000 美金每月
另需求在新加坡的 DevOps 和大数据工程师（新加坡公民/pr)
预算 7000-10000 新币每月
5 年以上相关技术经验，有 web3 项目经验为佳
有兴趣请带简历联系：微信：sophia_liu611
Normal view
Today — 6 May 2025Curiosity
-
V2EX-最新主题
- 新加坡知名小型 web3 交易所需求[Remote/新加坡]职位：后端（golang),移动端（flutter）， QA（有编程能力），前端（Node. js）等工程师职位,均可远程
[分享] 五一闲着写了个六爻算卦的玩具
6 May 2025 at 16:39
WaylonZzz:
[产品定位]
沉浸式数字易经占卜体验 - 三枚铜钱探天机，六爻卦象解乾坤
[核心功能]
• 拟真摇卦仪式：长按屏幕模拟掌心摇卦的过程
• 智能卦象生成：基于《周易》古法逻辑（三正面为老阳/变爻，三背面为老阴/变爻）
• 六十四卦全解：内置卦辞数据，即时呈现专业卦象解读
[温馨提示]
本程序所有内容仅供传统文化研究及娱乐参考
即刻开启数字易经之旅 → https://yao.qdkf.net/
4 个协议速度评测 vless-ws-tls、vless-h2-tls、vless-tcp-reality、trojan-ws-tls
6 May 2025 at 16:37
411161555:
vless-ws-tls vless-h2-tls vless-tcp-reality trojan-ws-tls 这 4 个协议中，其实 vless-tcp-reality 、vless-ws-tls 、trojan-ws-tls 应该是大家最常用的。 这里我分别用这 4 个协议联通、电信下载大文件，结果发现平均速度是又差异的，虽然没有特别大，但是总体下来
① vless-ws-tls 下载速度平均保持最高
② vless-h2-tls 下载速度平均保持其次
③ vless-tcp-reality 下载速度不如上方
④ trojan-ws-tls 下载速度不如上方
关于 Apple music 和 spotify 音质
6 May 2025 at 16:37
xxopp:
我平时用蓝牙音响播放，然后我对比了 spotify 和 am 的音质，有些歌是没什么差别的，有些就感觉明显是 am 更好。spotify 我开了插件应该是高音质 160kbps ，am 应该是 256kbps 。理论上 iphone 的蓝牙协议是 aac ，那么理论上限就是 256 ，但是我问 AI ，160 和 256 差距应该也没有那么大吧，所以会是什么原因？有没有大佬解惑🙏
大模型推理成本为啥能每年降低 10 倍？
6 May 2025 at 16:36
zxy126: 前段时间，“源神”DeepSeek 又在 Github 上宣布开源计划了，这次将开源的是 DeepSeek 自研的推理引擎，也是更早之前 DeepSeek 开源周最后一天发布的“One More Thing”。
DeepSeek 并不会选择直接开其内部完整且高度定制化的代码库，而是将采取一种更侧重协作、更具可持续性的策略，将其核心优化成果贡献给现有的开源项目，比如 vLLM 与 SGLang——这是两家业内领先的开源推理引擎项目。
推理引擎对于提高推理效率、降低推理成本有着重要意义，是大模型产品化部署的核心基础设施。著名投资机构 a16z 曾预测，大模型价格的下降速度甚至比个人电脑革命时期的计算成本或互联网泡沫时期的带宽成本下降速度还要快，同等性能的大模型成本每年下降 10 倍。
本文将介绍业内主流的六大推理引擎，以及他们分别解决的核心技术问题。
1. 为什么需要推理引擎？
推理引擎，顾名思义解决的是大模型的推理问题。大模型推理（ Inference ）是指在大语言模型或多模态模型训练（ Training ）完成之后，将其应用于实际任务（如聊天机器人、搜索增强生成、代码补全、AI 助手等）中，输入数据并生成输出结果的过程。
从技术角度看，推理过程包括输入预处理（如分词）、模型执行（神经网络计算）、输出解码，以及性能优化（如 KV 缓存、并行调度、量化加速等）。相比训练，推理更关注效率、延迟、吞吐量和部署可控性，是生产环境中性能、成本和用户体验的关键驱动力。
推理引擎，就是专门用于高效运行大模型推理任务的软件系统，在保持模型输出准确性的前提下，最大化推理速度、吞吐量和资源利用率，典型代表有 vLLM 、TGI 、SGLang 、TensorRT 等。推理引擎是大模型产品化部署的基础设施核心。
推理引擎的发展大概分为两个阶段，第一个阶段是在 2023 年之前的早期阶段。此时，行业内还并没有专业的推理引擎，大家最常用的推理工具，是 Hugging Face 在 2019 年发布的通用推理框架 Transformers 。
Hugging Face Transformers 是一个流行的开源 Python 库，最早主要支持 BERT 类模型的推理与微调。到 2020-2021 年 GPT-2/GPT-3 等模型流行，Transformers 成为几乎唯一一个能加载上百个模型架构，且能用几行代码就跑出结果的框架。这是大多数人“第一次跑大模型”的起点。
Hugging Face Transformers 是最早承担推理任务的框架，使用范围广泛。然而，它并非专门为推理效率而设计的。随着模型规模和用户请求增加，Transformers 在推理上暴露出很多性能瓶颈。这些问题主要包括：
🐢 推理速度慢：每次生成都要走完整的 Transformer 流程，低效
💣 内存吃紧：显存常常爆满，尤其多个请求时
🧍♂️不能高效多用户并发：多个用户一起用会卡顿
🔁 不能复用缓存：每次生成都重新算前面部分
⏳ 长上下文处理困难：输入太长会显存爆炸
🤯 代码复杂难部署：原生 transformers 推理代码臃肿，难调
这些复杂的技术问题最终都会指向一个结果——大模型的推理效率太低、推理成本太高。
于是，从 2023 年开始——也就是 ChatGPT 发布之后，大模型推理进入第二阶段，专门面向推理效率优化的推理引擎应运而生！
2. 推理引擎百家争鸣
随着大型语言模型（ LLM ）的参数规模不断攀升，如何高效地进行推理成为业界关注的焦点。各种开源和商业的推理引擎纷纷涌现。业内主流推理引擎包括：
2.1 TGI （ Text Generation Inference ）
TGI 由 Hugging Face 在 2023 年初公开发布，支持主流的开源模型架构（如 LLaMA 、Falcon 、BLOOM 、StarCoder 等）的一键部署。2023 年之后，TGI 快速发展并广泛应用于云服务（如 AWS 、Azure ）和企业平台。2025 年初，TGI 引入多种后端支持（如 vLLM 、TensorRT-LLM ），成为一个通用的推理框架。
作为成熟的工业方案，TGI 对开发者极为友好，与 Hugging Face 模型库无缝连接，支持多种硬件平台，适用于需要快速搭建分布式模型服务的场景，是第一个面向生产环境、开源易用的推理引擎。
TGI 的典型应用场景包括互联网公司、AI 创业公司搭建聊天机器人、内容生成服务，广泛用于中小型企业快速上线 AI 服务。
2.2 vLLM
vLLM 最初由加州大学伯克利分校的天空计算实验室开发，于 2023 年 6 月首次发布， 是 LLM 推理领域的重要分水岭。
vLLM 的革命性创新在于 PagedAttention 技术，vLLM 在不改动模型结构的情况下，大幅压缩显存开销、提高服务并发，是第一个在系统层面对 LLM 推理进行全面重构的开源引擎。
今天，vLLM 已发展成为一个社区驱动的项目，得到了学术界和工业界的广泛贡献，GitHub 上获得了数万星标。2025 年 1 月，vLLM 发布了 v1 alpha 版本，这是一个重要的架构升级，旨在进一步提升性能 。v1 版本引入了优化的执行循环、简单且灵活的调度器以及零开销的前缀缓存等新特性。
vLLM 适合对推理性能要求高、但成本敏感的企业，比如提供在线聊天服务的初创公司和研究团队。
2.3 TensorRT-LLM （ NVIDIA ）
为了进一步挖掘硬件潜力，NVIDIA 在 2023 年下半年推出了 TensorRT-LLM 。
TensorRT-LLM 专门为 A100 、H100 等 GPU 做了深度定制，支持流式输出、超大模型多卡部署等，是面向极致性能场景的工业级推理引擎。
TensorRT-LLM 当前主要用于需要在 NVIDIA 硬件上部署 LLM 的公司，如 Meta 、Cohere 等都与 NVIDIA 合作利用该库优化其模型推理。该工具巩固了 NVIDIA 在高端 LLM 推理市场的技术优势。
2.4 SGLang
SGLang 由伯克利的 LMSYS.org （ Chatbot Arena 平台的创建者）团队开发，最初于 2024 年 1 月发布 。SGLang 的设计目标是成为一个通用的、高性能 LLM/VLM 服务引擎，不仅提高性能，还支持复杂的 LLM 程序化调用，包括多轮对话、代码执行/工具接入和结构化输出等。
SGLang 强调推理过程的灵活编排和多模态支持，2025 年后逐渐获得行业内头部公司关注，如字节跳动、xAI 等公司。
SGLang 适用于多模态应用（如看图对话），需要复杂逻辑的 AI 助理和 Agent 场景，适合希望深度定制推理流程的团队。
2.5 llama.cpp
与上述主要针对 GPU 的引擎不同，llama.cpp 主打“在普通电脑甚至手机上运行大模型”。它由社区开发者 Georgi Gerganov 在 2023 年推出，项目一经推出便快速走红，在个人开发者和小型公司中得到广泛采用。
llama.cpp 的特色在于超低的硬件门槛，无需 GPU 也能运行，同时完全开源，跨平台（ Windows 、Linux 、Mac 、手机等）使用简单，适用于个人开发者、学生、小公司等场景，用于快速验证 AI 创意或离线环境的推理需求。
2.6 微软 DeepSpeed
微软于 2020 年推出 DeepSpeed ，起初侧重于训练环节的优化。2021 年后逐步增强推理功能，尤其擅长大规模模型在分布式系统中的高效推理。如今是学术界与工业界普遍采用的解决方案。
DeepSpeed 的特色在于支持超大规模模型的高效推理（千亿参数以上），提供从训练到推理的一站式优化方案。
DeepSpeed 适合大型科技公司或研究机构，在云端和集群上运行数百亿乃至千亿参数级别的大模型，特别是需要高效利用多 GPU 资源的场合。
3. 推理引擎如何实现高效推理？
推理引擎旨在优化生产环境中 LLM 的内存使用和性能。它们通过帮助实现高吞吐量和低延迟来保证 LLM 能够处理大量的请求并快速响应。推理引擎的核心技术主要包括 KV 缓存管理、分页机制、连续批处理、结构化输出、张量并行、流水线并行、专家并行 和 低比特量化等。
3.1. KV 缓存管理：高效的计算复用机制
在自回归推理场景中，模型每生成一个新 token ，都需计算并保存对应的 KV （键-值）缓存，以供后续的 token 解码重复使用。如何管理并最大化复用这些缓存，成为推理性能优化的重要方向。
首个广泛落地这一技术的是 vLLM 项目。vLLM 引入了名为 PagedAttention 的机制，通过精细的分页缓存管理，动态按需加载和共享前缀缓存，从而大幅降低了重复计算和显存占用。
随后，SGLang 提出 RadixAttention ，基于前缀树结构进一步提高了缓存命中率，尤其适用于多轮对话场景。Hugging Face 的 Text Generation Inference （ TGI ）也在 2024 年发布的 v3.0 版本中新版本中加入类似机制，使长上下文推理场景显著提速。
3.2. 分页机制：实现显存的精细化管理
传统的 KV 缓存分配通常以最大上下文长度为单位进行整体分配，导致严重的显存浪费。为解决该问题，vLLM 率先提出了基于分页机制（ PagedAttention ）的精细化内存管理方法。这种方法借鉴操作系统虚拟内存分页的理念，将 KV 缓存分割为固定大小的“小页”，允许动态、非连续存储，从而大幅降低显存碎片率，并显著提升显存利用率。
这种设计随后得到了广泛认可，TGI 和 DeepSpeed-Inference 也在各自的引擎中加入了类似分页式的缓存管理方案，使得该技术成为了主流推理引擎的标配机制。
3.3. 连续批处理：实现动态批量调度
推理场景下的批处理机制传统上为静态批量，即等待批量请求齐全再开始计算，导致 GPU 资源闲置率较高。vLLM 项目首次提出并实现了“连续批处理（ Continuous Batching ）”的概念，这种机制通过动态地将不同用户的推理请求实时插入到当前运行的批次中，从而最大限度减少 GPU 空转，显著提高硬件利用率与推理吞吐量。
连续批处理将推理过程拆分为两个阶段：预填充阶段（ Prefill ）和解码阶段（ Decode ），并将预填充与解码解耦，使得模型在处理长上下文输入（预填充耗时长）和后续逐字生成（单步耗时短）时都能各自批量并行，避免资源闲置。这种 PD 分离的架构也被月之暗面的 Mooncake 所采用。
目前，连续批处理已广泛被其他推理引擎如 TGI 和 SGLang 等采纳，各项目在此基础上进一步优化了实时拼批策略，推动其成为业界标准做法。
3.4. 结构化输出：规范模型生成内容
模型生成的自由文本在特定应用场景下往往难以直接使用，如 API 调用或 JSON 响应。结构化输出技术通过在生成过程中施加约束（例如正则约束、有限状态机 FSM 约束），使模型能够直接产出符合预定义格式的结构化数据。
这一技术由 SGLang 项目首创，推出了名为 xGrammar 的约束解码模块，实现对 JSON 和函数调用等格式的强约束，极大简化了应用端的解析工作。随后，vLLM 与 Hugging Face 也分别推出了相似的结构化输出功能，并逐步将这一特性推广为推理引擎的常规功能之一。OpenAI 在其 API 中引入了 “函数调用” 机制，也是一种结构化输出思路。
3.5. 张量并行与流水线并行：多设备模型部署的标准方案
张量并行（ Tensor Parallelism, TP ）和流水线并行（ Pipeline Parallelism, PP ）是目前模型规模扩展至数十亿乃至千亿级别时常用的推理部署方法。
TP 将单层网络参数张量分割并分布到多张 GPU 上同时计算，从而突破单 GPU 显存瓶颈； PP 则将模型不同层分割到不同 GPU 上，流水线式执行推理，使单个 GPU 承担的模型层数减少，从而支持更大的模型。
这两种并行策略由 NVIDIA 的 Megatron-LM 首先提出并推广，随后微软的 DeepSpeed 和开源引擎 vLLM 、SGLang 等也广泛采纳，形成了面向超大模型推理场景的行业标准解决方案。
3.6. 专家并行：支持稀疏激活的超大模型
专家并行（ Expert Parallelism, EP ）技术伴随 Mixture-of-Experts (MoE) 模型架构的兴起而受到关注，并在 DeepSeek 的火爆传播中受到更多的重视。MoE 模型通过路由网络选择激活部分专家子模型，从而实现稀疏激活和极大规模参数扩展。EP 将不同的专家分配到不同 GPU 上并行运行，从而有效实现稀疏计算与内存高效管理。
微软 DeepSpeed-MoE 在推理端首次规模化实现了这一技术，使万亿参数级别的 MoE 模型具备实际可用的推理效率。此后，NVIDIA 的 Megatron-Core 、NeMo 等平台迅速跟进并在大规模场景中验证了该技术的有效性。vLLM 则计划于 2025 Q2 在主干中正式支持专家并行，进一步促进 MoE 推理的普及。
3.7. 低比特量化：实现模型的高效压缩
低比特量化（如 INT8 或 INT4 ）是降低大模型推理成本的主流方案。通过精细的权重量化技术，在几乎不损失精度的情况下，大幅压缩模型体积并降低显存占用，使得推理服务的部署成本和硬件门槛显著下降。
开创性的 GPTQ 算法首次实现了百亿至千亿参数模型的 INT4 量化。后续 Hugging Face 、vLLM 和 llama.cpp 等主流推理引擎均支持 GPTQ 或类似的量化方案，推动 INT8 和 INT4 量化模型成为业界推理部署的主流模式。
4. 结语
大语言模型推理引擎的优化技术百花齐放，从底层内存管理到高层并行策略，各有侧重又相辅相成。这些技术最早由不同项目创新提出，现如今正逐步融合到主流的开源推理引擎中。
对于开发者而言，理解并善用这些优化手段，将有助于在实际 AI 应用中以更低成本、更高效率部署强大的大语言模型。这场围绕 LLM 高效推理的持续演进，还将随着模型规模的扩大和新硬件的出现而不断前行。各项优化技术的交融与创新，终将推动大模型走向更加经济高效、稳定可靠的应用阶段。
作为一站式 AIGC 云服务平台，PPIO 派欧云提供高性能的 API 服务，涵盖了最新的 DeepSeek R1/V3 Turbo 、Qwen 等系列模型，仅需一行代码即可调用；并支持在 Chatbox 、AngthingLLM 、Ragflow 等 20+ 主流第三方平台调用。
PPInfer 是派欧算力云基于 vLLM 进行二次开发和深度优化的推理引擎。在常规的推理加速技术之上，自研全链路 FP8 量化、KV Cache 稀疏压缩、投机采样等技术，显著提升 LLM 推理性能。PPIO 通过 2024 年的实践，已经实现大模型推理的 10 倍 + 降本，并在成本与性能之间找到最佳平衡。
DeepSeek 并不会选择直接开其内部完整且高度定制化的代码库，而是将采取一种更侧重协作、更具可持续性的策略，将其核心优化成果贡献给现有的开源项目，比如 vLLM 与 SGLang——这是两家业内领先的开源推理引擎项目。
推理引擎对于提高推理效率、降低推理成本有着重要意义，是大模型产品化部署的核心基础设施。著名投资机构 a16z 曾预测，大模型价格的下降速度甚至比个人电脑革命时期的计算成本或互联网泡沫时期的带宽成本下降速度还要快，同等性能的大模型成本每年下降 10 倍。
本文将介绍业内主流的六大推理引擎，以及他们分别解决的核心技术问题。
1. 为什么需要推理引擎？
推理引擎，顾名思义解决的是大模型的推理问题。大模型推理（ Inference ）是指在大语言模型或多模态模型训练（ Training ）完成之后，将其应用于实际任务（如聊天机器人、搜索增强生成、代码补全、AI 助手等）中，输入数据并生成输出结果的过程。
从技术角度看，推理过程包括输入预处理（如分词）、模型执行（神经网络计算）、输出解码，以及性能优化（如 KV 缓存、并行调度、量化加速等）。相比训练，推理更关注效率、延迟、吞吐量和部署可控性，是生产环境中性能、成本和用户体验的关键驱动力。
推理引擎，就是专门用于高效运行大模型推理任务的软件系统，在保持模型输出准确性的前提下，最大化推理速度、吞吐量和资源利用率，典型代表有 vLLM 、TGI 、SGLang 、TensorRT 等。推理引擎是大模型产品化部署的基础设施核心。
推理引擎的发展大概分为两个阶段，第一个阶段是在 2023 年之前的早期阶段。此时，行业内还并没有专业的推理引擎，大家最常用的推理工具，是 Hugging Face 在 2019 年发布的通用推理框架 Transformers 。
Hugging Face Transformers 是一个流行的开源 Python 库，最早主要支持 BERT 类模型的推理与微调。到 2020-2021 年 GPT-2/GPT-3 等模型流行，Transformers 成为几乎唯一一个能加载上百个模型架构，且能用几行代码就跑出结果的框架。这是大多数人“第一次跑大模型”的起点。
Hugging Face Transformers 是最早承担推理任务的框架，使用范围广泛。然而，它并非专门为推理效率而设计的。随着模型规模和用户请求增加，Transformers 在推理上暴露出很多性能瓶颈。这些问题主要包括：
🐢 推理速度慢：每次生成都要走完整的 Transformer 流程，低效
💣 内存吃紧：显存常常爆满，尤其多个请求时
🧍♂️不能高效多用户并发：多个用户一起用会卡顿
🔁 不能复用缓存：每次生成都重新算前面部分
⏳ 长上下文处理困难：输入太长会显存爆炸
🤯 代码复杂难部署：原生 transformers 推理代码臃肿，难调
这些复杂的技术问题最终都会指向一个结果——大模型的推理效率太低、推理成本太高。
于是，从 2023 年开始——也就是 ChatGPT 发布之后，大模型推理进入第二阶段，专门面向推理效率优化的推理引擎应运而生！
2. 推理引擎百家争鸣
随着大型语言模型（ LLM ）的参数规模不断攀升，如何高效地进行推理成为业界关注的焦点。各种开源和商业的推理引擎纷纷涌现。业内主流推理引擎包括：
2.1 TGI （ Text Generation Inference ）
TGI 由 Hugging Face 在 2023 年初公开发布，支持主流的开源模型架构（如 LLaMA 、Falcon 、BLOOM 、StarCoder 等）的一键部署。2023 年之后，TGI 快速发展并广泛应用于云服务（如 AWS 、Azure ）和企业平台。2025 年初，TGI 引入多种后端支持（如 vLLM 、TensorRT-LLM ），成为一个通用的推理框架。
作为成熟的工业方案，TGI 对开发者极为友好，与 Hugging Face 模型库无缝连接，支持多种硬件平台，适用于需要快速搭建分布式模型服务的场景，是第一个面向生产环境、开源易用的推理引擎。
TGI 的典型应用场景包括互联网公司、AI 创业公司搭建聊天机器人、内容生成服务，广泛用于中小型企业快速上线 AI 服务。
2.2 vLLM
vLLM 最初由加州大学伯克利分校的天空计算实验室开发，于 2023 年 6 月首次发布， 是 LLM 推理领域的重要分水岭。
vLLM 的革命性创新在于 PagedAttention 技术，vLLM 在不改动模型结构的情况下，大幅压缩显存开销、提高服务并发，是第一个在系统层面对 LLM 推理进行全面重构的开源引擎。
今天，vLLM 已发展成为一个社区驱动的项目，得到了学术界和工业界的广泛贡献，GitHub 上获得了数万星标。2025 年 1 月，vLLM 发布了 v1 alpha 版本，这是一个重要的架构升级，旨在进一步提升性能 。v1 版本引入了优化的执行循环、简单且灵活的调度器以及零开销的前缀缓存等新特性。
vLLM 适合对推理性能要求高、但成本敏感的企业，比如提供在线聊天服务的初创公司和研究团队。
2.3 TensorRT-LLM （ NVIDIA ）
为了进一步挖掘硬件潜力，NVIDIA 在 2023 年下半年推出了 TensorRT-LLM 。
TensorRT-LLM 专门为 A100 、H100 等 GPU 做了深度定制，支持流式输出、超大模型多卡部署等，是面向极致性能场景的工业级推理引擎。
TensorRT-LLM 当前主要用于需要在 NVIDIA 硬件上部署 LLM 的公司，如 Meta 、Cohere 等都与 NVIDIA 合作利用该库优化其模型推理。该工具巩固了 NVIDIA 在高端 LLM 推理市场的技术优势。
2.4 SGLang
SGLang 由伯克利的 LMSYS.org （ Chatbot Arena 平台的创建者）团队开发，最初于 2024 年 1 月发布 。SGLang 的设计目标是成为一个通用的、高性能 LLM/VLM 服务引擎，不仅提高性能，还支持复杂的 LLM 程序化调用，包括多轮对话、代码执行/工具接入和结构化输出等。
SGLang 强调推理过程的灵活编排和多模态支持，2025 年后逐渐获得行业内头部公司关注，如字节跳动、xAI 等公司。
SGLang 适用于多模态应用（如看图对话），需要复杂逻辑的 AI 助理和 Agent 场景，适合希望深度定制推理流程的团队。
2.5 llama.cpp
与上述主要针对 GPU 的引擎不同，llama.cpp 主打“在普通电脑甚至手机上运行大模型”。它由社区开发者 Georgi Gerganov 在 2023 年推出，项目一经推出便快速走红，在个人开发者和小型公司中得到广泛采用。
llama.cpp 的特色在于超低的硬件门槛，无需 GPU 也能运行，同时完全开源，跨平台（ Windows 、Linux 、Mac 、手机等）使用简单，适用于个人开发者、学生、小公司等场景，用于快速验证 AI 创意或离线环境的推理需求。
2.6 微软 DeepSpeed
微软于 2020 年推出 DeepSpeed ，起初侧重于训练环节的优化。2021 年后逐步增强推理功能，尤其擅长大规模模型在分布式系统中的高效推理。如今是学术界与工业界普遍采用的解决方案。
DeepSpeed 的特色在于支持超大规模模型的高效推理（千亿参数以上），提供从训练到推理的一站式优化方案。
DeepSpeed 适合大型科技公司或研究机构，在云端和集群上运行数百亿乃至千亿参数级别的大模型，特别是需要高效利用多 GPU 资源的场合。
3. 推理引擎如何实现高效推理？
推理引擎旨在优化生产环境中 LLM 的内存使用和性能。它们通过帮助实现高吞吐量和低延迟来保证 LLM 能够处理大量的请求并快速响应。推理引擎的核心技术主要包括 KV 缓存管理、分页机制、连续批处理、结构化输出、张量并行、流水线并行、专家并行 和 低比特量化等。
3.1. KV 缓存管理：高效的计算复用机制
在自回归推理场景中，模型每生成一个新 token ，都需计算并保存对应的 KV （键-值）缓存，以供后续的 token 解码重复使用。如何管理并最大化复用这些缓存，成为推理性能优化的重要方向。
首个广泛落地这一技术的是 vLLM 项目。vLLM 引入了名为 PagedAttention 的机制，通过精细的分页缓存管理，动态按需加载和共享前缀缓存，从而大幅降低了重复计算和显存占用。
随后，SGLang 提出 RadixAttention ，基于前缀树结构进一步提高了缓存命中率，尤其适用于多轮对话场景。Hugging Face 的 Text Generation Inference （ TGI ）也在 2024 年发布的 v3.0 版本中新版本中加入类似机制，使长上下文推理场景显著提速。
3.2. 分页机制：实现显存的精细化管理
传统的 KV 缓存分配通常以最大上下文长度为单位进行整体分配，导致严重的显存浪费。为解决该问题，vLLM 率先提出了基于分页机制（ PagedAttention ）的精细化内存管理方法。这种方法借鉴操作系统虚拟内存分页的理念，将 KV 缓存分割为固定大小的“小页”，允许动态、非连续存储，从而大幅降低显存碎片率，并显著提升显存利用率。
这种设计随后得到了广泛认可，TGI 和 DeepSpeed-Inference 也在各自的引擎中加入了类似分页式的缓存管理方案，使得该技术成为了主流推理引擎的标配机制。
3.3. 连续批处理：实现动态批量调度
推理场景下的批处理机制传统上为静态批量，即等待批量请求齐全再开始计算，导致 GPU 资源闲置率较高。vLLM 项目首次提出并实现了“连续批处理（ Continuous Batching ）”的概念，这种机制通过动态地将不同用户的推理请求实时插入到当前运行的批次中，从而最大限度减少 GPU 空转，显著提高硬件利用率与推理吞吐量。
连续批处理将推理过程拆分为两个阶段：预填充阶段（ Prefill ）和解码阶段（ Decode ），并将预填充与解码解耦，使得模型在处理长上下文输入（预填充耗时长）和后续逐字生成（单步耗时短）时都能各自批量并行，避免资源闲置。这种 PD 分离的架构也被月之暗面的 Mooncake 所采用。
目前，连续批处理已广泛被其他推理引擎如 TGI 和 SGLang 等采纳，各项目在此基础上进一步优化了实时拼批策略，推动其成为业界标准做法。
3.4. 结构化输出：规范模型生成内容
模型生成的自由文本在特定应用场景下往往难以直接使用，如 API 调用或 JSON 响应。结构化输出技术通过在生成过程中施加约束（例如正则约束、有限状态机 FSM 约束），使模型能够直接产出符合预定义格式的结构化数据。
这一技术由 SGLang 项目首创，推出了名为 xGrammar 的约束解码模块，实现对 JSON 和函数调用等格式的强约束，极大简化了应用端的解析工作。随后，vLLM 与 Hugging Face 也分别推出了相似的结构化输出功能，并逐步将这一特性推广为推理引擎的常规功能之一。OpenAI 在其 API 中引入了 “函数调用” 机制，也是一种结构化输出思路。
3.5. 张量并行与流水线并行：多设备模型部署的标准方案
张量并行（ Tensor Parallelism, TP ）和流水线并行（ Pipeline Parallelism, PP ）是目前模型规模扩展至数十亿乃至千亿级别时常用的推理部署方法。
TP 将单层网络参数张量分割并分布到多张 GPU 上同时计算，从而突破单 GPU 显存瓶颈； PP 则将模型不同层分割到不同 GPU 上，流水线式执行推理，使单个 GPU 承担的模型层数减少，从而支持更大的模型。
这两种并行策略由 NVIDIA 的 Megatron-LM 首先提出并推广，随后微软的 DeepSpeed 和开源引擎 vLLM 、SGLang 等也广泛采纳，形成了面向超大模型推理场景的行业标准解决方案。
3.6. 专家并行：支持稀疏激活的超大模型
专家并行（ Expert Parallelism, EP ）技术伴随 Mixture-of-Experts (MoE) 模型架构的兴起而受到关注，并在 DeepSeek 的火爆传播中受到更多的重视。MoE 模型通过路由网络选择激活部分专家子模型，从而实现稀疏激活和极大规模参数扩展。EP 将不同的专家分配到不同 GPU 上并行运行，从而有效实现稀疏计算与内存高效管理。
微软 DeepSpeed-MoE 在推理端首次规模化实现了这一技术，使万亿参数级别的 MoE 模型具备实际可用的推理效率。此后，NVIDIA 的 Megatron-Core 、NeMo 等平台迅速跟进并在大规模场景中验证了该技术的有效性。vLLM 则计划于 2025 Q2 在主干中正式支持专家并行，进一步促进 MoE 推理的普及。
3.7. 低比特量化：实现模型的高效压缩
低比特量化（如 INT8 或 INT4 ）是降低大模型推理成本的主流方案。通过精细的权重量化技术，在几乎不损失精度的情况下，大幅压缩模型体积并降低显存占用，使得推理服务的部署成本和硬件门槛显著下降。
开创性的 GPTQ 算法首次实现了百亿至千亿参数模型的 INT4 量化。后续 Hugging Face 、vLLM 和 llama.cpp 等主流推理引擎均支持 GPTQ 或类似的量化方案，推动 INT8 和 INT4 量化模型成为业界推理部署的主流模式。
4. 结语
大语言模型推理引擎的优化技术百花齐放，从底层内存管理到高层并行策略，各有侧重又相辅相成。这些技术最早由不同项目创新提出，现如今正逐步融合到主流的开源推理引擎中。
对于开发者而言，理解并善用这些优化手段，将有助于在实际 AI 应用中以更低成本、更高效率部署强大的大语言模型。这场围绕 LLM 高效推理的持续演进，还将随着模型规模的扩大和新硬件的出现而不断前行。各项优化技术的交融与创新，终将推动大模型走向更加经济高效、稳定可靠的应用阶段。
作为一站式 AIGC 云服务平台，PPIO 派欧云提供高性能的 API 服务，涵盖了最新的 DeepSeek R1/V3 Turbo 、Qwen 等系列模型，仅需一行代码即可调用；并支持在 Chatbox 、AngthingLLM 、Ragflow 等 20+ 主流第三方平台调用。
PPInfer 是派欧算力云基于 vLLM 进行二次开发和深度优化的推理引擎。在常规的推理加速技术之上，自研全链路 FP8 量化、KV Cache 稀疏压缩、投机采样等技术，显著提升 LLM 推理性能。PPIO 通过 2024 年的实践，已经实现大模型推理的 10 倍 + 降本，并在成本与性能之间找到最佳平衡。
如何看待魔改卡
6 May 2025 at 16:25
busterian: 魔改卡有很多种类, 增显存, 移动端改桌面版, 解锁矿卡等等
我要说的是移动端改桌面端这类魔改卡. 偶然在拼多多看到很多套路装机, 宣传的就是七八千的 4090 整机, 这类就是用的移动改桌面这类魔改卡, 当然商品详情页面写的小小的 M 代表是移动端显卡, 不过大多数不了解魔改卡的肯定不清楚这是什么套路. 我问过他们客服"它的显卡是不是笔记本端", 这种情况客服全都矢口否认的. 估计害怕被抓到把柄然后投诉下架.
这类魔改卡有很多缺点, 比如没有质保, 驱动难打, 还会遇到平台兼容性问题.
但是它也是有优势的, 主要的优势就是性价比高, 其次能耗好温度低.在台式机散热强度下压笔记本端显卡只要驱动不是解锁功耗那是一点问题都没有的.
这种魔改卡在国外也有市场, 关键词是 graphics card from aliexpress, 甚至 github 有外国开发者专门为这类魔改卡做了同用驱动[FrankenDriver]( https://github.com/arutar/FrankenDriver)
我要说的是移动端改桌面端这类魔改卡. 偶然在拼多多看到很多套路装机, 宣传的就是七八千的 4090 整机, 这类就是用的移动改桌面这类魔改卡, 当然商品详情页面写的小小的 M 代表是移动端显卡, 不过大多数不了解魔改卡的肯定不清楚这是什么套路. 我问过他们客服"它的显卡是不是笔记本端", 这种情况客服全都矢口否认的. 估计害怕被抓到把柄然后投诉下架.
这类魔改卡有很多缺点, 比如没有质保, 驱动难打, 还会遇到平台兼容性问题.
但是它也是有优势的, 主要的优势就是性价比高, 其次能耗好温度低.在台式机散热强度下压笔记本端显卡只要驱动不是解锁功耗那是一点问题都没有的.
这种魔改卡在国外也有市场, 关键词是 graphics card from aliexpress, 甚至 github 有外国开发者专门为这类魔改卡做了同用驱动[FrankenDriver]( https://github.com/arutar/FrankenDriver)
重大疾病医疗保险推荐
6 May 2025 at 16:22
needhourger:
在 v 站刷到了若干癌症相关的帖子 以及身边母亲的闺蜜的女儿也是，30 出头的年纪目前可能确诊了甲状腺癌 感叹现如今的人癌症几率好高啊 于是在思考自己是否有必要买相关的保险 其实与我一人而言生命似乎是无所谓的 以往一直以来的想法大概就是如果我也得了这类的疾病 我可能会去想把积蓄留着环游世界，最后在瑞士之类的合法安乐死的国家结束 但可惜的是 好像有很多依赖我的人需要去守护 于是不得不思考如何有没有什么更多的应对方法 能想到的似乎就是只有重大疾病医疗保险一类的了，能提升一定的抗风险能力 但是之前从来没有买过这类的东西，不知道有没有什么建议。
让新标签页不再单调，试试 Random Feed 吧！
6 May 2025 at 16:22
pike0002:
今天想和大家分享一款我最近发现的 Chrome 扩展程序：「 Random Feed - Open New Tab 」。它的功能非常简单：每次打开新标签页时，都会展示一篇来自不同领域（如科技、政治、体育等）的最新文章。 
🌟 主要特点： •多领域内容：涵盖科技、政治、体育等多个领域，内容丰富多样。 •实时更新：每次打开新标签页，都会展示最新的文章，保持内容的新鲜感。 •简洁界面：界面设计简洁，无广告干扰，专注于内容本身。
🎯 使用体验：
安装后，每次打开新标签页，都会看到一篇新的文章，感觉就像在浏览器中内置了一个小型的新闻聚合器。
🔗 安装链接：
如果你也喜欢在浏览器中获取最新资讯，不妨试试这款扩展程序。欢迎大家分享使用感受或推荐其他类似的工具！
国内哪个城市有正规运营商？
6 May 2025 at 16:20
geekvcn: 我这运营商可能是不法运营商，找个有正规合法运营商的城市搬过去，上个月总上传 200G 特地屏蔽了所有 PCDN 域名，但是上传单线程限速 5M ，发布个大点的 Github 项目都能发布一年
很伤心，买的 Lenny’s Newsletter 年度订阅，今天想兑的时候，很多 Code 居然没有了
6 May 2025 at 16:19
zealinux: 主要之前我的 Cursor 已经续费到 5 月份，就想着到五月初再来兑换。
结果现在发现有好几个都没有了。
比如：
Cursor Pro
Lovable Starter
Replit Core
Vercel's v0
结果现在发现有好几个都没有了。
比如：
Cursor Pro
Lovable Starter
Replit Core
Vercel's v0
安卓新手机折腾之 Windows 远程手机
6 May 2025 at 16:18
oneisall8955:
旧手机 IQQO NEO5 虽然还能服役，虽然不卡，只是外观太残，后盖碎了一地，屏幕总成脱落(IQOO 通病)，屏幕偶尔彩条（神奇的是按一下又消失了，逗我玩呢）；换了电池一年续航又拉了；机身还剩 30G ，不想删数据了。恰好 5 月 4 号（ 2025 年），京东有个 4000 减 500 的券，叠加国补减 500 ，3699 入手了荣耀 magic7 16G/512G 。（上个月还在吐槽为啥安卓机这么贵了，要不是这波减 500 ，NEO5 还能再战 2 年应该不成问题）
折腾新手机迁移数据时候，发现系统有个 Windows 连接 图标，难道说可以直接远程手机？以前觉得每次电脑前查看验证码，打开某个应用的时候不是很方便，并且以前需要 adb+scrcpy 方式。
查看了下支持的机型：https://support.microsoft.com/zh-cn/topic/支持-手机连接-体验的设备-cb044172-87aa-9e41-d446-c4ac83ce8807
连接还是很顺畅的，安卓端扫码，登录微软账号，点点点授权确认（建议第一次连接关梯子，或者开代理调整微软服务为直连）
在 window 端，发现集成度还是很高的，可以看短信，照片外，还可以打电话（通过蓝牙链接）：
可以同时打开多个应用，操作跟允许本地应用一样：
粘贴板共享，可以 Windows 复制，在 app 粘贴，也可以反过来操作：
文件传输貌似只能安卓拖动到电脑（速度很慢，30MB 的文件，需要好几秒）：
反过来拉文件到安卓里面提示不支持：
存在好几个问题导致用起来有点难用：
- 每次打开第一个 app 时候，需要重新授权（点同意授权时候还需要指纹解锁），非常麻烦
- 文件只能单向传输，速度未知原因很慢，几 MB 的文件需要几秒，很鸡肋，还不如 LocalSend
- app 登录账号界面会黑屏，类似 adb 投屏操作一样，账号密码界面会黑屏
is there any excellent apple notes export tools？ who have good suggestions？
6 May 2025 at 16:13
xinmans: Exporting notes from Apple Notes can be challenging due to its limited native options, but several third-party tools stand out for their functionality and ease of use. Here are some excellent tools for exporting Apple Notes, based on their capabilities and user feedback:
1Exporter (Mac App Store)
◦Overview: A free Mac app designed to export Apple Notes in bulk to Markdown or HTML formats. It preserves creation and modification dates and organizes notes into directories based on their notebooks.
◦Strengths:
▪Simple, one-click bulk export.
▪Supports attachments (e.g., JPEG, PNG) when exporting to Markdown, with media saved in separate folders.
▪Maintains folder structure and avoids overwriting notes with identical names.
◦Limitations:
▪Does not preserve rich text features (e.g., bold, italic) or iOS-specific links in Markdown exports.
▪Images and hyperlinks may not be embedded in the text, requiring manual reattachment in some apps.
▪Lacks PDF export; Markdown or HTML only.
▪Some users report it can be resource-intensive or unresponsive during large exports.
◦Best For: Users needing a free, straightforward tool for bulk exports to Markdown or HTML, especially for text-heavy notes.
◦Availability: Download from the Mac App Store: https://apps.apple.com/us/app/exporter/id1099120373
2Obsidian Importer (Plugin for Obsidian)
◦Overview: A plugin for the Obsidian note-taking app that imports Apple Notes, including handwritten text detected in drawings. It converts notes to Markdown, making it ideal for users transitioning to Obsidian.
◦Strengths:
▪Comprehensive output, capturing text and some media elements accurately.
▪Free and regularly updated (e.g., version 1.5.3 as of October 2023).
▪Integrates seamlessly with Obsidian, a powerful cross-platform note-taking tool.
◦Limitations:
▪Requires Obsidian, so it’s not a standalone tool.
▪Markdown exports may require cleanup for complex notes with rich media.
◦Best For: Users already using or planning to use Obsidian who want a reliable import tool.
◦Availability: Install via Obsidian’s plugin marketplace.
3Apple Cloud Notes Parser (GitHub)
◦Overview: An open-source tool for advanced users comfortable with scripting. It parses Apple Notes stored in iCloud, exporting them to modifiable formats.
◦Strengths:
▪Free and customizable for tech-savvy users.
▪Can handle complex note structures if configured correctly.
◦Limitations:
▪Requires technical expertise to set up and run.
▪Struggles with newer iCloud formats, as Apple’s database encryption can lock data.
▪Not user-friendly for non-developers.
◦Best For: Developers or users needing a free, script-based solution for specific export needs.
◦Availability: https://github.com/threeplanetssoftware/apple_cloud_notes_parser
4iPad Drag-and-Drop Trick (iPadOS)
◦Overview: A lesser-known method using iPadOS’s drag-and-drop feature to export multiple notes as RTFD files to iCloud Drive, preserving formatting and attachments like images or sketches.
◦Strengths:
▪Free and built into iPadOS, requiring no third-party software.
▪Preserves rich text and most attachments (except scanned documents in some cases).
◦Limitations:
▪Only works on iPad, not Mac or iPhone.
▪RTFD files may not be compatible with all apps.
▪Not ideal for large-scale exports due to manual dragging.
◦Best For: iPad users wanting a quick, free way to export small batches of notes with formatting.
◦How-To: Select multiple notes in the Notes app, drag them to iCloud Drive, and they’ll convert to RTFD files.
5Native Apple Notes Export (PDF or Pages)
◦Overview: Apple Notes allows exporting individual notes as PDFs or opening them in Pages for further formatting (e.g., RTF, Word). On Mac, go to File > Export as PDF or File > Open in Pages. On iPhone/iPad, use the Share button for PDF or Pages export.
◦Strengths:
▪Built-in, no additional software needed.
▪PDF exports are universally accessible.
▪Pages export supports richer formats for editing.
◦Limitations:
▪Exports one note at a time, making it impractical for bulk exports.
▪PDF exports are static and not editable.
▪Pages exports don’t sync changes back to Notes and lose features like checklists or note links.
▪Multipage PDFs or scanned documents may only export the first page.
◦Best For: Users needing to export a few notes as PDFs or editable documents.
Recommendations
•For Bulk Exports: Exporter is the go-to choice for its simplicity and free price tag. Choose HTML format for media-rich notes or Markdown for text-based ones. Be prepared for some manual cleanup if importing into apps like Notion or Obsidian.
•For Obsidian Users: Obsidian Importer is highly effective, especially for those already in the Obsidian ecosystem.
•For Small Batches with Formatting: Use the iPad drag-and-drop method or native PDF/Pages export for quick, high-fidelity exports.
•For Advanced Users: Apple Cloud Notes Parser offers flexibility but requires technical know-how.
Notes on Limitations
•Apple Notes’ native export options are intentionally limited, likely to keep users within the ecosystem.
•No tool perfectly preserves all elements (e.g., hyperlinks, embedded images, or complex formatting) due to Apple’s proprietary note structure.
•Always back up your notes (e.g., via Time Machine or manual database copy at ~/Library/Group Containers/group.com.apple.notes) before using third-party tools.
If you’re looking for a specific format (e.g., PDF, Markdown) or have a particular use case (e.g., importing to Notion), let me know, and I can tailor the recommendation further!
1Exporter (Mac App Store)
◦Overview: A free Mac app designed to export Apple Notes in bulk to Markdown or HTML formats. It preserves creation and modification dates and organizes notes into directories based on their notebooks.
◦Strengths:
▪Simple, one-click bulk export.
▪Supports attachments (e.g., JPEG, PNG) when exporting to Markdown, with media saved in separate folders.
▪Maintains folder structure and avoids overwriting notes with identical names.
◦Limitations:
▪Does not preserve rich text features (e.g., bold, italic) or iOS-specific links in Markdown exports.
▪Images and hyperlinks may not be embedded in the text, requiring manual reattachment in some apps.
▪Lacks PDF export; Markdown or HTML only.
▪Some users report it can be resource-intensive or unresponsive during large exports.
◦Best For: Users needing a free, straightforward tool for bulk exports to Markdown or HTML, especially for text-heavy notes.
◦Availability: Download from the Mac App Store: https://apps.apple.com/us/app/exporter/id1099120373
2Obsidian Importer (Plugin for Obsidian)
◦Overview: A plugin for the Obsidian note-taking app that imports Apple Notes, including handwritten text detected in drawings. It converts notes to Markdown, making it ideal for users transitioning to Obsidian.
◦Strengths:
▪Comprehensive output, capturing text and some media elements accurately.
▪Free and regularly updated (e.g., version 1.5.3 as of October 2023).
▪Integrates seamlessly with Obsidian, a powerful cross-platform note-taking tool.
◦Limitations:
▪Requires Obsidian, so it’s not a standalone tool.
▪Markdown exports may require cleanup for complex notes with rich media.
◦Best For: Users already using or planning to use Obsidian who want a reliable import tool.
◦Availability: Install via Obsidian’s plugin marketplace.
3Apple Cloud Notes Parser (GitHub)
◦Overview: An open-source tool for advanced users comfortable with scripting. It parses Apple Notes stored in iCloud, exporting them to modifiable formats.
◦Strengths:
▪Free and customizable for tech-savvy users.
▪Can handle complex note structures if configured correctly.
◦Limitations:
▪Requires technical expertise to set up and run.
▪Struggles with newer iCloud formats, as Apple’s database encryption can lock data.
▪Not user-friendly for non-developers.
◦Best For: Developers or users needing a free, script-based solution for specific export needs.
◦Availability: https://github.com/threeplanetssoftware/apple_cloud_notes_parser
4iPad Drag-and-Drop Trick (iPadOS)
◦Overview: A lesser-known method using iPadOS’s drag-and-drop feature to export multiple notes as RTFD files to iCloud Drive, preserving formatting and attachments like images or sketches.
◦Strengths:
▪Free and built into iPadOS, requiring no third-party software.
▪Preserves rich text and most attachments (except scanned documents in some cases).
◦Limitations:
▪Only works on iPad, not Mac or iPhone.
▪RTFD files may not be compatible with all apps.
▪Not ideal for large-scale exports due to manual dragging.
◦Best For: iPad users wanting a quick, free way to export small batches of notes with formatting.
◦How-To: Select multiple notes in the Notes app, drag them to iCloud Drive, and they’ll convert to RTFD files.
5Native Apple Notes Export (PDF or Pages)
◦Overview: Apple Notes allows exporting individual notes as PDFs or opening them in Pages for further formatting (e.g., RTF, Word). On Mac, go to File > Export as PDF or File > Open in Pages. On iPhone/iPad, use the Share button for PDF or Pages export.
◦Strengths:
▪Built-in, no additional software needed.
▪PDF exports are universally accessible.
▪Pages export supports richer formats for editing.
◦Limitations:
▪Exports one note at a time, making it impractical for bulk exports.
▪PDF exports are static and not editable.
▪Pages exports don’t sync changes back to Notes and lose features like checklists or note links.
▪Multipage PDFs or scanned documents may only export the first page.
◦Best For: Users needing to export a few notes as PDFs or editable documents.
Recommendations
•For Bulk Exports: Exporter is the go-to choice for its simplicity and free price tag. Choose HTML format for media-rich notes or Markdown for text-based ones. Be prepared for some manual cleanup if importing into apps like Notion or Obsidian.
•For Obsidian Users: Obsidian Importer is highly effective, especially for those already in the Obsidian ecosystem.
•For Small Batches with Formatting: Use the iPad drag-and-drop method or native PDF/Pages export for quick, high-fidelity exports.
•For Advanced Users: Apple Cloud Notes Parser offers flexibility but requires technical know-how.
Notes on Limitations
•Apple Notes’ native export options are intentionally limited, likely to keep users within the ecosystem.
•No tool perfectly preserves all elements (e.g., hyperlinks, embedded images, or complex formatting) due to Apple’s proprietary note structure.
•Always back up your notes (e.g., via Time Machine or manual database copy at ~/Library/Group Containers/group.com.apple.notes) before using third-party tools.
If you’re looking for a specific format (e.g., PDF, Markdown) or have a particular use case (e.g., importing to Notion), let me know, and I can tailor the recommendation further!
25 年了， App 跨端用什么？感觉网上眼花缭乱
6 May 2025 at 16:09
wjk1011:
uni-app 、taro 、flutter 、RN 过来人推荐哪个
办的 279 的电信靓号套餐送的 1000M 宽带， 1 个月前发现上不了 IPV6 的 PT 了，大家说怎么办要不投诉，我上传都限速了不超过 30KB
6 May 2025 at 16:09
xiaoyao281:
前两天就有人反馈 WindSurf 免费版 tab 功能用不了，到今天都没修复
6 May 2025 at 16:00
yuxxzz:
啥情况，不给用了吗
做了个 iCloud+ 和个别常用 app 的全球订阅价格排行的网站
6 May 2025 at 15:56
nie11kun:
网址： https://price-comparator.niekun.net/
监控 iCloud+，chatgpt ，claude ，google one 订阅价格。
目前设置的 72 小时自动更新一次。
关于私活在客户预算低的情况下的合作方式和 V 友探讨一下；
6 May 2025 at 15:50
godleon:
RT
最近工作不忙，搞了几个商用的私活想做做；
我发现目前行情真是让我一言难尽啊，我这边联系了 4 个活，都是管理端 + 小程序；
客户这边基本都是对比了好几家外包公司之后 让我报价的；
我算出来这几个活 平均下来，一天不到 300 块； 也就是一个月给你 1W 的比例，而且工作量最起码一天 6 小时；
这我干个锤子啊！！！（再也不是当年做大学生的私活，装个 JDK 100 ， 装个 Mysql200 ，阿里云开 3 端口给我 80 的日子了）
但是我还是想争取一下，所以我想了一个法子；
比如客户预算是 1W ，我报价 3W ；
项目开始后 支付 1W 块钱，做完之后不交付源码 自己部署运营，客户这边盈利了，抽点，100 抽 10 或者 20 ， 直到
抽够 3W ，然后再交付源码 和 所有权等 抽够之后不在抽点；
然后我这个想法给客户说了，有 1 个人同意，就遇到另一个问题了，就是抽点问题；
我在举个例子吧：
我之前按照这个模式做过一个客户，是一个车险的报价器，我已经给他做出来半年了。
报价器当时谈的是 5W 块钱，先给我 1W 后续抽点，当时我还去他们公司了，规模啥的感觉还可以，然后我开发了半年。
上线之后，所有流水走我的商户，我 N+1 给他上个月的钱。
目前他们流水 一天差不多纯利 1000 左右，我抽 50 块， 他还欠我 4W ，我一天 50 要抽 800 天；
我都怕他哪天不干了，那岂不就是我搞了半年多 挣了 1W+ 血亏；
但是你抽多了 客户也不愿意，现在微信已经抽 6 个点了，其实我相当于抽 5 个，这一共是 11 个；
ps
其实我一般不接那种一次性的活，我会先评估这个客户的情况，是否有后续运营的能力的，项目细水长流，能有期收益的会优先考虑，但是这种客户确实比较难找，如果遇到一个 还确实想能够达成合作；
如果能有个两边互利的解决办法，或者其他的合作方式, 既能在客户预算低的情况下成功接单，后续也能保证自己的利益，是最好的；
刚搓好热乎项目：物理二合一收款码
6 May 2025 at 15:40
我 vibe 了一个新的数据库管理工具
6 May 2025 at 15:33
adjusted:
dbx 是一个用 Go 写的数据库管理工具，项目已经在 https://github.com/swiftcarrot/dbx 开源，入手超级简单。
读取现有数据库
import (
_ "github.com/lib/pq"
"github.com/swiftcarrot/dbx/postgresql"
"github.com/swiftcarrot/dbx/schema"
)
db, err := sql.Open("postgres", "postgres://postgres:postgres@localhost:5432/dbx_test?sslmode=disable")
pg := postgresql.New()
source, err := pg.Inspect(db)
从零开始用代码创建数据库结构：
target := schema.NewSchema()
target.CreateTable("user", func(t *schema.Table) {
t.Column("name", "text", schema.NotNull)
t.Index("users_name_idx", []string{"name"})
})
dbx 还能比较两个 schema ，生成数据库改动的 SQL：
changes, err := schema.Diff(source, target)
for _, change := range changes {
sql, err := pg.GenerateSQL(change)
_, err := db.Exec(sql)
}
因为 postgres 功能多，所以先支持了 postgres 。mysql 也已经照着实现了，不过还有些 bug 在修。大部分代码是用 Claude 3.7 + GitHub Copilot 的 Agent 模式写的，感兴趣可以看看.github 文件夹下面的指导文件。
我发现这个项目特别适合用语言模型，语言模型写 SQL 很溜，写测试来修 bug 也很简单。想听听大家的反馈，聊聊你们希望一个新的数据库管理项目有哪些功能。这个项目所有功能会一直开源免费，我也想试试 AI 编程还能玩出啥花样。欢迎在评论里聊聊你的想法，或者去 GitHub 仓库 https://github.com/swiftcarrot/dbx 开 issue ！
生产环境中使用 SQL 和 NoSQL 数据库
6 May 2025 at 15:33
senw603: 我刚加入一家新公司，发现他们在生产环境中同时使用 SQL （关系型）数据库和 NoSQL 数据库。大约 90%的数据（尤其是核心内容）存储在 SQL 数据库中，而用户相关数据（例如个人资料、访问权限等）存储在 NoSQL 数据库中。然而，这些数据源之间的所有连接操作都是在应用层用代码处理的，这使得即使是简单的查询（统计具有特定属性的用户数量）也变得比实际需要的更复杂。据我所知，这个公司的业务模型是高度关系型的，将所有内容保留在 postgreSQL 中可以显著简化架构，并使后端更易于长期维护。在这种情况下，我很难看出在新项目中同时使用 SQL 和 NoSQL 有什么实际好处。采用这种方法真的有什么好处吗？好像前端在 NoSQL 方面更有经验，所以他们选择了 NoSQL ，然后转向 SQL 来处理应用程序内容。我注意到的问题是，由于架构原因，原本需要 2 周的新功能后端开发却需要 2 个月
父母（55 左右，农村）在家闲不住，有什么轻松点的活计让他们做吗
6 May 2025 at 15:32
songche:
自从我工作了，就让他们把之前比较累的活计停掉了。 但是他们又闲不住，就承包了快递，结果遇上一些扯皮的事情，又熬人又不好干。 现在让他们逐步脱手一些不好干的快递。 爸妈都是吃苦节俭习惯了，让他们闲着也太难了，又好笑又心疼，只能慢慢让他们缓下来。
threejs 官方文档看着好难受。
6 May 2025 at 15:30
MrBrand:
如题，有没有 threejs 的入门教程推荐，图文（最好了，单位不方便看视频）、视频都可以，官方文档看着比微信开发文档看着还难理解
和老婆嘿咻完后腰疼怎么办
6 May 2025 at 15:29
ZoteTheMighty:
rt 31 岁了，娃出生快 3 个月了，51 回去高强度 2 天，现在腰疼，之前都是睡一觉第二天就好了。。。
Gemini 送一年会员
6 May 2025 at 15:26
ileonlu:
https://gemini.google/students/ 美国 ip ，送一年会员
请问一下，支付宝免押租赁有了解的吗
6 May 2025 at 15:22
edp58162:
朋友打算做手机、平板租赁业务，支付宝免押租赁小程序，有 V 友做这个的吗?
AI 对话生成 0 手工代码程序，右下角摸鱼炒股看盘小工具 需要安装.net v4.7.2
6 May 2025 at 15:15
igamebox:
第一次成品，全部 AI 生成，只手动编译
通过网盘分享的文件： 链接: https://pan.baidu.com/s/1jt17RCzGeKzarb2V8tPfcA?pwd=nseq 提取码: nseq 复制这段内容后打开百度网盘手机 App ，操作更方便哦
五一开车遇到的出租车真恶心
6 May 2025 at 15:05
SoulFlame: 快速路进广州，最右道车流排队一公里左右缓慢下匝道，好些不想排队的司机，在左边直行道直接开到尽头，压导流线、实线向右变道插队。
我不想被插队，一直贴着前车，车头留半米距离吧，那出租车一直贴着我向前挪了几十秒硬插进来了，想早点回家，最后还是踩了刹车，这种人真恶心。
我不想被插队，一直贴着前车，车头留半米距离吧，那出租车一直贴着我向前挪了几十秒硬插进来了，想早点回家，最后还是踩了刹车，这种人真恶心。
移动宽带用电信的监控服务卡顿，怎么排查原因。改找哪方。
6 May 2025 at 15:05
hao5764: 之前正常使用的，最近家里 2 个电信定制版的摄像头，使用的小翼管家 APP ，看监控直播画面一直卡顿，几秒几秒的跳。有线 无线都换过。
请问这个是移动跟电信之间跨区传输问题导致的吗？我怀疑是这样，我换手机卡热点给摄像头用就好很多。手机卡是联通的。
找过电信，电信还推了设备厂家给我，搞了好久还是一样。找移动吧，后面联系我说我的宽带数据都正常。让我找负责的运维上门测试。
主要觉得要是限速导致也很离谱，直播画面我看了下数据传输速率很低的。只几百 KB 在跑。
这样是找电信还是移动。设备有 2 个 都 一样问题 应该不是设备的事。
另家里有 360 摄像头，虽然偶尔也卡，但没到不能用的情况。家里宽带测速倒是正常
请问这个是移动跟电信之间跨区传输问题导致的吗？我怀疑是这样，我换手机卡热点给摄像头用就好很多。手机卡是联通的。
找过电信，电信还推了设备厂家给我，搞了好久还是一样。找移动吧，后面联系我说我的宽带数据都正常。让我找负责的运维上门测试。
主要觉得要是限速导致也很离谱，直播画面我看了下数据传输速率很低的。只几百 KB 在跑。
这样是找电信还是移动。设备有 2 个 都 一样问题 应该不是设备的事。
另家里有 360 摄像头，虽然偶尔也卡，但没到不能用的情况。家里宽带测速倒是正常
