飞桨开源社区博客

I'm excited to share my journey of fine-tuning PaddleOCR-VL specifically for manga OCR tasks! The resulting model, PaddleOCR-VL-For-Manga, is ranked #3 on HuggingFace's trending leaderboard in the Image-Text-to-Text category — demonstrating the effectiveness of proper fine-tuning for language- and domain-specific tasks based on PaddleOCR-VL! 🎉

这是一篇在今年五月完成的采访，记录了 🦩 哥的个人经历，以及他在开源社区中的成长故事。由于 🦩 哥实在太能聊， 内容异常丰富，再加上主编一直忙得分身乏术，稿子就这样一拖再拖，迟迟没有发出。为了不让这次采访彻底“烂尾”，我们终于在今天把它完整整理出来，与大家分享。

9 月 9 日下午，WAVE SUMMIT 开发者分论坛迎来了一场别开生面的分享环节——“PaddlePaddle Contributor Lightning Talks” 技术快闪分享（开放麦模式）。
这是一个属于开源贡献者的舞台，也是一次关于热爱、技术与勇气的闪电碰撞。

现场汇聚了来自不同高校与背景的贡献者代表，他们用短短 5 分钟的时间，讲述与飞桨的相遇故事，分享技术思考、社区体验与个人成长。

本文梳理近期主流的 KV 压缩/驱逐思路（Prefill vs. Decoding），对比 H2O、PyramidKV、SnapKV、Quest 等代表方法的策略与表现。

9 月 23 日，飞桨团队携手文心大模型走进浙江大学软件学院，带来一场特别的开源分享活动——“OpenSource in Paddle：浙大限定的开源大冒险”。

活动邀请多位飞桨资深工程师与产品经理，与浙大软院师生面对面交流，分享前沿的开源实践与大模型应用。现场气氛热烈，技术与创意交织，激发了关于开源的深度思考。

本工作旨在解决Serverless LLM 推理中的冷启动（Cold Start）问题。冷启动延迟严重影响了用户体验的关键指标——首令牌时间（Time-To-First-Token, TTFT）。

本文概述了大型语言模型（LLM）的后训练（post-training）方法，主要包括监督微调（Supervised Fine-tuning, SFT）、直接偏好优化（Direct Preference Optimization, DPO）和在线强化学习（Online Reinforcement Learning, Online RL）。尽量通过通俗易懂的方式介绍这些技术细节，适合对 LLM 有兴趣但非专业的读者。

• 论文链接：vAttention: Dynamic Memory Management for Serving LLMs without PagedAttention | Proceedings of the 30th ACM International Conference on Architectural Support for Programming Languages and Operating Systems, Volume 1
• 关键词：KV cache, CUDA