←
低熵体的笔记本
67-LLM推理技术之StreamingLLM：如何拥有无限长生成能力
A−
A+
🌙
正在初始化搜索引擎
首页
更新记录
友链
Vibe Coding
大模型面试八股文
低熵体的笔记本
首页
更新记录
友链
Vibe Coding
大模型面试八股文
大模型面试八股文
AI Agent
RAG 与检索
RAG 与检索
RAG 核心面试
LLM & RAG 综合题库
LLM & RAG 综合题库
1-大模型（LLMs）基础面
10-LLMs 训练经验帖
11-大模型（LLMs）langchain 面
12-多轮对话中让AI保持长期记忆的8种优化方式篇
13-基于langchain RAG问答应用实战
14-基于LLM+向量库的文档对话 经验面
15-大模型 RAG 经验面 Copy
16-LLM文档对话 —— pdf解析关键问题
17-大模型（LLMs）RAG 版面分析——表格识别方法篇
18-大模型（LLMs）RAG 版面分析——文本分块面
19-大模型外挂知识库优化——如何利用大模型辅助召回？
2-Layer normalization 篇
20-大模型外挂知识库优化——负样本样本挖掘篇
21-RAG（Retrieval-Augmented Generation）评测面
22-检索增强生成(RAG) 优化策略篇 Copy
23-大模型（LLMs）RAG —— 关键痛点及对应解决方案
24-大模型（LLMs）RAG 优化策略 —— RAG-Fusion篇
25-Graph RAG 面 — 一种 基于知识图谱的大模型检索增强实现策略
26-大模型（LLMs）参数高效微调(PEFT) 面
27-适配器微调（Adapter-tuning）篇
28-提示学习（Prompting）篇
29-LoRA 系列篇
3-LLMs 激活函数篇
30-如何使用 PEFT库 中 LoRA？
31-大模型（LLMs）推理面
32-大模型（LLMs）增量预训练篇
33-增量预训练（Pretrain）样本拼接篇
34-基于lora的llama2二次预训练
35-大模型（LLMs）评测面
36-大模型（LLMs）强化学习面
37-大模型（LLMs）强化学习——RLHF及其变种面
38-大模型（LLMs）强化学习—— PPO 面
39-强化学习在自然语言处理下的应用篇
4-Attention 升级面
40-大模型（LLMs）训练集面
41-大模型（LLMs）LLM生成SFT数据方法面
42-大模型（LLMs）显存问题面
43-显存优化策略篇
44-大模型（LLMs）分布式训练面
45-图解分布式训练（一） —— 流水线并行（Pipeline Parallelism）
46-图解分布式训练（二） —— nn.DataParallel篇
47-图解分布式训练（三） —— nn.parallel.DistributedDataParallel
48-图解分布式训练（四） —— torch.multiprocessing 详细解析
49-图解分布式训练（五） —— AMP混合精度训练 详细解析
5-transformers 操作篇
50-图解分布式训练（六）—— Pytorch的 DeepSpeed 详细解析
51-图解分布式训练（七）—— accelerate 分布式训练 详细解析
52-图解分布式训练（八）—— ZeRO 学习
53-大模型分布式训练故障恢复篇
54-pytorch 分布式计算 坑-bug 梳理篇
55-大模型（LLMs）agent面
56-LLMs 位置编码篇
57-LLMs Tokenizer 篇
58-怎么让英文大语言模型支持中文？（一） —— 构建中文tokenization
59-怎么让英文大语言模型支持中文？（二） —— 继续预训练篇
6-LLMs 损失函数篇
60-怎么让英文大语言模型支持中文？（三） —— 对预训练模型进行指令微调
61-大模型（LLMs）加速篇
62-LLMs 推理性能面
63-LLM（大语言模型）部署加速方法——PagedAttention篇
64-大模型推理加速工具 —— vLLM
65-LLM（大语言模型）部署加速方法——Faster Transformer篇
66-纯Python超轻量高性能LLM推理框架 —— LightLLM
67-LLM推理技术之StreamingLLM：如何拥有无限长生成能力
68-SwiftInfer —— 大模型无限流式输入推理飙升46_，打破多轮对话长度限制
69-大模型幻觉（LLM Hallucination）面
7-相似度函数篇
70-大模型的幻觉问题篇
71-如何缓解大模型幻觉？
72-LLMs 对比篇
73-百川智能baichuan7B、13B、53B、baichuan2 总结篇
74-LLaMA 常见面试题篇 Copy
75-GPT 经验篇
76-思维链 Chain-of-Thought（COT）
77-思维链 Chain-of-Thought（COT）变体篇
78-小样本提示学习篇
79-LLMs 测试集 中 数据泄露 问题篇
8-大模型（LLMs）进阶面
80-MOE（Mixture-of-Experts）篇
81-大模型蒸馏篇
82-LLMs 浮点数篇
83-自定义 CUDA 函数的轻量级包装器 —— bitsandbytes篇
84-大模型（LLMs）软硬件配置面
85-Token及模型参数准备篇
86-多模态常见面试篇
87-NLP Trick 篇
88-文本分类常见面试篇
89-文本摘要常见面试篇
9-大模型（LLMs）微调面
90-命名实体识别常见面试篇
91-向量检索常见面试篇 Copy
92-LLMs 其他 Trick
93-向量检索、检索增强生成（RAG）、大语言模型及相关系统架构——典型面
94-“幻觉”问题根本无解！为什么我们的大模型会“说胡话”？
95-一文读懂Transformer【超详细】【原理篇&实战篇】 - 飞书云文档 (1)
95-一文读懂Transformer【超详细】【原理篇&实战篇】 - 飞书云文档
微调 · 训练 · 分布式
推理 · 幻觉 · 评测
多模态
手撕与工程
基础与语言
综合题库
求职面经
首页
大模型面试八股文
RAG 与检索
LLM & RAG 综合题库
67-LLM推理技术之StreamingLLM：如何拥有无限长生成能力
没有权限查看
加入「AiGC备忘录」即可查看该篇文章
我已加入，点击查看文章
回到页面顶部
