AI-Interview-Code

AI 大模型相关算法中手写的面试题，（非 LeetCode），一般比 LeetCode 更考察一个人的综合能力，又更贴近业务和基础知识一点

欢迎关注我的博客：用代码打点酱油 ，内容一般会首先更新到博客上面。

目录

题目	难度	知识点	文字解读	视频解读
手写 Self-Attention	⭐⭐⭐	注意力机制	手写 Self-Attention 的四重境界
手写 Multi-Head Self-Attention	⭐⭐⭐	注意力机制	手写 Multi-Head Self-Attention
手写 Transformer Decoder（Causal Language Model, LM）	⭐⭐⭐⭐	Transformer 架构	手写 Transformer Decoder
计算 LLM (Decoder) 模型的参数量	⭐⭐⭐	模型参数量	TODO
LLM 模型训练推理显存占用预估	⭐⭐⭐⭐	显存占用	LLM 大模型训练-推理显存占用分析
手写 AUC	⭐⭐	模型评估	TODO
手写 KMeans	⭐⭐⭐⭐⭐	聚类	TODO
手写 线性回归	⭐⭐⭐⭐⭐	线性回归	TODO
手写 BPE 分词器	⭐⭐⭐⭐⭐	分词	TODO
手写 LayerNorm	⭐⭐	归一化	TODO
手写 BatchNorm	⭐⭐	归一化	TODO
手写 Softmax	⭐⭐	激活函数	TODO