小猫都能懂的大模型原理 1 - 深度学习基础

• AI 科技树
  • 人工智能 > 机器学习 > 深度学习 > 大语言模型
• 深度学习
  • 多层神经网络
  • 代表模型
    • 卷积神经网络（CNN）
    • 循环神经网络（RNN）
    • Transformer
    • GAN
• 大语言模型
  • 基于 Transformer 的大规模矩阵计算
  • 需要强大 GPU 支持
  • 与深度学习本质相同
• 训练方式
  • 线性回归示例：price = distance * w + b
  • 损失函数：均方误差（MSE）
  • 梯度下降求最小化
• 过拟合
  • 训练数据损失为 0 但泛化能力差
  • 需要控制模型复杂度
• 神经网络
  • 参数众多的权重与偏置
  • 激活函数（ReLU）引入非线性
  • 多层特征提取
  • 深度 vs 宽度
    • 深度：层多、每层神经元少
    • 宽度：层少、每层神经元多
• 反向传播
  • 基于链式法则的梯度计算
  • 与梯度下降统一优化权重
  • 参考 3blue1brown 讲解
• 参考资料
  • 3blue1brown Neural Networks
  • tensorflow playground