小余同学's Bolg

一个正在学习自然语言处理的研二学生

Chatgpt-Streamlit简单web实现

测试地址：http://101.43.3.117:8501/注册账户并申请API由于ChatGPT平台并没有对中国开放，因此我们无法按照正常流程通过Ope...

  • littlefish
  • 2023 年 02 月 13 日
  • 暂无评论
    •

    Self-Attention、MultiHead-Attention和Masked-Attention

    一、Self-Attention1.1. 为什么要使用Self-Attention假设现在一有个词性标注(POS Tags)的任务，例如：输入I saw ...

  • littlefish
  • 2023 年 01 月 25 日
  • 暂无评论
    •

    层级多标签分类怎么做？-以商品标题层级多标签分类为例

    1、层次分类简介本项目提供通用场景下基于预训练模型微调的层次分类端到端应用方案，打通数据标注-模型训练-模型调优-模型压缩-预测部署全流程，有效缩短开发周...

  • littlefish
  • 2022 年 10 月 16 日
  • 1 条评论
    •

    NLP深度学习训练时刷SOTA有哪些trick？

    R-Drop：两次前向+KL loss约束Post Training: 在领域语料上用mlm进一步预训练EFL: 少样本下，把分类问题转为匹配问题，把输入...

  • littlefish
  • 2022 年 07 月 01 日
  • 暂无评论
    •

    PyTorch显存机制是什么样的？今天来彻底分析一下。

    我从研一开始学习NLP自然语言处理，经常使用PyTorch框架。一开始用的时候对于PyTorch的显存机制也是一知半解，连蒙带猜的，经常来知乎上来找答案。...

  • littlefish
  • 2022 年 06 月 28 日
  • 暂无评论