JustinChen的博客

【学算法】LC 3249. 统计好节点的数目

算法

3249. 统计好节点的数目题解 class Solution { public: int countGoodNodes(vector<vector<int>>& edges) { int n = edges.size() + 1; vector<vecto

【学算法】LC 3251. 单调数组对的数目 II

算法

3251. 单调数组对的数目 II - 力扣（LeetCode）超时方案 class Solution { public: int countOfPairs(vector<int>& nums) { const int MOD = 1000000007; i

【深度学习】Decomposable Attention Model

人工智能

1 整体结构可分解注意力模型：Decomposable Attention Model 2 多层感知机 (MLP) def mlp(num_inputs, num_hiddens, flatten): net = [] net.append(nn.Dropout(0.2))

【深度学习】Bert结构以及预训练

人工智能

1 Bert模型先看看Bert做了什么：静态词嵌入（如word2vec和GloVe）：特点：预训练的向量是固定的，同一个词在不同上下文中使用相同的向量。局限性：无法处理一词多义或复杂语义，因为它们不考虑词的上下文信息。上下文敏感的词表示： ELMo：特点：使用双向编码，即考虑词的左侧和右

【学算法】LC 638. 大礼包

算法

638. 大礼包 - 力扣（LeetCode）题解 class Solution { public: int shoppingOffers(vector<int>& price, vector<vector<int>>& special, vector<int>& needs) {

【深度学习】Transformer

人工智能

1 Transformer结构 Transformer作为编码器－解码器架构的一个实例。正如所见到的，Transformer是由编码器和解码器组成的。与基于Bahdanau注意力实现的序列到序列的模型相比，Transformer的编码器和解码器是基于自注意力的模块叠加而成的，源（输入）序列和目标（输

【深度学习】层归一化和批量归一化

人工智能

以这个张量为例： [[3, 2, 1], [1, 2, 3]] 其中第一个维度是样本，第二个维度是特征，所以该数据表示的是两个样本，每个样本都有三个特征。 1 层归一化 (Layer Norm) 主要思想是计算对每一个样本计算所有特征均值、标准差，然后对样本数据进行归一化就以上面的例子为例，

【深度学习】Word2Vec算法以及优化

人工智能

1 跳元模型（Skip-Gram）定义模型参数：对于词典中的每个词，有两个d维的向量表示，分别用于中心词和上下文词。中心词向量记为\mathbf{v}_i，上下文词向量记为\mathbf{u}_i。计算条件概率：给定一个中心词w_c，计算生成任意上下文词w_o的条件概率。条件概率通过中心

【深度学习】注意力机制

人工智能

1 注意力机制中的Q、K、V 我们通过一个简化的例子来说明注意力机制中q（查询）、k（键）和v（值）的作用。假设我们有一个简单的语言模型，它正在处理一个英文句子，并试图预测下一个单词。句子是 "The cat sat on the mat"，我们想要预测下一个单词。步骤 1: 定义嵌入向量首先

【深度学习】Seq2Seq（带有Bahdanau注意力机制）

人工智能

Seq2Seq基础结构可以看上一篇文章【深度学习】Seq2Seq 1 总体结构 Bahdanau注意力也成为加性注意力，其实是一种注意力评分函数 2 编码器结构在编码器部分，和基础的seq2seq结构完全一致 3 解码器结构注意: 与基础Seq2Seq结构的主要不同主要是对于解码器结构的部分，对

【深度学习】Seq2Seq

人工智能

1 总体结构不论是编码器还是解码器，它们都会首先通过嵌入层（Embedding层）处理外部输入，以便转换成相应的词向量。 2 编码器结构 vocab_size：词汇表的大小，用于定义嵌入层。 embed_size：嵌入层输出的维度，即每个词汇的向量表示大小。 num_hiddens：循环神经网络（

【Python】文件、文件夹操作

学习

文件操作打开/关闭文件： with open('file.txt', 'r') as f: # 自动关闭文件 content = f.read() 读写文件： f.write('Hello, World!') content = f.read() 文件信息： os.path.gets

【Linux】Screen常用操作

学习

安装Screen 在Ubuntu系统中，使用以下命令安装Screen： sudo apt-get update sudo apt-get install screen 创建Screen会话启动一个新的Screen会话，并为其命名： screen -S [会话名称] 退出Screen会话在会话

【深度学习】RNN、GRU、LSTM的计算单元

人工智能

1. RNN(Recurrent Neural Network) 相关公式： a^{<t>} = \tanh(W_a \cdot [a^{<t-1>}, x^{<t>} ] + b_a) \hat{y}^{<t>} = \sigma(W_y \cdot a^{<t>} + b_y) 2. GRU(G

【深度学习】卷积层、池化层的正向反向传播

人工智能

1 卷积层 1.1 前向传播以此卷积核为例： \begin{bmatrix}1&0&1\\0&1&0\\1&0&1\\\end{bmatrix} 1.2 反向传播 dA += \sum _{h=0} ^{n_H} \sum_{w=0} ^{n_W} W_c \times dZ_{hw} \tag{

【深度学习】梯度下降优化算法-Momentum,RMSprop,Adam

人工智能

提要一般的梯度下降公式为 w=w-dw b=b-db 这里提到的是对于一般的梯度下降的优化方案 1 动量梯度下降 (Gradient Descent with Momentum) v_{dw}=\beta v_{dw}+(1-\beta)dW v_{db}=\beta v_{db}+(1-\bet

【深度学习】单隐层网络-公式推导

人工智能

注意dZ^{[2]}的由来激活函数为Sigmoid： a^{[2]} = \frac{1}{1 + e^{-z^{[2]}}} 损失函数为： L(a , y) = - y \log{a} - (1-y)\log{(1-a)} 所以：\frac{dL}{da} = -\frac{y}{a} + \f

Docker中配置使用Halo2，数据库指定为Mysql

配置/部署

正式开始前的说明，系统为Ubuntu 24，使用的是docker而不是docker-compose 这里使用的halo2以及mysql全部使用docker镜像由于目前docker镜像源不稳定，所以不提供拉取镜像的命令（可能用不了） 1. 安装Docker 2. 新建docker网络 docker

Nginx配置http、https反向代理

配置/部署

http、https反向代理参考配置 user www-data; worker_processes auto; pid /run/nginx.pid; error_log /var/log/nginx/error.log; include /etc/nginx/modules-enabled/*.

【学算法】LC 3175. 找到连续赢 K 场比赛的第一位玩家

算法

3175. 找到连续赢 K 场比赛的第一位玩家题解使用了“打擂台”思想 class Solution { public: int findWinningPlayer(vector<int>& skills, int k) { int max_i = 0, win = 0;

【微信开发】微信小程序多层wx:for嵌套的使用

技术分享

1. 首先介绍一下需求：我们有一个对象数组list，数组成员的结构是: { _id: '', //主键 name: '', //名称 - string type: 1, //类型 - number （范围 1 - 12） } 我们要做的是将该数组内的成员按照其 type 属性分类列出

【微信开发】微信小程序云函数中的数据处理后返回

技术分享

本文主要演示的是，在微信云函数中调用数据库后，如何对获取的内容在云函数内处理后返回。主函数 exports.main = async (event, context) => { //获取表 let table = cloud.database().collection('table'); /