排名
1
文章数
15030
总访问量
216.3万
粉丝数
30
评论数
120
Pytorch 初探
Pytorch 初探[TOC]
Pytorch简介PyTorch由 Facebook 的 AI 研究团队开发的一个开源的机器学习库，它提供了张量（tensor）计算和动态计算图的功能。Pytorch特点
特点
描述
动态计算图
PyTorch 使用动态计算图，这意味着在运行时创建计算图。相比于静态计算图，动态计算图更加灵活，方便调试和动...
.Net 磁盘映射内网远程共享文件夹
.Net 磁盘映射内网远程共享文件夹[TOC]
public class WNetHelper
{
public WNetHelper() { }
[DllImport("mpr.dll", EntryPoint = "WNetAddConnection2")]
private static extern uint WNetAddConnection2(NetResource lpNetResource, string lpPassword, string lpU...
HugginFace 中文命名实体识别(学习笔记)
HugginFace 中文命名实体识别(学习笔记)[TOC]
任务简介简单来说就是的识别人名、机构名、地名。数据集的介绍本章所使用的数据集是people_daily_ner数据集。people_daily_ner数据集标签对照表如下所示。
标签
描述
O
表示不属于一个命名实体
B-PER
表示人名的开始。
I-PER
表示的...
HuggingFace 2023-10-31 浏览（201）
HugginFace 中文数据关系推断(学习笔记)
HugginFace 中文数据关系推断(学习笔记)[TOC]
实现代码安装包加载的环境可以通过如下命令进行安装。%pip install -q transformers==4.18 datasets==2.4.0 torchtext
准备数据集使用编码工具。本章依然使用的是bert-base-chinese编码工具。from transformers import BertTokenizer
token = BertTokenizer...
HuggingFace 2023-10-30 浏览（193）
HugginFace 中文填空(学习笔记)
HugginFace 中文填空(学习笔记)[TOC]
数据集介绍本章使用的仍然是情感分类数据集，每条包括一句购物评价一集以及是不是好评的标识。唯一不同的是将其中的句子字符串进行替换，然后通过模型进行训练后进行填空。实现代码安装环境%pip install -q transformers datasets torchtext
准备数据集使用编码工具首...
HuggingFace 2023-10-28 浏览（201）
HugginFace 中文情感分类(学习笔记)
HugginFace 中文情感分类(学习笔记)[TOC]
数据集介绍本章使用的是lansinuote/ChnSentiCorp数据集，这是一个情感分类数据集，每条数据中包括一句购物评价和标识(好评或差评)。模型架构RNN的主要功能是能把自然语言的句子抽取成特征向量，有了特征向量之后入全连接神经网络做分类或者回归就水到渠成了。RNN把一...
HuggingFace 2023-10-27 浏览（238）
HugginFace 使用训练工具(学习笔记)
HugginFace 使用训练工具(学习笔记)[TOC]
训练工具介绍HuggingFace提供了巨大的模型库，但我们往往还需要对特定的数据集进行二次训练，这个过程也叫做迁移学习。这里我们以情感分类的任务作为例子。使用训练工具再此之前，我安装的框架环境版本如下：%pip install -q transformers==4.18 datasets==2.4.0 torc...
HuggingFace 2023-10-25 浏览（670）
HugginFace 使用管道工具(学习笔记)
HugginFace 使用管道工具(学习笔记)[TOC]
管道工具介绍HuggingFace 有一个巨大的模型库，其中一些是已经非常成熟的经典模型，这些模型使不进行仍和训练也可以得到比较好的预测结果，也就是场所的Zero Shot Learning。使用管道工具时，调用者需要做的只是告诉管道工具进行的任务类型，管道工具自动分配合适的模...
HuggingFace 2023-10-24 浏览（224）
HugginFace 使用评价指标工具(学习笔记)
HugginFace 使用评价指标工具(学习笔记)[TOC]
评价指标工具介绍在训练和测试一个模型时往往需要计算不同的评价指标，如正确率、查准率、查全率、F1值等，具体需要的指标往往和处理的数据集、任务类型有关，HuggingFace提供了统一的评价指标工具，能够将具体的计算过程隐藏，调用者只需要提供计算结果，由评价...
HugginFace 使用数据集(学习笔记)
HugginFace 使用数据集(学习笔记)[TOC]
数据集工具介绍HuggingFace 提供了统一的数据集处理工具，让不同的数据集通过统一的API处理。访问HuggingFace官网，点击顶部的Datasets，可以看到它提供的所有数据集。
左边可以通过不同的任务类型、语言、体积许可来筛选数据集，右侧为具体的数据集列表，其中有glue、...
HuggingFace 2023-10-20 浏览（297）
HugginFace 使用编码工具(学习笔记)
HugginFace 使用编码工具(学习笔记)[TOC]
安装环境# 我这里的python是3.11
%pip install -q transformers==4.18 datasets==2.4.0 torchtext
编码工具简介HuggingFace提供了一套统一的编码API，由每个模型各自提交实现。编码工具流程示例1.定义字典我们想让输入的文本，让电脑理解就是将其转换成数字的一个...
HuggingFace 2023-10-20 浏览（252）
HugginFace 初探
HugginFace 初探[TOC]
安装环境python环境是3.6。import sys
sys.version
安装torch,简单起见,避免环境问题,并且计算量不大,使用cpu运行本套代码。后面章节会介绍使用cuda计算的方法。%pip install torch==1.10.1+cpu torchvision==0.11.2+cpu torchaudio==0.10.1 -f https://download.pytorch.org/whl/...
LangChain 一个完整的例子
LangChain 一个完整的例子[TOC]
简介这是该 LangChain 极简入门系列的最后一讲。我们将利用过去9讲学习的知识，来完成一个具备完整功能集的LLM应用。该应用基于 LangChain 框架，以某 PDF 文件的内容为知识库，提供给用户基于该文件内容的问答能力。我们利用 LangChain 的QA chain，结合 Chroma 来实现PDF文档...
LangChain 回调 (Callback)
LangChain 回调 (Callback)[TOC]
简介Callback 是 LangChain 提供的回调机制，允许我们在 LLM 应用程序的各个阶段使用 Hook（钩子）。这对于记录日志、监控、流式传输等任务非常有用。这些任务的执行逻辑由回调处理器（CallbackHandler）定义。回调处理器在 Python 程序中， 回调处理器通过继承 BaseCallbackH...
LangChain 代理 Agent(学习笔记)
LangChain 代理 Agent(学习笔记)[TOC]
简介Agent 也就是代理，它的核心思想是利用一个语言模型来选择一系列要执行的动作。LangChain 的链将一系列的动作硬编码在代码中。而在 Agent 中，语言模型被用作推理引擎，来确定应该执行哪些动作以及以何种顺序执行。这就涉及到几个关键组件：
Agent 代理Tool 工具Too...
IIS 报错 HTTP Error 503
IIS 报错 HTTP Error 503[TOC]
今天早上的发现我维护的一个小网站发生503报错的，但没有找到具体的问题所在。Service Unavailable
--------------------------------------------------------------------------------
HTTP Error 503. The service is unavailable.
浪费我一个小时后,最后发现是windows...
LangChain 记忆组件(学习笔记)
LangChain 记忆组件(学习笔记)[TOC]
单一的LLM对于简单的应用场景已经足够，但是更复杂的应用程序需要将LLM串联在一起，需要多LLM协同工作。简介大多数LLM应用都具有对话界面。对话的一个重要组成部分是对话历史中的信息。我们将这种存储对话历史中的信息的能力称为记忆。LangChain 提供了一系列记忆相关的实...
