开源的、专为大型语言模型(LLM)友好设计的网页爬虫和抓取工具#工具

None

相关推荐

封面图片

:专为处理大型语言模型(LLM)结构化输出而设计的TypeScript工具包

封面图片

libLLM: 专为在普通个人电脑和移动设备上高效推理大型语言模型(LLM)而设计的开源项目。

:专为在普通个人电脑和移动设备上高效推理大型语言模型(LLM)而设计的开源项目。核心使用C++14编写,没有第三方依赖(BLAS、SentencePiece等),能在各种设备中无缝运行。特点为日常设备进行优化:libLLM经过优化,可在常见的个人电脑上平稳运行,确保大型语言模型的强大功能面向更广泛的用户。C++代码:采用标准C++14编写,简单高效。无外部依赖:核心功能无需第三方依赖(BLAS、SentencePiece等),所需的GEMM内核均在内部实现(avx2、avx512)。支持CUDA:支持使用CUDA加速推理。

封面图片

:多线程网络爬虫,能递归地爬取网站并为每个页面创建Markdown文件,专为大型语言模型文档解析设计

封面图片

:为大型语言模型(LLM)设计的React库,旨在提高与LLM交互的用户体验

封面图片

Line日本总部本周宣布开源自家开发的日语大型语言模型(LLM)。

Line日本总部本周宣布开源自家开发的日语大型语言模型(LLM)。,可用于研究和商业用途,包含和个参数两个版本,均可在HuggingFaceHub上获取。,Line一直专注于大型语言模型HyperCLOVA,在2021年5月,Line首次公开了基于2040亿个参数训练的韩文版LLMHyperCLOVA,然后在11月公布了拥有850亿个参数的日语专用版本。此次公开的模型与HyperCLOVA是不同部门并行开发的。此次开源的模型团队指出,此模型是基于Line自家的日语大型Web文本进行训练的,使用了650GB数据集进行训练。研究团队还提供了本次公开的两个模型与Rinna-3.6B和OpenCALM-7B模型的准确度和困惑度(perplexityscore,PPL)比较数据。——

封面图片

Yandex开源大型语言模型训练工具YaFSDP跨国科技公司Yandex最近推出了用于训练大型语言模型的开源方法YaFSDP。Y

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人