bluryar 最近的时间轴更新
bluryar

bluryar

V2EX 第 591485 号会员,加入于 2022-08-17 12:06:20 +08:00
bluryar 最近回复了
1 天前
回复了 Sh1xin 创建的主题 Local LLM 私有化部署 LLM 及 LVM 选型方案意见收集
@Sh1xin 4 张卡是全用于部署 LLM 还是需要部署包括 LLM\Embedding\Reranker 在内的所有模型?工作流复杂的情况下,你还有可能需要部署小参数的 LLM 。OCR 不知道部啥,就跑一个 MinerU 吧。

您的应用还没搭建起来其实也说不清楚需要什么样的模型。作为网友当然是建议参数越大越好。
@coefu “和别人辩论” 不知道您从哪里感觉到我在和人辩论,我只是一个往互联网公测拉粑粑的过客。 少用 xxx ,具体您认为应该少用啥?
1 天前
回复了 Sh1xin 创建的主题 Local LLM 私有化部署 LLM 及 LVM 选型方案意见收集
@Sh1xin 没场景就随便部署一个交差
1 天前
回复了 Sh1xin 创建的主题 Local LLM 私有化部署 LLM 及 LVM 选型方案意见收集
1. AWQ ,最低的硬件要求除个 4 即可
2. 4 张卡都用来跑 LLM 的话,其他小模型跑在哪?
Whisper 好像能转录的同时翻译,但是 Whisper 本身训的时候中文就不怎么样,其他人可能会微调这个任务,但是都上机器上数据微调了,咋可能免费呢
1 天前
回复了 Sh1xin 创建的主题 Local LLM 私有化部署 LLM 及 LVM 选型方案意见收集
LVM 为什么和 LLM 是排他的,这个配置:QuantTrio/Qwen3-VL-235B-A22B-Thinking-AWQ 洒洒水
评论区看到国产就只想到昇腾吗,除了情绪啥也看不到,MOE 时代,NVLink 的国产替代方案比芯片算力更加需要关注吧。

软件方面,国产芯片公司都会养团队去适配特定的 LLM ,其他非 LLM 模型的适配虽然细碎,LLM 可不一定差到拿不出手。VLLM 、SGLang 也在积极接受国产芯片的适配 PR 吧?
2024-03-23 11:36:23 +08:00
回复了 clemente 创建的主题 问与答 想知道类似这样的聚合新闻门户是怎么实现的?
爬虫, 我自己用 RSSHub + Miniflux, RSSHub 会比较及时的维护目标网站的适配. 我自己写了个套壳 UI

- [RSSHub]( https://docs.rsshub.app/) - 算是另类的爬虫? - 网页转成 RSS 订阅源
- [Miniflux]( https://github.com/miniflux/v2) - 订阅 feeds, 加了一些分组\用户之类的功能, 也提供 API 供外部调用, 也有一个极简的 WebUI
- [NuxtFlux]( https://github.com/bluryar/nuxtflux) - 套壳 UI, 我模仿下面这个项目写的
- [ReactFlux]( https://github.com/electh/ReactFlux) - 套壳 UI

关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2615 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms · UTC 12:17 · PVG 20:17 · LAX 04:17 · JFK 07:17
♥ Do have faith in what you're doing.