bluryar

V2EX 第 591485 号会员，加入于 2022-08-17 12:06:20 +08:00

bluryar 最近回复了

1 天前

回复了 Sh1xin 创建的主题 › Local LLM › 私有化部署 LLM 及 LVM 选型方案意见收集

@Sh1xin 4 张卡是全用于部署 LLM 还是需要部署包括 LLM\Embedding\Reranker 在内的所有模型？工作流复杂的情况下，你还有可能需要部署小参数的 LLM 。OCR 不知道部啥，就跑一个 MinerU 吧。

您的应用还没搭建起来其实也说不清楚需要什么样的模型。作为网友当然是建议参数越大越好。

1 天前

回复了 pigpigxia 创建的主题 › 问与答 › 想做个调研，看看国产 AI 芯片到什么程度了

@coefu “和别人辩论” 不知道您从哪里感觉到我在和人辩论，我只是一个往互联网公测拉粑粑的过客。少用 xxx ，具体您认为应该少用啥？

1 天前

回复了 Sh1xin 创建的主题 › Local LLM › 私有化部署 LLM 及 LVM 选型方案意见收集

@Sh1xin 没场景就随便部署一个交差

1 天前

回复了 Sh1xin 创建的主题 › Local LLM › 私有化部署 LLM 及 LVM 选型方案意见收集

1. AWQ ，最低的硬件要求除个 4 即可
2. 4 张卡都用来跑 LLM 的话，其他小模型跑在哪？

1 天前

回复了 lonely701 创建的主题 › 问与答 › macOS 上有没有使用本地模型的 AI 翻译软件？

Whisper 好像能转录的同时翻译，但是 Whisper 本身训的时候中文就不怎么样，其他人可能会微调这个任务，但是都上机器上数据微调了，咋可能免费呢

1 天前

回复了 Sh1xin 创建的主题 › Local LLM › 私有化部署 LLM 及 LVM 选型方案意见收集

LVM 为什么和 LLM 是排他的，这个配置：QuantTrio/Qwen3-VL-235B-A22B-Thinking-AWQ 洒洒水

1 天前

回复了 pigpigxia 创建的主题 › 问与答 › 想做个调研，看看国产 AI 芯片到什么程度了

评论区看到国产就只想到昇腾吗，除了情绪啥也看不到，MOE 时代，NVLink 的国产替代方案比芯片算力更加需要关注吧。

软件方面，国产芯片公司都会养团队去适配特定的 LLM ，其他非 LLM 模型的适配虽然细碎，LLM 可不一定差到拿不出手。VLLM 、SGLang 也在积极接受国产芯片的适配 PR 吧？

2024-03-23 11:36:23 +08:00

回复了 clemente 创建的主题 › 问与答 › 想知道类似这样的聚合新闻门户是怎么实现的?

爬虫, 我自己用 RSSHub + Miniflux, RSSHub 会比较及时的维护目标网站的适配. 我自己写了个套壳 UI

- [RSSHub]( https://docs.rsshub.app/) - 算是另类的爬虫? - 网页转成 RSS 订阅源
- [Miniflux]( https://github.com/miniflux/v2) - 订阅 feeds, 加了一些分组\用户之类的功能, 也提供 API 供外部调用, 也有一个极简的 WebUI
- [NuxtFlux]( https://github.com/bluryar/nuxtflux) - 套壳 UI, 我模仿下面这个项目写的
- [ReactFlux]( https://github.com/electh/ReactFlux) - 套壳 UI

» bluryar 创建的更多回复