首页 > 业界 > 关键词  > AI小镇最新资讯  > 正文

基于RWKV可在本地运行的AI小镇开源

2023-11-15 10:23 · 稿源:站长之家

站长之家(ChinaZ.com)11月15日 消息:AI Town RWKV Proxy是一个允许用户在本地通过RWKV代理来运行大型AI城市的项目。该项目基于RWKV,这是一个线性变换器,没有评估妥协,推理成本较低(10-100倍),足够轻便,可以在16GB RAM和任何现代CPU上运行。用户可以选择在不同设备上运行不同大小的模型,甚至可以在Raspberry Pi等低端设备上运行1.5B模型。尽管代码尚未完全优化,但仍有很大的提升空间,特别是在降低CPU使用率的瓶颈方面。

image.png

项目地址:https://github.com/recursal/ai-town-rwkv-proxy

  • 设置步骤: 用户可以按照提供的步骤,首先在本地设置AI Town,确保其正常运行,然后克隆AI-TOWN-RWKV-proxy项目。通过简单的命令,用户可以选择在CPU、GPU上运行不同大小的模型,从而实现本地AI城市的搭建。

  • 使用Cloudflared部署代理: 由于目前存在限制,用户需要通过公共URL将RWKV AI模型路由到云中。推荐的方法是使用cloudflared,用户只需运行几个简单的命令,即可获取公共URL,以便后续使用。

  • OpenAI请求路由: 用户需要在convex环境设置中添加OPENAI_API_BASE,并提供openAI键以用于嵌入。这确保了OpenAI请求被正确路由到代理,实现与RWKV的集成。

  • 字符数扩展: 产品建议将字符数扩展至最多75个,以确保在AI城市/convex方面不会出现稳定性问题。产品还提供了简单的步骤,用户可以按照说明修改字符数,并在AI城市项目中进行相应更改。

  • 关于RWKV: 提供关于RWKV的信息,强调其作为线性变换器的特性,以及推理成本的低廉性,使其适用于各种设备。

AI Town RWKV Proxy为用户提供了在本地构建和运行大型AI城市的便捷方式,通过整合RWKV和convex等技术,实现了更高效的推理过程和更低的硬件要求。

举报

  • 相关推荐
  • 当空间智能学会思考:飞渡科技“峥嵘大模型”重塑智慧城市新一代“运行内核”

    飞渡科技的"崑仑大模型"通过空间智能技术,构建了城市级数字底座,实现从物理世界到数字空间的映射。该技术已在智慧城市、智慧交通、低空经济、地下管网、灾害监测、文化保护等领域应用,推动城市治理从"被动应对"转向"主动预测"。在智慧交通领域实现毫秒级路网状态识别和动态信号优化;在地下管网实现毫米级泄漏预警;在低空经济构建超低空动态感知网络。该技术还应用于文化遗产数字化保护,通过三维建模留存历史建筑细节。飞渡科技表示,空间智能的价值在于共享,未来将与全球伙伴共建数字中国的空间智能新生态。

  • 开源赋能·智领未来 青山工业与深蓝汽车技术开源共享生态建设

    深蓝汽车首创"微核高频脉冲加热技术",有效解决电动车低温续航短、充电慢、动力弱等痛点,加热速率提升200%以上,达到国际领先水平。该技术通过电池内部产生脉冲电流实现自加热,无需额外硬件,已获中国专利金奖。2024年5月,深蓝宣布将相关专利群开源,与青山工业等合作伙伴共建产业生态。实测显示,-30℃环境下电池温升超4℃/min,动力性能提升55%,充电时间

  • 马斯克xAI推出Grok - 4 大模型将至,Meta/微美全息深耕开源AI融合加速

    埃隆·马斯克旗下xAI即将发布Grok-4大模型,该模型将在语言、数学和推理方面超越OpenAI和谷歌最新AI产品。同时苹果低调收购两家AI公司TrueMeeting和WhyLabs,加速布局Vision Pro头显和Apple Intelligence领域。Meta计划投入数百亿美元扩建AI基础设施,扎克伯格亲自招募顶尖AI人才。微美全息聚焦高性能算力与多模态模型,推动AI产业升级。当前AI赛道竞争激烈,大模型正向通用多模态演进,商业化落地成为关键。

  • 微软以Maia 280开启新局对垒英伟达,Meta/微美全息开源联动引领AI创新

    微软自研AI芯片Braga因设计问题延期至2026年,将推出过渡产品Maia280,性能或提升30%。微软原计划2025年量产Braga芯片以减少对英伟达的依赖,但延期导致后续产品线同步推迟。面对英伟达在AI芯片领域的主导地位(市占率超80%,年销售额增长10倍),微软正调整战略转向更务实的迭代路线。与此同时,Meta成立"超级智能团队"加速AI研发,微美全息押注量子计算等前沿技术。行业分析师认为,由于英伟达技术迭代速度极快(年增长32%),多数企业自研芯片计划可能最终难以抗衡其市场领导地位。

  • 七星海海湖小镇启幕,首期82公顷土地全球开售!

    2025年7月1日,由滨海城市发展集团打造的柬埔寨七星海湖小镇项目正式启动。该项目位于360平方公里生态秘境,拥有全球罕见的红树林、粉沙滩等自然资源,PM2.5常年低于6.5,负氧离子含量高达13,000个/cm³。首期推出82公顷示范区,规划707宗地块,包含旗舰型、标准型和经济型三类产品,满足不同投资需求。作为"一带一路"重点项目,项目融合生态康养与旅游度假,配备�

  • 谭章熹博士出席 RISC-V 中国峰会 详解开源架构全球征程与中国机遇

    2025年7月16日,第五届RISC-V中国峰会在上海张江科学会堂举行。作为中国大陆规格最高、规模最大的RISC-V专业会展,峰会吸引了全球专家与产业领袖参与。RISC-V国际基金会董事谭章熹博士发表主题演讲,回顾了RISC-V从伯克利起步到全球发展的历程,强调其开源、免费、无专利限制的特性推动了技术创新和生态繁荣。他指出,RISC-V基础指令集仅40余条,结构简洁但高度模块化,适用于从嵌入式设备到高性能计算领域。中国正积极建设RISC-V生态,预计2030年中国高性能RISC-V芯片市场规模将达2000-3000亿元,占全球20%-30%。谭博士表示,RISC-V发展重心正向AI加速、数据中心等高性能场景迈进,将与x86、ARM展开竞争,成为数字时代承载国家技术主权与产业升级的重要基础。

  • ZEROBASE 宣布与 zkVerify 建立深度合作伙伴关系

    zkVerify是专注于大规模ZK证明验证的基础设施,致力于构建连接链上与链下计算的高性能、无需信任的验证桥梁,正逐步成为ZK模块化生态的核心验证层。ZEROBASE已与zkVerify实现任务调度与验证流程的全面打通,支持zkLogin、zkDarkpool等模块的实时验证上链。ZEROBASE负责电路生成与多源Prover调用,zkVerify提供统一验证接口与稳定回执。通过批量验证能力,ZEROBASE构建了不依赖单一主权的"Proof Validity Oracle"。随着与交易所、基金等机构的生态集成,zkVerify将成为行业级验证枢纽。

  • 英伟达Blackwell Ultra芯片商用落地,微美全息以“算力+开源”领航AI科技新程

    英伟达与CoreWeave合作推出新一代AI芯片Blackwell Ultra,该芯片已实现商业部署,采用液冷技术,包含72个GPU和36个CPU。Blackwell Ultra的AI内容生成能力是前代产品的50倍,预计今年批量出货。英伟达凭借高性能AI芯片近乎垄断市场,年利润超5000亿元,市值逼近4万亿美元,有望成为全球市值最高公司。微软推迟自研AI芯片发布,转向过渡性设计方案。微美全息专注AI芯片技术布局,构建多元化技术生态,推动产业协同,成为全球AI芯片竞赛重要参与者。当前AI产业进入大规模商业化关键阶段,算力需求持续高涨,推动企业向算力数智化迁移。消费电子领域,AI赋能传统智能终端,新型智能硬件结合AI创造增量需求,关注算力产业链技术创新配套机遇。

  • AI日报:xAI 震撼发布Grok4;微软开源全新Phi-4-mini版本;上海累计82款大模型通过备案

    AI日报栏目聚焦人工智能领域最新动态:1)xAI发布旗舰模型Grok4,在数学推理和代码生成表现突出,同时推出开发者专用Grok4Code;2)微软开源Phi-4-mini模型,推理效率提升10倍,适合边缘设备;3)上海82款大模型完成备案,垂直领域应用取得突破;4)Hugging Face推出开源桌面机器人Reachy Mini,支持Python编程;5)Perplexity发布AI浏览器Comet挑战Chrome;6)OpenAI将首次发布开放权重模型,打破闭源惯例;7)谷歌医疗AI模型MedGemma系列上新,单个GPU即可运行;8)OpenAI以约65亿美元收购AI硬件公司io Products,正式进军硬件市场。

  • A日报:月之暗面开源大模型Kimi K2;智源全面开源RoboBrain2.0;通义千问发布Qwen Chat桌面客户端

    本期AI日报重点报道了多项AI领域突破性进展:1.月之暗面推出万亿参数开源大模型Kimi K2,展现强大智能能力;2.智源研究院开源RoboBrain2.0和RoboOS2.0机器人系统;3.通义千问发布桌面客户端Qwen Chat;4.IndexTTS2实现影视级语音合成;5.HuggingFace开源机器人Reachy Mini热销;6.Meta推出实时视频生成模型StreamDiT;7.PixVerse新增多关键帧视频生成功能;8.特斯拉推出仅支持AMD处理器的Grok AI助手;9.OpenAI推迟开源大模型发布以加强安全测试;10.Liquid AI开源边缘AI模型LFM2;11.AI"时间穿越"特效在社交媒体走红。