从底部启动代码 - ForkLog

# 从深处狂编程

从深度GitHub启动开源AI模型的指南

在AI发展中，出现了一个方向，其中去中心化和开源代码使得超越流行的商业解决方案成为可能。本地LLM允许私密地处理数据，灵活地根据任务调整系统，并自主控制使用环境。同时，启动此类模型需要理解基本工具——从仓库和模型权重到云环境和技术特性。

在ForkLog的新材料中，我们将讲述如何零成本开始使用自主AI模型，新手可以使用哪些资源，以及OS解决方案的开发者提供什么。

初次接触

对于开源AI模型的开发者来说，有两个主要平台——GitHub和Hugging Face。前者传统上用于发布源代码、文档和安装脚本，后者已成为模型权重、数据集和现成ML解决方案的全球中心。Hugging Face上发布了数十万个训练好的神经网络，从用于智能手机的微型语言模型、备选媒体内容生成器，到为科学家和爱好者设计的专用算法。

社区活跃度指标有助于选择所需的模型。在GitHub上，它们以星标数（stars）、更新频率（commits）和问题解决速度（issues）来体现。

特别重要的是要检查产品的来源和仓库的真实性。流行的OS构建经常成为网络诈骗者的诱饵，他们以知名AI工具为幌子传播恶意代码。

了解本地AI模型的下一步是实际测试其功能。对于没有强大硬件的用户，存在免费和条件免费的云平台。

最流行的解决方案是Google Colab——一种云环境，可直接从浏览器访问图形处理器（GPU）。免费订阅允许在配备Nvidia Tesla T4加速器的系统上工作，平均两到四小时，具体取决于负载。替代方案包括Kaggle Notebooks和Hugging Face Spaces。后者允许通过现成的Web界面（如Gradio或Streamlit）与模型交互。

此外，在处理联邦解决方案时，还应考虑法律方面。许多流行的项目采用经典许可证，如MIT或Apache 2.0，这允许在最小限制下用于商业目的。

然而，也存在特定方法。Meta以其自己的Llama 3.1 Community License许可证分发旗舰模型，如果服务的月用户超过7亿，则需要获得特别许可。

严格的copyleft许可证如GNU通用公共许可证也存在，要求公开所有衍生产品的代码。

我的个人ChatGPT替代品

从大量的通用自主LLM（ChatGPT或Gemini的替代品）中，独立评级基于盲测和性能指标（如Open LLM Leaderboard和Chatbot Arena）有助于选择所需的模型。

开放LLM仪表板。来源：llm-stats。该领域的黄金标准被认为是Meta的Llama模型系列和阿里巴巴的Qwen。这些模型在长上下文下表现良好，处理多步骤查询，并适合vibe coding和编程任务。得益于开放框架Ollama，它们的安装只需一条命令。

在撰写本文时进行的测试中，qwen3.5:2b模型能够在没有独立显卡、基于Core i7、8GB RAM和SSD的笔记本电脑上运行，同时关闭了重型应用程序：即时通讯工具和浏览器。

来源：Ollama。“2b”表示20亿参数。数值越高，神经网络能捕捉到更复杂的关系。例如，2b模型能学习基础语法和简单命令，而122b模型能记住量子物理事实、法律文件的细微差别，并学会提前十步规划任务。

每个参数在硬盘和最重要的是在RAM中占据物理空间。2b使用了大约4-5GB RAM，并且是在此类机器上能运行的最大值。同时，对最简单查询“你好！”的响应，模型生成了近三分钟。

截图：ForkLog。模型的大致分级：

• 0.5b-2b。快速，可在旧笔记本电脑和智能手机上运行。适合简单任务（命令路由、基础摘要、短代码自动补全）。在复杂查询上容易产生幻觉；
• 3b-4b。速度和质量的平衡。适合移动设备、智能家居和自动化任务。例如，可以要求聊天机器人调暗房间灯光、打开空调或升起道闸；
• 7b-9b。需要约6-8GB空闲RAM。强大的模型，具有上下文理解和深层逻辑，适合编程和处理大文本。

在最近对Web3中vibe coding的研究中，Vladimir Slipers发现，对于MacBook Air 16GB RAM级别的机器，适合qwen2.5-coder:7b、qwen3:8b、llama3.2:3b、deepseek-r1:8b。更强的模型需要投资于配备高端显卡的强大PC，或安装在租用的服务器上。

私密数据处理、3D打印和用户保护

与开源AI模型交互的方式取决于用户的准备水平和硬件。有些项目打包在方便的安装程序（.EXE文件）或开箱即用的移动应用中。其他则是被遗弃的GitHub仓库，安装变成了一场与过时库冲突的持久战。

应用型AI模型今天远远不限于文本生成。即使对生态系统进行肤浅分析，也能找出数十种针对特定任务的专用工具。

视频和3D处理：

• CogVideoX。Zhipu AI的开放模型，用于根据文本描述生成视频。允许创建逼真的短视频，具有开放权重，可在有足够显存的环境（如Jupyter或Colab）中部署；
• DepthCrafter。从视频中提取景深信息的工具。对VFX和3D建模专业人士有用。它允许为动态场景的每一帧创建高精度深度图；
• TRELLIS（Morfx 3D）。先进的3D资产生成系统。该项目允许从图像或文本查询中创建高质量的三维模型，并优化用于游戏引擎。

使用Morfx 3D网络版将火车照片转换为处理和3D打印对象。截图：ForkLog。音频和识别：

• CosyVoice。多语言语音合成模型，支持声音克隆。允许生成逼真的音频，保留原说话者的语调和情感色彩；
• Whisper-WebGPU。OpenAI语音识别模型的实现，重写为直接在浏览器中使用WebGPU API运行。这意味着音频转录在本地进行，确保完全私密，无需将音频文件发送到第三方服务器；
• BirdNET-Analyzer。康奈尔大学的神经网络，用于通过鸟鸣识别鸟类物种。与流行的Merlin Bird ID应用（其在某些功能上很大程度上依赖云端处理）不同，BirdNET-Analyzer允许完全控制本地分析过程，并可用于批量处理数GB的野外录音。

来源：BirdNET。编程和用户保护：

• Screenshot-to-Code。将网页或移动应用截图转换为干净的HTML、Tailwind或React代码的工具。尽管该项目通常与付费API（Claude， GPT-4）配合使用，但其架构允许连接开源多模态模型；
• MinerU/Magic-PDF。从PDF文档中精确提取结构化数据的项目。模型识别文本、数学公式和表格，将复杂排版转换为Markdown格式；
• Fawkes。对图像进行肉眼不可见的修改，干扰面部识别系统识别个人。通过.EXE文件本地加载到PC上，可用于社交媒体的头像；
• Nightshade。“毒化”图像的像素，以混淆AI公司的训练算法，如果它们在未经许可的情况下这样做。例如，对“狗”的查询，模型会生成猫的图像。

美国总统唐纳德·特朗普在Fawkes处理前的肖像。来源：美国国会图书馆。 Fawkes算法处理后的图像。截图：ForkLog。

与库斗争及首次成功

在安装了具有清晰UI/UX的AI模型后，需要弄清楚在云中免费部署重型仓库有多容易。

FLUX.1来自初创公司Black Forest Labs，是领先的图像生成模型之一，可与企业级的Midjourney和Nano Banana竞争。在有必要硬件的情况下，该软件可以离线运行，无需互联网接入，并允许绕过审查。

测试中使用了最轻量级的免费版本FLUX.1 Schnell。为了方便与开源解决方案交互，开发者创建了像Ollama这样的目标框架。对于图像生成，流行的图形界面有ComfyUI和Forge。

在尝试安装Forge的实现——cagliostro-forge-colab——时，不得不花费整个Google Colab GPU访问会话。问题在于新手常见的错误——Python版本、云环境和模型本身不匹配。在四小时的vibe coding中，使用免费版Gemini 3 Flash未能成功。

最终，不得不放弃安装框架，直接部署FLUX.1，但改到下一次免费会话的另一天。

实际上，免费版Google Colab更适合在周末使用：此时平台通常提供更长时间的访问。

模型占用约34GB的云SSD磁盘空间。但所有相关的安装进程最终使用了约86GB。

Google Colab云机器使用的资源。截图：ForkLog。在第一阶段，FLUX.1 Schnell模型的Nvidia Tesla T4加速器显存不足。未适配的配置受限于GPU限制，直到经过一系列简单的代码实验，Gemini 3 Flash帮助通过分阶段加载和清理内存进行了修正。结果，在可用的16GB显存中，生成过程中使用了约3GB。

截图：ForkLog。生成一张图像的过程大约需要七分钟。考虑到这是开放模型的免费版本，结果令人惊喜。

使用FLUX.1 Schnell生成的图片。来源：ForkLog。当尝试多次生成摇滚歌手玛丽莲·曼森在维多利亚风格中与同伴的图像时，FLUX.1 Schnell可能没有识别出对特定人物的引用，只再现了泛化的视觉模板。

根据查询“画出玛丽莲·曼森在维多利亚风格中”使用FLUX.1 Schnell生成的图像。来源：ForkLog。## 复杂而不可思议

开源神经网络早已不仅仅用于文本和图像生成，还用于更狭窄和不同寻常的任务。一个非标准应用AI架构的显著例子是GameNGen模型，它能够实时再现经典射击游戏DOOM的游戏过程。

来源：GameNGen/Github。GameNGen并不是在传统意义上模拟游戏，而是顺序生成视频：模型预测在用户操作（例如移动或射击）后下一帧应该是什么样子。因此，敌人、物体和场景变化不是由引擎“计算”的，而是作为最可能的结果视觉再现。

在自主系统中，有一个突出的项目Voyager——面向Minecraft的AI代理。它自主探索游戏世界、收集资源并不断自我学习。

科学界也在积极将开源AI适应于自身需求，例如使用算法破译历史。因此，特拉维夫大学和慕尼黑大学的研究人员训练了Akkademia模型，直接古阿卡德语楔形文字翻译成英语。它允许处理数千块破损的泥板，将考古学家的工作加速数十倍。

同样有趣的是MinD-Vis项目。该系统分析功能性MRI数据，并试图重建受试者在扫描时观察到的图像。也就是说，它根据大脑活动模式生成对人所见内容的解释。

类似倡议证明了人工智能已成为认知和模拟现实的通用工具。从封闭的企业API向开源代码的转变正在形成全新的技术发展范式。今天，任何研究人员、开发者或爱好者都有能力部署几年前还需要数百万美元投资于服务器集群的基础设施。

生态系统的演变不可避免地伴随着用户体验的改善：复杂的脚本正在被直观的界面和自动化部署环境所取代。使用像Ollama和Forge这样的工具表明，隐私、无审查和高性能可以在一个软件解决方案中和谐共存。AI行业的未来在很大程度上取决于开源生态系统能保持多么强大、可扩展和独立。