ollama github linux安装包部署到本地之后,就可以实现linux系统上运行deepseek,目前deepseek要想在电脑上运行,就需要搭配ollama使用,但是注意,部分用户ollama安装deepseek失败,主要原因是大家下载了不匹配的大模型,大家务必要根据电脑的配置和内存,下载和部署对应的模型版本。
ollama linux安装包介绍
Ollama支持多种不同的硬件加速选项,包括纯CPU推理和各类底层计算架构,如AppleSilicon。这使得Ollama能够更好地利用不同类型的硬件资源,提高模型的运行效率。作为一个开源框架,专门设计用于在本地运行大型语言模型。它的主要特点是将模型权重、配置和数据捆绑到一个包中,从而优化了设置和配置细节,包括GPU使用情况,简化了在本地运行大型模型的过程。Ollama支持macOS和Linux操作系统,并且已经为Windows平台发布了预览版。Ollama的一个重要优势是其易用性。安装过程简单,例如在macOS上,用户可以直接从官网下载安装包并运行。对于Windows用户,官方推荐在WSL2中以Linux方式使用命令安装。安装完成后,用户可以使用命令行工具来下载和运行不同的模型。Ollama还提供了对模型量化的支持,这可以显著降低显存要求。例如,4-bit量化可以将FP16精度的权重参数压缩为4位整数精度,从而大幅减小模型权重体积和推理所需显存。这使得在普通家用计算机上运行大型模型成为可能。
ollama是什么
Ollama的项目结构主要包括以下部分:
api:用Go编写的客户端API库。
discover:负责扫描系统中的可用模型、加载配置文件,或者帮助用户查找符合特定需求的模型。
docs:项目的文档目录,包括安装步骤、API文档、常见问题解答(FAQ)和示例代码等。
envconfig:包含环境配置文件或脚本
format:用于单位和时间的格式处理的工具。
app:桌面应用程序(主要是一个托盘)。
auth:用于用户身份验证,确保只有授权用户才能访问特定的功能或模型。
cmd:命令和相关的处理程序。
convert:用于将不同的模型格式转换为Ollama可以使用的格式
integration:用于将Ollama与其他系统或应用程序集成的代码。这些集成可能包括与Web服务、数据库、API、第三方服务、其他框架等的集成。
macapp:mac桌面应用程序。
scripts:包含构建、测试、发布等操作所需的脚本文件。确保项目能够在不同环境中顺利编译和运行。
server:用Go编写的Web服务实现。
version:版本信息。
openai:用于Ollama的OpenAIAPI兼容封装。
parser:模型信息和消息的解析器。
progress:显示加载进度的实用程序。
readline:命令输入工具用于用户与命令行工具的交互。
Ollama的构建系统利用Go提供的构建工具,并结合cmake来处理C/C++部分的编译。这两个构建系统共存,以构建不同的部分:
CMake:用于构建llama.cpp,并提供接口。
Go构建系统:编译、链接和打包其余部分,以生成Ollama的应用程序和CLI。
核心原理:
独立性:强调在本地环境中运行,减少对外部网络和云服务的依赖,提高数据安全性。
一致性:通过版本控制和依赖管理,确保模型在不同环境中的一致性和可重复性。
封装性:通过容器化技术,Ollama将模型及其运行时环境封装在一起,确保一致的运行环境。
便捷性:通过简单的CLI工具,用户可以快速进行模型的部署和管理,降低了操作复杂性。
ollama linux 离线安装教程
注意:如果之前已经安装了旧版本的ollama,那么需要先完成手动卸载,sudo rm -rf /usr/lib/ollama
远程安装教程
官网提供了一条命令行快速安装的方法。
curl -fsSL https://ollama.com/install.sh | shCopy to clipboardErrorCopied
此命令将自动下载最新版本的 Ollama 并完成安装
本地安装教程
一、安装
1.下载并解压与操作系统匹配的安装包
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
Copy to clipboardErrorCopied
AMD GPU下载:
curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz
sudo tar -C /usr -xzf ollama-linux-amd64-rocm.tgz
Copy to clipboardErrorCopied
ARM 64下载:
curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz
sudo tar -C /usr -xzf ollama-linux-arm64.tgz
Copy to clipboardErrorCopied
2.2 启动 Ollama并验证
输入以下命令启动 Ollama:
ollama serve
Copy to clipboardErrorCopied
另开启一个终端,输入以下命令,验证ollama是否运行成功
ollama -v
Copy to clipboardErrorCopied
2.3 将 Ollama 添加为自启动服务(推荐)
首先,为 Ollama 创建用户和组:
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
Copy to clipboardErrorCopied
然后在该位置:/etc/systemd/system/ollama.service 创建服务文件
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
[Install]
WantedBy=default.target
Copy to clipboardErrorCopied
最后启动服务:
sudo systemctl daemon-reload
sudo systemctl enable ollama
Copy to clipboardErrorCopied
三、更新
再次运行之前的安装语句来更新 Ollama:
curl -fsSL https://ollama.com/install.sh | sh
Copy to clipboardErrorCopied
或者重新下载最新的Ollama包:
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
Copy to clipboardErrorCopied
四、安装特定版本
设置 OLLAMA_VERSION字段,,可以安装对应的版本
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh
Copy to clipboardErrorCopied
五、查看日志
查看作为启动服务运行的 Ollama 的日志:
journalctl -e -u ollama
ollama安装包怎么卸载
删除 Ollama 服务:
sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.serviceCopy to clipboardErrorCopied
从 bin 目录中删除 Ollama 二进制文件: /usr/local/bin,/usr/bin ,/bin
sudo rm $(which ollama)
删除下载的模型和 Ollama 服务用户和组:
sudo rm -r /usr/share/ollama
sudo groupdel ollama
删除下载的库文件
sudo rm -rf /usr/local/lib/ollama
Ollama使用常见的指令
ollama serve 启动ollama
ollama create 从模型文件创建模型
ollama show 显示模型信息
ollama run 运行模型
ollama pull 从注册表中拉取模型
ollama push 将模型推送到注册表
ollama list 列出模型
ollama cp 复制模型
ollama rm 删除模型
ollama help 获取有关任何命令的帮助信息

赛车手之岛:疯狂竞技场(Racers Island:Crazy Arenas)英文硬盘版
滚轴赛车2(Rollcage Stage II)英文硬盘版
UAZ职业4驱锦标赛(UAZ Racing 4x4)硬盘版
迷失的灵魂之魔画(LostSouls)完美硬盘版
拖车大赛模拟(Drag Racing Simulator)硬盘版
撞击时间4:联合组织(Crash Time 4 - The Syndicate)英文硬盘版
极速传说(Beam Breakers)英文硬盘版
3D卡丁车(SuperTuxKart)中文硬盘版
猫猫公司(Cats Inc)完整硬盘版
怪鸡传说(CC_Tales)完美硬盘版
雷霆纳斯卡2003(Nascar Thunder 2003 )英文硬盘版
牛仔物语(NiuZaiWuYu)中文硬盘版
横冲直撞:升凰(Bandits -- Phoenix Rising)英文硬盘版
忘却的战场(ForgottenBattlefield)汉化中文版
腾讯文档linux客户端
qq音乐linux客户端
LXmuSiC洛雪音乐播放器linux版
百度网盘Linux版本
gparted分区工具
ubuntu桌面版和服务器版
钉钉linux本
腾讯视频linux客户端
同花顺linux版
wps office linux版本
谷歌浏览器linux版本
美图秀秀linux版
百度输入法linux版
linux向日葵远程控制软件
山东通麒麟版
360安全卫士linux版本
微信linux版本
飞书linux版
浙政钉linux版本
360安全浏览器linux版
搜狗输入法linux版本
qq linux版本
政务微信linux版
奥维互动地图Linux客户端
合金弹头突击队(亚洲突击队版)
伐木工模拟2011(woodcutter2011)英文硬盘版
我的公主王国3中文汉化硬盘版
大抢购(ShopItUp)完美硬盘版
家庭渔场(FishersFamilyFarm)绿色硬盘版
迷你机器人战争(MiniRobotWars)绿色硬盘版
英雄萨姆:双D
体育场快餐店(Busy_Beas_Halftime_Hustle)完美硬盘版
时空建筑者之金字塔的崛起(PyramidRising)完美硬盘版
魔法生活(magiclife)完美硬盘版
杰西卡的宠物店(JessicasBowWowBistro)绿色硬盘版
林荫餐厅(BistroBlvd)完整硬盘版
儿时的街机游戏
拼图游戏大全
原神
生活实用APP