.:. 草榴社區 » 技術討論區 » 本地部署到电脑上 Llama 3.1. meta最强开源大模型。只比ChatGPT低一个等级， 可以离线使用， 也可在线使用，
＜上一頁12下一頁＞
手機版回帖發布主題
--> 本頁主題: 本地部署到电脑上 Llama 3.1. meta最强开源大模型。只比ChatGPT低一个等级， 可以离线使用， 也可在线使用， 字體大小 寬屏顯示 只看樓主 最新點評 熱門評論 時間順序
呼兰大侠　


級別：風雲使者 ( 13 )
發帖：2624
威望：143 點
金錢：2570 USD
貢獻：252274 點
註冊：2015-08-14
主題 資料 短信 推薦 編輯


本地部署到电脑上 Llama 3.1. meta最强开源大模型。只比ChatGPT低一个等级， 可以离线使用， 也可在线使用，



废话不多说直接上干货。
1.本地电脑安装的硬件要求：​
​Windows：3060以上显卡+8G以上显存+16G内存，硬盘空间至少20G
Mac：M1或M2芯片 16G内存，20G以上硬盘空间
在开始之前，首先我们需要安装Ollama客户端，来进行本地部署Llama3.1大模型
安装llama3.1-8b，至少需要8G的显存，
ollama run llama3.1:8b
安装llama3.1-70b，至少需要大约 70-75 GB 显存，适合企业用户，
ollama run llama3.1:78b
安装llama3.1-405b，这是一个极其庞大的模型，安装和运行它在本地需要非常高的显存和硬件资源，至少需要大约 400-450 GB 显存，适合顶级大企业用户，
ollama run llama3.1:405b

下载地址 https://ollama.com/download
下面是你是什么系统 下载什么版本。
 
下载完成安装即可
 
C盘如果小 建议换个大的。
展示页面
 
 
当然看着CMD 很蛋疼， 那么可以直接安装可视化界面。
https://www.freedidi.com/11195.html

 
 
 
 
 
 
 
 
 
 


本帖为转发，转自油管大佬 零度解说， 实在不会的请看原视频
https://www.youtube.com/watch?v=nvTQI6d8Gkw&ab_channel=%E9%9B%B6%E5%BA%A6%E8%A7%A3%E8%AF%B4
最简单的还不会的话 如果设备不行的话可以用在线网页版，网址在这。
注意 除本地部署成功后 ，不需要梯子， 下载 和视频教程 都需要梯子。
https://huggingface.co/chat/



赞(39)
DMCA / ABUSE REPORT | TOP Posted: 09-27 23:09 樓主 引用 | 發表評論
恐龙扛狼


級別：新手上路 ( 8 )
發帖：537
威望：54 點
金錢：4126 USD
貢獻：7 點
註冊：2023-07-16
赞(0) | 資料 短信 推薦 編輯


电脑没显卡，玩不了
TOP Posted: 09-27 23:11 #1樓 引用 | 點評
梅拉蒂


級別：聖騎士 ( 11 )
發帖：1567
威望：286 點
金錢：13536 USD
貢獻：30000 點
註冊：2023-08-31
赞(0) | 資料 短信 推薦 編輯

谢谢大佬分享
TOP Posted: 09-27 23:17 #2樓 引用 | 點評
jianka


級別：騎士 ( 10 )
發帖：2607
威望：407 點
金錢：3774 USD
貢獻：0 點
註冊：2012-02-11
赞(0) | 資料 短信 推薦 編輯

谢谢分享
TOP Posted: 09-28 00:00 #3樓 引用 | 點評
shejizhen


級別：新手上路 ( 8 )
發帖：306
威望：31 點
金錢：747 USD
貢獻：0 點
註冊：2024-08-24
赞(0) | 資料 短信 推薦 編輯

感谢分享
TOP Posted: 09-28 00:22 #4樓 引用 | 點評
风月无涯


級別：騎士 ( 10 )
發帖：3255
威望：326 點
金錢：2126 USD
貢獻：3884 點
註冊：2015-06-18
赞(0) | 資料 短信 推薦 編輯

是时候上一台好电脑了。
TOP Posted: 09-28 00:30 #5樓 引用 | 點評
飞矢不动


級別：精靈王 ( 12 )
發帖：8199
威望：1004 點
金錢：7865 USD
貢獻：7629 點
註冊：2018-11-17
赞(0) | 資料 短信 推薦 編輯

个人的话没有必要chatgpt4就够了 企业的话基于隐私敏感信息可以考虑本地模型
TOP Posted: 09-28 00:42 #6樓 引用 | 點評
要用中文名


級別：俠客 ( 9 )
發帖：2144
威望：225 點
金錢：128922 USD
貢獻：0 點
註冊：2022-04-03
赞(1) | 資料 短信 推薦 編輯

这种硬件要求不是一般玩家爱好者能承受的，能玩得起苹果的vision pro也玩不起ai，这玩意儿太烧钱。关键是个人这么玩不经济，投入与产出完全不成比例，花大笔金钱看个烟花，偶尔为之可以，不会有人长期这么干的。买个chatgpt或者copilot账号才是最经济实惠的选择。


點評
    TOP Posted: 09-28 01:06 #7樓 引用 | 點評
    龙翔天下


    級別：俠客 ( 9 )
    發帖：2191
    威望：220 點
    金錢：7679 USD
    貢獻：0 點
    註冊：2021-12-27
    赞(0) | 資料 短信 推薦 編輯

    有多大呢？能干啥呢？能出色图和叫床换人吗？
    TOP Posted: 09-28 06:01 #8樓 引用 | 點評
    cspgxyl


    級別：精靈王 ( 12 )
    發帖：3801
    威望：627 點
    金錢：8022 USD
    貢獻：25493 點
    註冊：2011-06-06
    赞(0) | 資料 短信 推薦 編輯

    感谢分享
    TOP Posted: 09-28 06:44 #9樓 引用 | 點評
    詩和遠方


    級別：騎士 ( 10 )
    發帖：2917
    威望：347 點
    金錢：1278 USD
    貢獻：1654 點
    註冊：2023-12-02
    赞(0) | 資料 短信 推薦 編輯

    涨见识了
    TOP Posted: 09-28 07:53 #10樓 引用 | 點評
    海神的三叉戟


    級別：俠客 ( 9 )
    發帖：2437
    威望：299 點
    金錢：8351 USD
    貢獻：0 點
    註冊：2020-03-03
    赞(0) | 資料 短信 推薦 編輯


    谢谢分享
    TOP Posted: 09-28 08:01 #11樓 引用 | 點評
    巴黎伯伯


    級別：騎士 ( 10 )
    發帖：5065
    威望：507 點
    金錢：5403 USD
    貢獻：0 點
    註冊：2021-10-16
    赞(0) | 資料 短信 推薦 編輯

    感谢分享
    TOP Posted: 09-28 08:42 #12樓 引用 | 點評
    思尘


    級別：精靈王 ( 12 )
    發帖：5068
    威望：1719 點
    金錢：22517 USD
    貢獻：104 點
    註冊：2022-11-19
    赞(1) | 資料 短信 推薦 編輯

    感谢分享
    TOP Posted: 09-28 09:06 #13樓 引用 | 點評
    gnmlgb空心


    級別：新手上路 ( 8 )
    發帖：320
    威望：33 點
    金錢：660 USD
    貢獻：0 點
    註冊：2024-08-28
    赞(0) | 資料 短信 推薦 編輯

    谢谢分享
    TOP Posted: 09-28 11:22 #14樓 引用 | 點評
    拼搏吧学渣


    級別：新手上路 ( 8 )
    發帖：140
    威望：15 點
    金錢：283 USD
    貢獻：0 點
    註冊：2024-09-14
    赞(0) | 資料 短信 推薦 編輯

    感谢分享 1024
    TOP Posted: 09-28 14:56 #15樓 引用 | 點評
    风中的丝袜


    級別：騎士 ( 10 )
    發帖：3940
    威望：395 點
    金錢：10223 USD
    貢獻：0 點
    註冊：2023-05-11
    赞(0) | 資料 短信 推薦 編輯

    内容很丰富
    TOP Posted: 09-28 16:45 #16樓 引用 | 點評
    wfghefg


    級別：新手上路 ( 8 )
    發帖：242
    威望：25 點
    金錢：2396 USD
    貢獻：0 點
    註冊：2015-11-10
    赞(0) | 資料 短信 推薦 編輯


    感谢分享，适合企业吧
    TOP Posted: 09-28 17:15 #17樓 引用 | 點評
    点少天


    級別：新手上路 ( 8 )
    發帖：5
    威望：1 點
    金錢：5 USD
    貢獻：0 點
    註冊：2024-07-23
    赞(0) | 資料 短信 推薦 編輯

    1024
    TOP Posted: 09-28 17:36 #18樓 引用 | 點評
    qqq0623


    級別：精靈王 ( 12 )
    發帖：45216
    威望：4404 點
    金錢：1975830 USD
    貢獻：1137 點
    註冊：2011-06-06
    赞(0) | 資料 短信 推薦 編輯

    感谢分享
    TOP Posted: 09-28 17:43 #19樓 引用 | 點評
    罪恶之源


    級別：精靈王 ( 12 )
    發帖：10564
    威望：1073 點
    金錢：267811 USD
    貢獻：92650 點
    註冊：2011-06-06
    赞(0) | 資料 短信 推薦 編輯

    感谢分享
    ------------------------
    S
    TOP Posted: 09-28 21:08 #20樓 引用 | 點評
    静默的夜


    級別：俠客 ( 9 )
    發帖：837
    威望：142 點
    金錢：1091 USD
    貢獻：1 點
    註冊：2022-04-12
    赞(0) | 資料 短信 推薦 編輯

    学习了，去搞个电脑试试
    TOP Posted: 09-28 21:52 #21樓 引用 | 點評
    XD永远的神


    級別：新手上路 ( 8 )
    發帖：459
    威望：81 點
    金錢：1016 USD
    貢獻：2 點
    註冊：2023-06-01
    赞(0) | 資料 短信 推薦 編輯

    感谢分享
    TOP Posted: 09-28 22:25 #22樓 引用 | 點評
    lianfu62


    級別：騎士 ( 10 )
    發帖：1557
    威望：357 點
    金錢：1856 USD
    貢獻：0 點
    註冊：2011-06-06
    赞(0) | 資料 短信 推薦 編輯


    看看
    TOP Posted: 09-28 22:28 #23樓 引用 | 點評
    jieye叶


    級別：新手上路 ( 8 )
    發帖：187
    威望：19 點
    金錢：223 USD
    貢獻：0 點
    註冊：2024-09-03
    赞(0) | 資料 短信 推薦 編輯

    谢谢分享
    TOP Posted: 09-28 22:29 #24樓 引用 | 點評
    ＜上一頁12下一頁＞

    .:. 草榴社區 -> 技術討論區

    快速回帖 頂端
    內容：
    HTML 代碼不可用

    使用簽名
    Wind Code自動轉換

    按 Ctrl+Enter 直接提交