🚀 想在自己的電腦上運行大型語言模型（LLM），甚至讓程式直接呼叫它嗎？

其實不用昂貴的雲端服務，也不用複雜的機器學習訓練，只要透過本地部署工具，就能打造屬於自己的 AI 系統！

本地部署之大語言模型完全不會傳送任何資料至雲端，可以在無網際網路之離線環境下使用，因此也能夠有效保護使用者隱私。

這堂社課將帶大家認識 Ollama、LM Studio —— 目前非常熱門的本地 LLM 運行平台。

透過它，你可以在自己的電腦上下載、運行並管理各種開源大型語言模型，甚至透過 API 讓 Python、JavaScript 等程式直接呼叫本地 AI。

使用Google Build with AI活動免费提供之Credit来使用Gemini API，結合Python實現本地部署簡易版個人助手（使用Gemini作為Model Provider實作類小龍蝦之個人助手 https://github.com/cw1997/gemini-operator ）

🔹 課程內容

介紹本地 LLM —— 了解大型語言模型如何在個人電腦上運行，以及本地 AI 與雲端 AI 的差異。

Ollama & LM Studio 平台介紹 —— 認識本地模型下載、推理設定與本地 API 服務。

認識 Huggingface 等 AI Model 託管平台和使用方法。

認識 GUFF 等本地 LLM 之分發檔案，了解模型參數量化，推理引擎（llama.cpp）等開源 LLM 背後的技術。

實作本地模型部署 —— 示範如何在電腦上下載並啟動一個 LLM，快速開始使用本地 AI。

實作程式接入本地 LLM —— 使用 Python / JavaScript 呼叫本地部署之 API，讓程式能與 AI 互動。

實作簡易版個人助手（使用Google提供之免費Gemini API），體驗如何在自己的程式中使用Gemini API實作“低配版小龍蝦”實現透過自然語言操控電腦。

✨ 課程特色

完全本地運行 —— 不依賴雲端 API，也能使用強大的 AI 模型。

開發者友善 —— 學會如何用程式語言接入本地 LLM API。

概念＋實作並重 —— 不只介紹原理，也會實際操作部署與呼叫模型。

打造自己的 AI 系統 —— 從聊天模型到程式應用，一次理解完整AI Agent與小龍蝦等AI自動化操作電腦之實作流程。

📌 適合對象

對 AI、LLM 或本地部署技術感興趣的同學。

想了解如何在自己的電腦上運行 AI 模型的人。

對 AI 應用開發、Agent 或自動化工具有興趣的開發者。

想學習如何用程式語言接入 AI API 的同學。

💡 AI 不一定要在雲端。

你的電腦，也可以成為一個 AI 伺服器。

來這堂課，一起動手部署自己的本地 LLM！

——

（本堂社課建議自備電腦，教室位置均配備電源插座。建議攜帶具有獨立顯示卡GPU之筆電，若沒有GPU也可以使用CPU進行本地部署LLM，只是效能會更慢）

📅 日期：04/29 (星期三)

⏰ 時間：19:00 - 21:00

📍 地點：師大公館校區 理學院 B103

🎙 講者：昌維

🧡 社員免費；非社員 $50