Google 推出小參數量 Gemma 3 270M AI 模型 讓手機、筆電甚至更小數位裝置也能運作本地 AI

Google Gemma 3 270M 輕量 AI 模型。

為了應對個人用戶在手機、筆電上運作本地 AI 的需求，更小參數量的 AI 模型已經成為 AI 廠商開發的重點項目之一，Google 在昨晚推出了旗下 Gemma 3 模型家族中，參數量僅有 2.7 億（270 million）的 Gemma 3 270M 開放模型，主打能源效率以及針對特定任務進行高度客製化的能力，可以在手機或是筆記型電腦上面流暢運作。


Gemma 3 270M 模型 IFEval 分數（衡量 LLM 模型遵循指令程度）與參數量上與其他競爭模型的比較。

Gemma 3 270M 的主要技術特點包括：採用跟主流大型語言模型相同的 Transformer 架構、32K 上下文視窗（Context Window）、量化感知訓練（Quantization-Aware Training, QAT）、開放預訓練（Pre-trained）和指令微調（Instruction-tuned）模型方便開發者調整等等。另外在能耗表現部分， Google 內部也在 Pixel 9 Pro 手機上進行測試，經過 INT4 量化的 Gemma 3 270M 模型，在進行 25 次對話後，僅消耗了 0.75% 的手機電力，也是目前 Gemma 家族內耗電量最小的模型。

而 Google 表示 Gemma 3 270M可以運用的場景包括：情感分析（Sentiment Analysis，判斷語言內容的情感取向）、實體提取（Entity Extraction，從文章中自動識別出人名等關鍵資訊）、查詢路由（Query Routing， 在客服系統中，根據用戶問題的類型，自動分配給最合適的處理部門）、創意寫作輔助： 在裝置上快速生成故事、詩歌或文案草稿、合規性檢查（Compliance Checks）： 自動掃描文件，檢查是否符合特定的法規或政策要求等等。

Google 也展示了一段由 Gemma 3 270M 編寫床邊故事的影片，來展示 Gemma 3 270M 模型的性能：



而在 Gemma 3 270M 推出後，未來要在手機、筆電上要執行特定工作的 AI 運算將更為方便，讓使用者可以不用連上網路，以更靈活、更具隱私的方式來使用 AI，另外 Google 的開放態度，也讓 Gemma 3 270M 模型在未來有更多不同樣態的呈現可能，加上更低功耗、記憶體的需求，讓 AI 運用更加的裝置化以及特殊化，就看看接下來還會有那些 AI 廠商推出類似的精簡 AI 開放模型了。