Cách chạy Ollama liên tục trên MacBook

Tại sao Ollama dừng lại

Ollama chạy mô hình ngay trên máy tính của bạn, nên nó hoạt động như một tiến trình thông thường. Khi Mac ngủ do không hoạt động hoặc đóng nắp, tiến trình đó bị tạm dừng cùng với mọi thứ khác.

Lượt tạo sinh dài hoặc quá trình tải mô hình dừng lại đúng chỗ bị gián đoạn, và bạn quay lại thấy phiên làm việc đã đứng hình.

Giữ suy luận hoạt động mà không quá tải Mac

LidRun phát hiện Ollama và giữ Mac thức khi nó chạy, vì vậy bạn có thể đóng nắp và để lượt tạo sinh dài hoặc tải mô hình về hoàn thành.

Mô hình cục bộ ngốn nhiều RAM và sinh nhiệt đáng kể. Một mô hình lớn có thể thường trú trong RAM và giữ GPU bận liên tục — đó là tải thực sự bền vững — nên mức pin và ngưỡng nhiệt kiểm soát cả phiên làm việc.

Nếu áp lực nhiệt tăng lên hoặc pin giảm xuống dưới giới hạn bạn đặt, LidRun để Mac ngủ thay vì đẩy phần cứng. Nhật ký hoạt động ghi lại lý do mỗi phiên kết thúc, nên lần chạy qua đêm bị dở không còn là bí ẩn sáng hôm sau.

Chạy qua đêm và khi nào thì đáng

LidRun phát huy nhất với những tác vụ dài: tải xuống mô hình lớn, chạy batch lượt tạo sinh, hoặc một model server bạn muốn để chạy khi rời đi.

Nếu bạn chỉ chat với mô hình nhỏ theo kiểu tương tác, bạn không cần — Mac vẫn thức khi bạn đang gõ. Các prompt nhanh hoàn thành trước khi idle sleep kịp kích hoạt.

Nhưng nếu bạn đã phải giữ nắp mở chỉ để Ollama tiếp tục chạy khi bước đi, đó đúng là thứ LidRun được tạo ra — đáng thử cho bất kỳ lần chạy mô hình cục bộ khi vắng mặt.

Chạy qua đêm là kịch bản của chính nó. Suy luận mô hình cục bộ kéo dài bốn đến tám giờ trong khi bạn ngủ là thời gian hoàn toàn không có người trông coi — không ai để ý kịp khi nhiệt tăng đột biến hay pin tụt dần. Giám sát nhiệt độ và ngưỡng pin tối thiểu phát huy tác dụng ở đây: dừng tác vụ trước khi vượt ngưỡng, thay vì để phần cứng chạy không giám sát suốt đêm.

Một thiết lập thực tế

Cắm điện, bắt đầu tác vụ Ollama, bật chế độ chạy liên tục, rồi đóng nắp và tiếp tục công việc khác. Nguồn điện xoay chiều quan trọng ở đây vì mô hình thường trú tiêu thụ điện đều đặn.

Giữ Mac trên bề mặt cứng, thoáng gió để nhiệt sinh ra từ suy luận liên tục có chỗ thoát.

Đặt hẹn giờ phiên vừa đủ với độ dài tác vụ, để model server bạn quên mất không giữ Mac thức suốt đêm.

Với chạy qua đêm, quy tắc là phải cắm điện. Tác vụ suy luận chạy trên pin tám giờ có thể hao đủ để chạm ngưỡng pin tối thiểu và bị dừng. Cắm điện rồi, chỉ còn nhiệt độ quyết định khi nào tạm dừng.