Đồng thời, một công ty dược phẩm toàn cầu đang đào tạo các mô hình học máy của mình tại cơ sở, sử dụng các máy chủ do chính công ty quản lý.
Điện toán đám mây sẽ không đi đến đâu, nhưng một số công ty
sử dụng mô hình học máy và các nhà cung cấp công nghệ cung cấp nền tảng để quản
lý chúng cho biết máy học đang có một khoảnh khắc tại chỗ.
Trong nhiều năm, các nhà cung cấp dịch vụ đám mây đã lập luận
rằng các yêu cầu tính toán đối với học máy sẽ quá tốn kém và cồng kềnh để có thể
tự khởi động, nhưng lĩnh vực này đang dần trưởng thành.
Robinson cho biết chi phí thực sự là một động lực lớn, lưu ý
cái giá quá đắt của việc chạy các mô hình học sâu chuyên sâu về tính toán như
GPT-3 hoặc các mô hình biến áp ngôn ngữ lớn khác, mà các doanh nghiệp ngày nay
sử dụng trong các công cụ AI và chatbot hội thoại.
Có nhiều điểm cân bằng hơn khi họ đang đầu tư trở lại vào cơ
sở hạ tầng kết hợp của họ.
Vijay Raghavendra, giám đốc công nghệ tại SymphonyAI, công
ty làm việc với chuỗi cửa hàng tạp hóa Albertsons, cho biết: .
Raghavendra rời Walmart vào năm 2020 sau bảy năm gắn bó với
công ty trong vai trò kỹ sư cao cấp và công nghệ thương gia.
Một số công ty đang xem xét việc thiết lập tại chỗ trong
giai đoạn xây dựng mô hình, khi ML và các mô hình học sâu được đào tạo trước
khi chúng được phát hành để hoạt động trong môi trường hoang dã.
Quá trình đó yêu cầu điều chỉnh và kiểm tra rất nhiều máy
tính với số lượng lớn các thông số hoặc sự kết hợp của các loại mô hình và đầu
vào khác nhau bằng cách sử dụng terabyte hoặc petabyte dữ liệu.
Danny Lange, phó chủ tịch mảng AI và máy học của công ty AI
Unity Technologies cho biết: “Chi phí đào tạo cao đang mang lại cho mọi người một
số thách thức. Lange cho biết chi phí đào tạo có thể lên tới hàng triệu đô la.
Robinson cho biết, các công ty chuyển máy tính và dữ liệu
sang các máy chủ vật lý của riêng họ đặt bên trong các trung tâm dữ liệu đặt
chung do sở hữu hoặc cho thuê có xu hướng sử dụng AI hoặc deep learning tiên tiến.
Nếu bạn để các kỹ sư đào tạo về một ngân hàng GPU trong một
dịch vụ đám mây công cộng, nó có thể rất tốn kém, rất nhanh chóng.
Robinson cho biết, mặc dù khách hàng đã công khai chiến lược
tập trung vào đám mây, nhưng một khách hàng dược phẩm mà Domino Data Lab làm việc
cùng đã mua hai cụm máy chủ Nvidia để quản lý tại chỗ các mô hình nhận dạng
hình ảnh nặng bằng máy tính.
Giá cao? Làm thế nào về băng thông rộng kém
Đối với một số công ty, sở thích chạy phần cứng của riêng họ
không chỉ là đào tạo các mô hình học sâu lớn.
Victor Thu, chủ tịch Datatron, cho biết các nhà bán lẻ hoặc
chuỗi thức ăn nhanh có mô hình học máy theo khu vực cụ thể - được sử dụng để bản
địa hóa hậu cần giao hàng hoặc tối ưu hóa hàng tồn kho của cửa hàng - thà chạy
khối lượng công việc suy luận ML trong máy chủ của chính họ bên trong cửa hàng
của họ, hơn là chuyển dữ liệu qua lại để chạy các mô hình trên đám mây.
Một số khách hàng “hoàn toàn không muốn nó xuất hiện trên
đám mây”, Thu nói với Protocol. Ông nói: “Hành vi bán lẻ ở San Francisco có thể
rất khác so với Los Angeles và San Diego,” ông nói và lưu ý rằng Datatron đã chứng
kiến khách hàng chuyển một số hoạt động ML sang máy của họ, đặc biệt là những
nhà bán lẻ có kết nối internet kém ở một số địa điểm nhất định.
Độ trễ của mô hình là một lý do phổ biến hơn được công nhận
để chuyển khỏi đám mây. Khi một mô hình được triển khai, lượng thời gian cần
thiết để nó truyền dữ liệu qua lại giữa các máy chủ đám mây là yếu tố phổ biến
trong việc quyết định sử dụng nội bộ. Một số công ty cũng tránh đám mây để đảm
bảo các mô hình phản hồi nhanh chóng với dữ liệu mới khi hoạt động trên thiết bị
di động hoặc bên trong xe bán tự hành.
Trong những năm qua, các nhà cung cấp dịch vụ đám mây đã vượt
qua nhận thức ban đầu rằng dịch vụ của họ không đủ an toàn cho một số khách
hàng, đặc biệt là những khách hàng từ các ngành được quản lý cao.
Khi các công ty tên tuổi lớn như Capital One đã chấp nhận
đám mây, các mối quan tâm về bảo mật dữ liệu ngày nay ít tiền tệ hơn.
Tuy nhiên, quyền riêng tư và bảo mật dữ liệu buộc một số
công ty phải sử dụng các hệ thống tại chỗ. Giám đốc điều hành Ed Ikeguchi của
công ty cho biết AiCure sử dụng phương pháp kết hợp để quản lý dữ liệu và mô
hình học máy cho ứng dụng của mình được bệnh nhân sử dụng trong các thử nghiệm
lâm sàng. AiCure giữ các quy trình liên quan đến thông tin nhận dạng cá nhân,
nhạy cảm (PII) dưới sự kiểm soát của riêng mình.
Ikeguchi nói: “Chúng tôi làm nhiều công việc kiểu PII tại địa
phương. Tuy nhiên, ông cho biết, khi công ty có thể sử dụng dữ liệu tổng hợp và
ẩn danh, “khi đó tất cả dữ liệu trừu tượng sẽ hoạt động với đám mây”.
Ikeguchi nói thêm, “Một số nhà cung cấp đám mây này có cơ sở
hạ tầng tuyệt vời để hỗ trợ dữ liệu cá nhân. Điều đó nói rằng, chúng tôi cũng
thực hiện rất nhiều biện pháp phòng ngừa về cuối của chúng tôi, về những gì kết
thúc trên đám mây. "
Biren Fondekar, phó chủ tịch phụ trách trải nghiệm khách
hàng và chiến lược kỹ thuật số tại NetApp cho biết: “Chúng tôi có những khách
hàng rất có ý thức về bảo mật, với những khách hàng thuộc các ngành dịch vụ tài
chính và chăm sóc sức khỏe được quản lý cao chạy phần mềm AI của NetApp.
Đám mây lớn đáp ứng
Ngay cả những gã khổng lồ về đám mây cũng đang phản ứng với
xu hướng này bằng cách thúc đẩy một cách tinh vi các sản phẩm tại chỗ của họ
cho việc học máy.
AWS đã quảng bá cơ sở hạ tầng Outposts cho máy học vào năm
ngoái trong một bài đăng trên blog, với lý do giảm độ trễ và khối lượng dữ liệu
cao là hai lý do chính khiến khách hàng muốn chạy ML bên ngoài đám mây.
Josh Coen, kiến trúc sư giải pháp cao cấp của AWS, viết:
“Một trong những thách thức mà khách hàng đang phải đối mặt với việc thực hiện
suy luận trên đám mây là thiếu các yêu cầu về suy luận và / hoặc bảo mật theo
thời gian thực. Mani Khanuja, chuyên gia về trí tuệ nhân tạo và máy học tại
AWS.
Vào tháng 10, Google Cloud đã công bố Google Distributed
Cloud Edge để giải quyết những lo ngại của khách hàng về việc tuân thủ theo khu
vực cụ thể, chủ quyền dữ liệu, độ trễ thấp và xử lý dữ liệu cục bộ.
Microsoft Azure đã giới thiệu sản phẩm để giúp khách hàng thực
hiện phương pháp kết hợp để quản lý máy học bằng cách xác thực và gỡ lỗi các mô
hình trên máy cục bộ, sau đó triển khai chúng trên đám mây.
Snowflake, được tích hợp với nền tảng MLOps của Domino Data
Lab, đang nghiên cứu thêm các công cụ tại chỗ cho khách hàng, Harsha Kapre,
giám đốc sản phẩm cấp cao tại Snowflake cho biết. “Tôi biết chúng tôi đang tích
cực suy nghĩ về nó,” anh nói với Protocol. Snowflake cho biết vào tháng 7 rằng
họ sẽ cung cấp kiến trúc hồ dữ liệu bảng bên ngoài - có thể được sử dụng để
chuẩn bị dữ liệu học máy - để khách hàng sử dụng trên phần cứng của riêng họ.
Chi phí ẩn
Theo Robinson, khi các công ty tích hợp AI vào các doanh
nghiệp của họ, ngày càng có nhiều người trong doanh nghiệp sử dụng các mô hình
học máy, điều này có thể làm tăng chi phí nếu họ thực hiện trên đám mây.
Nhưng một số người nói rằng lời hứa trước đó có chi phí ẩn.
Bob Friday, giám đốc AI tại công ty truyền thông và mạng AI
Juniper Networks, đồng ý.
“Việc để nó ở Google, AWS hoặc Microsoft nếu bạn có thể luôn
rẻ hơn,” Friday nói, đồng thời nói thêm rằng nếu một công ty không có trường hợp
sử dụng tiên tiến yêu cầu đưa ra quyết định trong giây lát trong một chiếc xe
bán tự hành, hoặc xử lý các tệp video phát trực tuyến lớn, tại chỗ không có ý
nghĩa.
Nhưng tiết kiệm chi phí sẽ có đối với các doanh nghiệp có
các sáng kiến AI lớn, Robinson nói. Ông nói, trong khi các công ty có hoạt động
AI nhỏ hơn có thể không nhận ra lợi ích chi phí bằng cách tham gia vào công ty.
Mọi người lên đám mây, sau đó họ cố gắng lùi lại một chút.
Tôi nghĩ đó là về việc tìm kiếm sự cân bằng phù hợp.
Robinson nói thêm, “một điều khác cần xem xét là phần cứng
được tăng tốc bằng AI đang phát triển rất nhanh và các nhà cung cấp đám mây đã
chậm chạp trong việc cung cấp cho người dùng.”
Cuối cùng, giống như sự chuyển hướng sang nhiều đám mây và
các chiến lược đám mây lai, quá trình chuyển đổi máy học để kết hợp cơ sở hạ tầng
tại chỗ có thể là một dấu hiệu của sự tinh vi giữa các doanh nghiệp không chỉ
đơn thuần nhúng chân vào AI.