Giải pháp Lưu trữ và AI: Thách thức Bảo tồn Động vật tại ZSL Luân Đôn

Các giải pháp lưu trữ mật độ cao và AI tiên tiến tác động đáng kể đến việc giám sát, bảo vệ và hiểu biết về quần thể động vật.

Tại sự giao thoa giữa công nghệ tiên tiến và nỗ lực bảo tồn, Hiệp hội Động vật học Luân Đôn (ZSL) và PEAK:AIO đã phát triển một phương pháp tiếp cận đổi mới để quản lý dữ liệu cho nghiên cứu động vật hoang dã. Sự hợp tác này, bao gồm việc triển khai bộ lưu trữ Solidigm mật độ cao và AI tiên tiến, tác động đáng kể đến việc giám sát, bảo vệ và hiểu biết về quần thể động vật. Cốt lõi của dự án này là giải pháp PEAK:AIO, được điều khiển bởi ổ QLC D5-P5336 61,44 TB của Solidigm, cung cấp cơ sở hạ tầng để lưu trữ và phân tích dữ liệu nhanh chóng—cho phép các nhà nghiên cứu đưa ra quyết định nhanh hơn, chính xác hơn, cuối cùng mang lại lợi ích cho những nỗ lực bảo tồn.

Gần đây, chúng tôi đã có cơ hội đến thăm Sở thú Luân Đôn và khám phá cách ZSL sử dụng hệ thống lưu trữ dữ liệu và nền tảng điều khiển AI tiên tiến của PEAK: AIO để xử lý lượng dữ liệu khổng lồ được tạo ra từ các dự án giám sát động vật hoang dã, từ bảo tồn đô thị cho nhím quan sát loài toàn cầu. Vườn thú có thể giải quyết các thách thức quản lý dữ liệu vốn có trong các nỗ lực bảo tồn hiện đại bằng cách tích hợp công nghệ lưu trữ và AI tiên tiến. Chúng tôi cũng có vinh dự được thảo luận về những đổi mới này với Mark Klarzynski, Giám đốc điều hành và Người sáng lập của PEAK:AIO, Giáo sư Chris Carbonegiáo sư về bảo tồn động vật học và những người khác tham gia vào sáng kiến ​​đột phá này.

Từ nhím đến giám sát loài toàn cầu

Một trong những dự án hấp dẫn nhất tại ZSL liên quan đến bảo tồn động vật hoang dã ở đô thị, đặc biệt tập trung vào quần thể nhím ở London. Chris Carbone đã chia sẻ với chúng tôi những thách thức mà loài nhím phải đối mặt, một loài có môi trường sống ngày càng bị chia cắt bởi hoạt động của con người. Carbone nói: “Chúng đấu tranh để phân tán giữa các quần thể, điều này dẫn đến các vấn đề như cận huyết”. Vấn đề này phổ biến ở nhiều loài trên toàn cầu khi quá trình đô thị hóa xâm lấn môi trường sống tự nhiên.

Các nhà bảo tồn đang nỗ lực chống lại điều này bằng cách tạo ra những con đường hoặc “hành lang xanh”, cho phép những động vật như nhím của chúng ta di chuyển tự do giữa các môi trường sống biệt lập. Tuy nhiên, nhận thức và sự tham gia của công chúng là những thành phần quan trọng trong việc đảm bảo sự thành công của những sáng kiến ​​này. ZSL cũng tập trung vào việc nâng cao nhận thức của mọi người về quần thể động vật hoang dã địa phương và khuyến khích họ giúp duy trì những không gian xanh này, thực hiện các bước nhỏ để giúp động vật phát triển mạnh trong những môi trường đầy thách thức.

Nhưng SSD Solidigm dung lượng cao và Siêu máy tính NVIDIA DGX phát huy tác dụng ở đâu? Theo Carbone, chúng đã trở thành công cụ quan trọng. Các công nghệ giám sát động vật hoang dã hiện đại đã phát triển nhanh chóng trong hai thập kỷ qua, cho phép các nhà nghiên cứu thu thập dữ liệu khổng lồ. Tuy nhiên, dữ liệu này đi kèm với những thách thức—lưu trữ và phân tích.

Sự bùng nổ dữ liệu: Từ bẫy ảnh đến bộ gen

Trong những ngày đầu theo dõi động vật hoang dã, bẫy camera là một cuộc cách mạng nhưng cũng có những hạn chế. Chris hồi tưởng lại những ngày mà máy ảnh dùng phim chỉ có thể chụp được 36 bức ảnh, thường dẫn đến bỏ lỡ cơ hội. “Một đàn khỉ có thể dùng hết phim trong ngày đầu tiên và không để lại gì hữu ích cho bạn.” Chuyển nhanh đến ngày nay, máy ảnh kỹ thuật số hiện đại có thể chụp được hàng chục nghìn hình ảnh, mang đến cho các nhà nghiên cứu một bức tranh đầy đủ hơn về hành vi của động vật hoang dã.

Lượng dữ liệu được tạo ra đã tăng theo cấp số nhân, đặc biệt là với những nỗ lực bảo tồn toàn cầu sử dụng bẫy ảnh ở nhiều quốc gia. Ví dụ, bẫy camera của Ấn Độ là một trong những bẫy lớn nhất thế giới, triển khai hơn 10.000 camera và tạo ra hàng triệu hình ảnh. các Dự án HogWatch Luân Đôncũng đã tích lũy được hơn 15 triệu hình ảnh. Với quy mô thu thập dữ liệu ở tốc độ này, việc quản lý và xử lý các tập dữ liệu lớn như vậy đã trở thành một thách thức đáng kể.

Genomics là một lĩnh vực khác góp phần gây ra tình trạng tràn dữ liệu. Các nhà nghiên cứu trước đây đã phân tích các đoạn nhỏ của bộ gen động vật để hiểu cấu trúc quần thể. Tuy nhiên, với khả năng chi trả và khả năng tiếp cận ngày càng tăng của việc giải trình tự toàn bộ bộ gen, các bộ dữ liệu đã được mở rộng lên tới terabyte. Dự án DNA môi trường (eDNA) góp phần hơn nữa vào sự tăng trưởng này bằng cách sử dụng dấu vết DNA trong môi trường để khảo sát quần thể loài.

Nhờ mật độ tiên tiến của SSD Solidigm QLC, các nhóm làm việc trong các dự án này có rất nhiều chỗ để thực hiện công việc hiện tại và có sẵn năng lực cho tương lai gần. Điều này cho phép dự án được xác định phạm vi và xây dựng để không yêu cầu nâng cấp liên tục để đáp ứng nhu cầu dữ liệu.

Xây dựng siêu máy tính trong vườn thú

Một trong những thách thức bất ngờ hơn mà nhóm phải đối mặt khi lắp đặt trung tâm dữ liệu biên mới tại sở thú liên quan đến bộ làm mát ngoài trời và một nhóm hươu nước Trung Quốc. Hệ thống làm mát, thiết yếu để duy trì nhiệt độ thích hợp cho thiết bị điện toán hiệu năng cao, được đặt gần khu vực sinh sống của những loài động vật nhạy cảm này. Trong khi nâng cấp máy làm mát lên thiết bị lớn hơn, tiếng ồn và hoạt động từ việc lắp đặt đã làm phiền đàn hươu, đòi hỏi nhóm phải điều chỉnh cẩn thận kế hoạch của mình để đảm bảo sự thoải mái và an toàn cho động vật.

Giải pháp là tạm thời di dời những con hươu nước đến một khu vực an toàn và yên bình hơn trong vườn thú trong khi công việc hoàn thành. Tình huống này đã tạo thêm một lớp phức tạp mà hầu hết việc lắp đặt trung tâm dữ liệu sẽ không gặp phải, làm nổi bật những thách thức đặc biệt của việc triển khai công nghệ trong môi trường chung với động vật hoang dã. Sau khi máy làm mát được lắp đặt và các loài động vật quay trở lại môi trường sống của chúng, nhóm tiếp tục dự án với sự gián đoạn tối thiểu đối với hoạt động hàng ngày của vườn thú.

Điện toán biên tại Sở thú Luân Đôn

Với khối lượng dữ liệu lớn, ZSL cần một trung tâm dữ liệu mạnh mẽ nhưng nhỏ gọn để xử lý những bộ dữ liệu khổng lồ này. Nhập PEAK:AIO và giải pháp lưu trữ hiệu suất cao của họ được triển khai ở biên. Giải pháp này hỗ trợ khối lượng công việc về hình ảnh và gen của vườn thú. Bên trong trung tâm dữ liệu biên tại các văn phòng Sở thú London của ZSL, hai nền tảng DGX của NVIDIA, kết hợp với hệ thống PEAK:AIO, cung cấp 1,2 petabyte không gian lưu trữ tốc độ cao dự phòng và an toàn.

Mark Klarzynski, Giám đốc điều hành & Người sáng lập PEAK:AIO, giải thích rằng các hệ thống lưu trữ này được thiết kế để đáp ứng nhu cầu về khối lượng công việc AI và nhu cầu bảo tồn động vật hoang dã. Hệ thống DGX cho phép xử lý AI nhanh chóng, có thể phân tích hàng triệu hình ảnh trong thời gian ngắn hơn so với các thiết lập máy tính truyền thống. Mark cho biết: “Chúng tôi đang vượt qua các giới hạn về hiệu suất trong một không gian nhỏ như vậy”. “Nó không chỉ là lưu trữ dữ liệu mà còn là xử lý dữ liệu đó một cách nhanh chóng và hiệu quả nhất có thể.”

Với RDMA qua NFS và NVMe qua Fabric, các hệ thống lưu trữ này có thể cung cấp quyền truy cập dữ liệu thông lượng cao, điều này cần thiết khi xử lý dữ liệu ở quy mô mà ZSL yêu cầu. Khối lượng công việc AI được tăng tốc bằng GPU đòi hỏi mức hiệu suất này, đặc biệt là khi xử lý các tác vụ như phân loại loài và phát hiện đối tượng trong hình ảnh.

Vai trò của AI trong bảo tồn

Một trong những công cụ AI nổi bật đang được sử dụng tại Sở thú Luân Đôn là MegaDetector của Microsoft. Mô hình AI này là công cụ tự động hóa quá trình tiền xử lý hình ảnh bằng cách phát hiện và lọc ra những vật thể không liên quan như con người hoặc ô tô, đồng thời cách ly động vật để phân tích thêm. Trước đây, một máy tính xách tay tiêu chuẩn chỉ có thể xử lý một vài hình ảnh mỗi phút, nhưng với cơ sở hạ tầng mới, hàng nghìn hình ảnh có thể được xử lý trong cùng một khung thời gian.

Đây chỉ là bước đầu tiên trong quy trình phức tạp hơn do AI điều khiển. Sau quá trình lọc ban đầu, các mô hình AI được sử dụng để nhận dạng loài—một nhiệm vụ khó khăn hơn nhiều. “Bạn có thể nghĩ rằng bây giờ chúng tôi đã làm tốt hơn việc đó,” Carbone trầm ngâm, “nhưng điều đó cực kỳ khó khăn.” Thảm thực vật thường che khuất động vật, khiến AI khó phân loại chính xác loài. Tuy nhiên, các kỹ thuật mới, chẳng hạn như sử dụng các hộp giới hạn để tập trung sự chú ý của AI, sẽ cải thiện độ chính xác.

Khi hình ảnh đã được gắn thẻ và phân tích, dữ liệu có thể được đưa vào các mô hình phức tạp hơn. Những mô hình này cung cấp cho các nhà bảo tồn những hiểu biết quan trọng, chẳng hạn như ước tính quần thể và mô hình tương tác giữa các loài. Kết quả của những phân tích này giúp định hình các chiến lược bảo tồn ở London và trên toàn thế giới.

Sao lưu và bảo mật dữ liệu theo thời gian thực

Tính toàn vẹn dữ liệu là rất quan trọng khi xử lý dữ liệu bảo tồn có giá trị. PEAK:AIO có hệ thống sao lưu dự phòng tích hợp để đảm bảo rằng không có dữ liệu nào bị mất. 1,2 PB của bộ lưu trữ Solidigm được sao lưu gần như theo thời gian thực bằng cách sử dụng NVMe qua RDMA và dữ liệu có thể được khôi phục gần như ngay lập tức mà không cần quy trình khôi phục truyền thống. Klarzynski nhấn mạnh, “Bạn không thực sự hồi phục; bạn chỉ cần sử dụng nó.

Để tăng cường bảo mật, quy trình sao lưu đảm bảo rằng dữ liệu không thể thay đổi, nghĩa là dữ liệu không thể bị giả mạo—một tính năng quan trọng do tính chất nhạy cảm của dữ liệu bảo tồn. Nếu có sự cố xảy ra, dữ liệu có thể được truy cập ngay lập tức, bảo toàn được nhiều năm nghiên cứu.

Tương lai của công nghệ bảo tồn

Khi các nỗ lực bảo tồn tiếp tục mở rộng, nhu cầu về các giải pháp công nghệ tiên tiến cũng tăng theo. Công việc được thực hiện tại Sở thú Luân Đôn đóng vai trò là hình mẫu cho những gì có thể thực hiện được khi bạn kết hợp AI, điện toán hiệu năng cao và hệ thống lưu trữ dựa trên biên. Mark từ PEAK:AIO chỉ ra rằng mặc dù họ đã đạt được những điều đáng kinh ngạc nhưng họ chỉ mới ở bề mặt. “Có những điều AI có thể làm mà chúng ta thậm chí còn chưa biết đến,” ông nói.

Sự hợp tác toàn cầu có thể sẽ trở nên quan trọng hơn trong tương lai. Các nhà nghiên cứu hình dung mạng lưới bẫy ảnh toàn cầu, tương tự như cách các trạm thời tiết hoạt động, cung cấp dữ liệu thời gian thực về các loài và hệ sinh thái trên toàn cầu. Khi thế giới phải đối mặt với những thách thức môi trường ngày càng tăng, những công nghệ này sẽ trở thành công cụ không thể thiếu trong cuộc chiến bảo vệ động vật hoang dã trên hành tinh của chúng ta.

Phần kết luận

Sự hợp tác giữa ZSL, PEAK:AIO và Solidigm tại Sở thú Luân Đôn chứng tỏ công nghệ có thể thúc đẩy sự thay đổi trong thế giới thực trong hoạt động bảo tồn như thế nào. Bằng cách tận dụng bộ lưu trữ hiệu suất cao và AI, các nhà bảo tồn có thể xử lý lượng dữ liệu khổng lồ trong thời gian kỷ lục, cung cấp những hiểu biết mới về hành vi của động vật, biến động của quần thể và sức khỏe hệ sinh thái. Không thể phủ nhận tương lai của việc bảo tồn động vật hoang dã là kỹ thuật số và những dự án như thế này đang định hình cách chúng ta bảo vệ những loài dễ bị tổn thương nhất trên hành tinh của mình.

Báo cáo này được tài trợ bởi Solidigm. Tất cả các quan điểm và ý kiến ​​thể hiện trong báo cáo này đều dựa trên quan điểm khách quan của chúng tôi về (các) sản phẩm đang được xem xét.

Tương tác với StorageReview

Bản tin | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Nguồn cấp dữ liệu RSS