Trang web

Yahoo Giúp IIT Bombay Thiết lập Hadoop Cluster Lab

Hadoop Installation Tutorial | Hadoop Cluster Setup | Hadoop Installation on CentOS | Edureka

Hadoop Installation Tutorial | Hadoop Cluster Setup | Hadoop Installation on CentOS | Edureka
Anonim

Yahoo đã giúp Viện Công nghệ Ấn Độ Bombay thành lập một phòng thí nghiệm cụm Hadoop ở Mumbai bằng cách quyên góp một nhóm các máy chủ chạy phần mềm Hadoop nguồn mở.

Apache Hadoop là một dự án máy tính phân tán nguồn mở của Quỹ phần mềm Apache mà Yahoo hỗ trợ.

Yahoo điều hành một số lượng lớn các hoạt động quan trọng của nó bằng cách sử dụng Hadoop, và nó không thể thực hiện tất cả các nghiên cứu cần thiết xung quanh Hadoop trong công ty, Prabhakar Raghavan, phó chủ tịch và trưởng phòng thí nghiệm của Yahoo cho biết. Một cuộc phỏng vấn qua điện thoại vào thứ năm.

Yahoo đã công bố vào tháng 6 năm ngoái, bản phân phối Hadoop của chính họ, trích dẫn mối quan tâm từ cộng đồng Hadoop của Apache rằng nó xuất bản phiên bản Hadoop mà nó kiểm tra và triển khai trên các cụm lớn của riêng nó. phòng thí nghiệm tại M umbai sẽ giúp các nhà nghiên cứu tại các khu vực nghiên cứu của viện nghiên cứu như kỹ thuật tìm kiếm và xếp hạng, khai thác thông tin và xử lý ngôn ngữ tự nhiên.

Các nhà nghiên cứu học thuật muốn nghiên cứu các vấn đề liên quan đến Web thường không thể truy cập vào tài nguyên tính toán và terabyte Raghavan cho biết, bắt đầu với việc cung cấp các nhà nghiên cứu Hadoop tại Đại học Carnegie Mellon với một siêu máy tính 4.000 bộ xử lý trong năm 2007, Yahoo đã giúp các trường đại học khác ở Mỹ thiết lập Hadoop

Raghavan không cung cấp thêm chi tiết về cụm được cài đặt tại IIT, chỉ nói rằng các máy chủ có hàng trăm CPU và khả năng xử lý terabyte dữ liệu đã được triển khai ở đó.

Bên cạnh IIT Bombay, Yahoo đang giúp thiết lập các cụm tương tự tại các cơ sở giáo dục ở Đức và Singapore, Raghavan nói. Đây là ba tổ chức học thuật đầu tiên bên ngoài nước Mỹ, nơi Yahoo đang giúp thiết lập các cụm như vậy, ông nói thêm.

Yahoo lên kế hoạch để sau này kết nối một số cụm trên toàn thế giới để tạo ra một "tiện ích lớn hơn". Trước đó, các khả năng quản trị hệ thống của Hadoop phải được tăng cường để ngăn chặn một sinh viên trong một cơ sở làm việc tại một cơ quan khác, Raghavan nói.

Yahoo hợp tác vào năm 2008 với Phòng thí nghiệm nghiên cứu tính toán (CRL). Tata Group, cung cấp các cơ sở siêu máy tính miễn phí cho các cơ sở giáo dục ở Ấn Độ đang nghiên cứu về tính toán quy mô lớn, đặc biệt là xung quanh Hadoop. Sự hợp tác đó tiếp tục, nhưng tập trung vào các siêu máy tính hiệu năng cao, Raghavan nói.

Hợp tác với các viện hàn lâm trên Hadoop giúp Yahoo xây dựng một nhóm kỹ sư quen thuộc với nền tảng Hadoop, theo Raghavan. Một số người trong số họ thậm chí đã được thuê bởi Yahoo, ông nói thêm.

Yahoo cũng đã được hưởng lợi từ những ý tưởng đã được đưa ra từ các tổ chức học thuật nghiên cứu sử dụng Hadoop, Raghavan nói. Tuy nhiên, ông không đưa ra các trường hợp cụ thể của các ý tưởng được chọn từ sự hợp tác này với các tổ chức học thuật.