Android

Amazon tự động sử dụng Hadoop cho nhà phát triển

How to install Hadoop 3.3.0 on Windows 10 | Easy step by step tutorial (Latest Version as of 2020)

How to install Hadoop 3.3.0 on Windows 10 | Easy step by step tutorial (Latest Version as of 2020)
Anonim

Amazon.com đã đưa ra một dịch vụ lưu trữ được thiết kế để đơn giản hóa cho các nhà phát triển việc sử dụng triển khai Hadoop của mô hình lập trình MapReduce để xử lý các tập dữ liệu lớn trong các cụm bộ xử lý.

Được gọi là Amazon Elastic MapReduce, dịch vụ điện toán đám mây là nhằm vào các nhà phát triển

Với Amazon Elastic MapReduce, nhiều nhiệm vụ mà các nhà phát triển cần xử lý theo cách thủ công liên quan đến Hadoop được tự động hóa, công nghệ điện toán đám mây của Amazon của Amazon Web Services (AWS) của công ty phân chia cho biết trong một blog chính thức vào thứ năm.

[Đọc thêm: Các dịch vụ truyền hình trực tuyến tốt nhất]

"Sử dụng MapReduce Đàn hồi, bạn có thể tạo, chạy, theo dõi và kiểm soát các công việc Hadoop với sự dễ dàng về điểm và nhấp. Bạn không phải đi ra ngoài và mua các phần cứng. Bạn không cần phải xếp nó, mạng hoặc quản lý nó. Bạn không phải lo lắng về việc hết tài nguyên hoặc chia sẻ chúng với các thành viên khác trong tổ chức của bạn. Bạn không cần phải theo dõi nó, điều chỉnh, hoặc dành thời gian nâng cấp hệ thống hoặc phần mềm ứng dụng lên đó, "bài đăng trên blog đã đọc.

AWS quyết định tạo dịch vụ này sau khi biết nó có khách hàng đang chạy công việc Hadoop trên Amazon Bởi vì Hadoop ngày càng trở nên phổ biến, Amazon nhằm mục đích làm cho các nhà phát triển khác dễ dàng tận dụng việc triển khai mã nguồn mở này của MapReduce.

Bản đồ ElasticReduce kết hợp với EC2 và Amazon Simple Storage Service (S3) đã lưu trữ dịch vụ đám mây lưu trữ. "Elastic MapReduce tự động xoay một triển khai Hadoop của khung công tác MapReduce trên các cá thể Amazon EC2, phân chia dữ liệu trong luồng công việc thành các khối nhỏ hơn để chúng có thể được xử lý - chức năng 'bản đồ' - song song và cuối cùng kết hợp lại dữ liệu đã xử lý thành giải pháp cuối cùng - chức năng 'giảm'. Amazon S3 phục vụ như là nguồn cho dữ liệu được phân tích, và là đích đầu ra cho kết quả cuối cùng, "theo một mô tả riêng biệt của dịch vụ.

Như với các dịch vụ đám mây AWS khác, Amazon tính phí cho Elastic MapReduce dựa trên sử dụng, không có phí tối thiểu.