Lecture 08 - Hadoop - Why Hadoop need vendors like Cloudera, Hortonworks and MAPR ?
Người dùng nền tảng xử lý dữ liệu Hadoop giờ đây có thêm hai công cụ để giúp họ sắp xếp thông qua các ngọn núi thông tin.
Hadoop nhà phân phối MapR đã tích hợp LucidWorks Search vào phân phối riêng của mình. Trong khi đó, Cloudera đã phát hành bản phát hành đầy đủ đầu tiên của công cụ truy vấn SQL Impala SQL cho Hadoop.
[Đọc thêm: Các dịch vụ truyền hình trực tuyến tốt nhất]“Sử dụng tìm kiếm như giao diện người dùng cho dữ liệu lớn rất thú vị. Tìm kiếm rất phù hợp để tận dụng rất nhiều loại thông tin khác nhau, đặc biệt là thông tin không có cấu trúc, ”Jack Norris, giám đốc tiếp thị của MapR cho biết. "Chúng tôi đang nhìn thấy một số ứng dụng thực sự thú vị với các công cụ tìm kiếm ở cốt lõi của họ, ngay cả khi một người dùng điển hình sẽ không nghĩ chúng là công cụ tìm kiếm."
LucidWorks Search là phiên bản thương mại của mã nguồn mở Apache Lucene / Solr đầy đủ công cụ tìm kiếm văn bản. Với tích hợp MapR mới, LucidWorks Search có thể tìm kiếm thông qua một trong hai dữ liệu trên hệ thống tập tin Hadoop (HDFS) hoặc trên các tập tin trên các hệ thống tập tin khác. cài đặt Lucene / Solr từ đầu.
Công cụ tìm kiếm có thể được sử dụng trong ứng dụng web động để nhanh chóng truy xuất ảnh, quảng cáo, đề xuất sản phẩm và các thông tin khác có thể được sử dụng để phổ biến các trang Web khi đang di chuyển. “Đây không phải là chi phí thay thế thấp hơn cho kho dữ liệu. "Norris nói.
MapR và LucidWorks đã hợp tác với nhau về việc ghép nối các công nghệ của họ kể từ năm 2011, khi họ thành lập một thỏa thuận tiếp thị chung. Đầu năm nay, họ đã phát hành một trình kết nối giúp dễ dàng sử dụng Lucene / Solr với bản phân phối MapR Hadoop.
LucidWords Search hoạt động với bản phân phối M7 mới phát hành của MapR, ở dạng beta. Ngoài việc hỗ trợ LucidWorks Search, phiên bản M7 đã được tái cấu trúc để loại bỏ các phép tính hoặc kiểm tra tính nhất quán nền, tăng tốc hiệu suất.
Cũng trong tuần này, Cloudera phát hành phiên bản 1.0 của Cloudera Impala, một công cụ truy vấn tuân thủ SQL nguồn mở Hadoop. SQL là ngôn ngữ giao diện cơ sở dữ liệu được sử dụng trong các hệ quản trị cơ sở dữ liệu quan hệ (RDMS) và được các quản trị viên cơ sở dữ liệu biết đến.
Impala được thiết kế để thực thi truy vấn nhanh hơn Hoop của Hadoop, vì nó không sử dụng khung công tác MapReduce. kết quả tìm kiếm sẽ được ghi vào đĩa. Thay vào đó, người dùng có thể truy vấn dữ liệu được lưu trữ trong HDFS và HBase trực tiếp. Người dùng có thể truy vấn dữ liệu một cách tương tác hoặc thông qua các quá trình xử lý hàng loạt.
Cloudera lần đầu tiên phát hành phiên bản của công cụ này vào tháng 10 năm ngoái dưới dạng bản beta. Kể từ đó, phần mềm đã được thử nghiệm bởi các công ty như 37signals và Expedia.
Impala là thành phần cốt lõi của gói bổ sung Cloudera Enterprise RTQ (Real-Time Query) cho nền tảng Cloudera Hadoop. Có thể tải xuống Impala miễn phí.
Cập nhật ngày 6 tháng 5 để sửa thông tin về công nghệ Cloudera Impala.
Microsoft vừa công bố một API Live Search mới được phát triển mà các nhà phát triển có thể sử dụng để nhúng các tìm kiếm trên các trang Web với sự hỗ trợ nhiều hơn cho các công nghệ phát triển web thường xuyên và ít hạn chế hơn về cách các bên thứ ba sử dụng công nghệ trên các trang web của họ
Project Silkroad là một API (giao diện lập trình ứng dụng) cho Live Search, hỗ trợ một loạt các giao thức và công nghệ Web mở được sử dụng để xây dựng các trang web, bao gồm RSS, JSON (JavaScript Object Notation), REST (State Representative State Transfer) và XML (Extensible Markup Language Theo ông Angus Norton, giám đốc điều hành của Live Search tại Microsoft, Microsoft cũng đang công bố các bên thứ ba từ những hạn chế trước đó về việc sử dụng API như thế nào. Không có giới hạn về số lượng tru
Microsoft và Yahoo đã đạt được thỏa thuận tìm kiếm được mong đợi từ thứ tư, theo đó công cụ tìm kiếm Bing của Microsoft sẽ cung cấp dịch vụ quảng cáo tìm kiếm cao cấp cho cả hai công ty. một năm rưỡi để tấn công và bắt đầu với một giá thầu không được yêu cầu của Microsoft để mua Yahoo vào tháng 2, nhằm mục đích mang lại cho hai công ty đòn bẩy chống lại Google khổng lồ tìm kiếm, dẫn đầu thị trường trong doanh thu quảng cáo trực tuyến theo định hướng tìm kiếm. cho các công ty, lực lượng kết hợp c
[ĐọC thêm: The b Các thỏa thuận này xuất hiện khoảng hai tháng sau khi Microsoft cải tiến công cụ tìm kiếm của mình và khởi chạy lại nó như Bing, công cụ tìm kiếm của Yahoo và đã nhận được đánh giá tích cực từ người dùng, theo thống kê của các nhà phân tích. Về phần mình, Yahoo có một mạng lưới các nhà quảng cáo lớn hơn Microsoft, và Microsoft sẽ có lợi ngay bây giờ bằng cách truy cập chúng.
Những vấn đề mà Facebook đã buộc phải vật lộn với "sớm hơn nhiều so với ngành công nghiệp rộng hơn", bao gồm cả việc tìm kiếm tìm ra cách hiệu quả hơn để xử lý hành vi của người dùng trên trang web, cách truy cập và hợp nhất các loại dữ liệu khác nhau trên nhiều trung tâm dữ liệu của Facebook và tạo ra các hệ thống phần mềm nguồn mở mới để xử lý dữ liệu đó, Ra Theo Murthy, người quản lý cơ sở hạ tầng phân tích của Facebook,
"Facebook là một công ty dữ liệu, và điều rõ ràng nhất mọi người nghĩ về phía trước là nhắm mục tiêu quảng cáo". nói về cơ sở hạ tầng back-end của Facebook, phân tích dữ liệu và các dự án nguồn mở.