Một sinh viên khoa học máy tính hỏi: “Bạn em làm việc trong công nghiệp bảo em rằng Big Data chỉ là khái niệm sẽ xảy ra trong tương lai và một ngày đó được dùng trong công nghiệp. Em bị lẫn lộn, nó là cái gì đó đã được dùng rồi hay nó vẫn là một khái niệm mới? Xin thầy lời khuyên?”

Đáp: Big Data KHÔNG phải là khái niệm mới; nó đã được dùng trong nhiều năm đặc biệt trong phân tích tài chính và thương mại thị trường chứng khoán. Ngày nay, nó được dùng rộng rãi trong nhiều ngành công nghiệp từ bán lẻ, ngân hàng, tới dược phẩm và công nghệ sinh học, v.v. Trong quá khứ, việc dùng Big Data bị giới hạn vào các công ti lớn vì nó rất đắt khi nó yêu cầu máy tính mạnh với dung lượng nhớ lớn. Ngày nay tiến bộ của công nghệ máy tính và lưu giữ đã làm cho Big Data thành đảm đương được cho nên việc dùng nó trở nên phổ biến hơn.

Nếu bạn nhìn lại trong lịch sử, trước khi phát minh ra máy tính cá nhân (PC), chỉ các công ti rất lớn mới có thể đảm đương có các máy tính lớn nhiều triệu đô la. Apple và Microsoft đã làm thay đổi điều đó bằng việc đưa máy tính vào mọi nhà. Cùng điều này đang xảy ra ngày nay với Big Data, khi giá của xử lí tốc độ cao và bộ nhớ lớn giảm xuống, các công ti có thể đảm đương việc dùng chúng và Big Data đang trở thành khu vực tăng trưởng nhanh. Các nhà phân tích công nghiệp dự báo rằng trong quá khứ, phần mềm đã giúp hàng nghìn người phát triển trở thành triệu phú và tỉ phú thì vòng xoay này sẽ lặp lại với Big Data và chẳng mấy chốc nhiều nhà khoa học dữ liệu, kiến trúc sư dữ liệu, nhà phân tích dữ liệu sẽ trở thành triệu phú và tỉ phú.

Ngày nay công ti có thể truy nhập vào khối lượng bao la các dữ liệu cả bên trong và bên ngoài công ti và dựa vào chúng để cải tiến doanh nghiệp. Khái niệm này là đơn giản: Thu thập nhiều dữ liệu, đủ mọi loại dạng thức từ nhiều nguồn, phân tích và tổ chức chúng để cung cấp thông tin bản chất cho quyết định của cấp quản lí. Tuy nhiên việc thực hiện lại KHÔNG đơn giản vậy, nó đòi hỏi kĩ năng đặc biệt. Big Data yêu cầu bốn kiểu kĩ năng: Kĩ năng thu thập dữ liệu (các kĩ năng quản trị cơ sở dữ liệu và khai phá dữ liệu) để thu thập, định dạng, tổ chức và lưu giữ chúng trong cơ sở dữ liệu hay nhà kho dữ liệu. Kĩ năng phân tích (kĩ năng toán học, thống kế và tích hợp) để phân tích những dữ liệu này và dịch chúng thành thông tin hữu dụng. Kĩ năng diễn giải (kĩ năng trinh sát doanh nghiệp, trực quan hoá, và đồ hoạ) để biểu diễn thông tin này trong các bài trình bày, đồ thị, sơ đồ hay độ đo được dùng trong OLAP. Kĩ năng thúc bẩy (kĩ năng toán học, thống kê và dự báo) để tạo ra báo cáo dự báo, dự đoán.

Walmart, cửa hàng bán lẻ lớn nhất trên thế giới đã dùng Big Data để cải tiến hiệu quả vận hành của họ từ những năm 1990. Người quản lí của họ hiểu rằng bằng việc có mọi kiểu dữ liệu, họ có thể cải tiến dây chuyền cung cấp của nó, giới hạn vượt quá kho, giản chi phí vận hành, và hạ thấp giá thành của nó. Trong một thời gian ngắn, Walmart đã loại bỏ nhiều đối thủ cạnh tranh của nó bằng việc có giá thấp hơn do hiệu quả vận hành của nó. Trước khi Walmart dùng Big Data, đã có hàng nghìn công ti bán lẻ lớn trên thế giới, ngày nay con số rớt xuống ít hơn một trăm. Walmart bây giờ là công ti bán lẻ lớn nhất trên thế giới với hàng nghìn cửa hàng và hàng triệu nhân viên. Ưu thế mà Walmart có trên các đối thủ cạnh tranh của nó là ở hệ thông tin phức tạp và dùng Big Data. Đây là vài ví dụ:

  • Tối ưu giá động: Bằng việc dùng Big Data và kĩ thuật trinh sát doanh nghiệp, Walmart có thể đổi giá sản phẩm của nó trong từng cửa hàng một cách tự động. Bằng việc thu thập dữ liệu thị trường từ khắp trên thế giới, kể cả giá của đối thủ cạnh tranh, dây chuyền cung cấp, dữ liệu kho, và dữ liệu hành vi khách hàng, Walmart có thể điều chỉnh bất kì giá nào để làm cực đại số bán và tăng lợi nhuận. Khi một đối thủ cạnh tranh có giá thấp hơn, máy tính của Walmart lập tức hạ giá của nó xuống vài phần trăm để đảm bảo rằng nó là giá thấp nhất.
  • Phân tích và hỗ trợ bán: Walmart thu thập mọi thông tin bán hàng. Nó không giữ kho lớn nhưng khi khoản mục nào đó tụt xuống thấp một lượng tối thiểu, hệ thống máy tính tự động đặt đơn hàng cho nhà chế tạo chuyển sản phẩm phụ thêm tới cửa hàng xác định. Bằng việc dùng phân tích Big Data, công ti biết chi tiết xu hướng thị trường ở các khu vực địa lí rải rác để tối ưu sản phẩm trong kho của nó.
  • Phân tích thói quen mua sản phẩm: Mọi cửa hàng Walmart đều có máy quay video để thu thập hành vi của khách hàng khi họ mua hàng. Bằng việc phân tích dữ liệu video và cách bố trí cửa hàng, Walmart biết chỗ để bày sản phẩm để khuyến khích hành vi mua nhiều hơn. Một sản phẩm giá rất thấp đặt ở cuối đường đi sẽ buộc khách hàng phải đi suốt con đường tới cuối, đi qua trưng bày nhiều sản phẩm khác. Mọi lúc họ dừng lại và nhìn vào những trưng bày này, hành vi của họ báo hiệu sự quan tâm. Dữ liệu này được thu thập và phân tích cẩn thận để xác định xu hướng. Bằng việc dùng phân tích Big Data, Walmart hiểu sản phẩm nào có thể hấp dẫn số lớn khách hàng và lấy hành động bằng đổi giá như việc bán đặc biệt để khuyến khích nhiều khách hàng tới cửa hàng của họ.

Tất nhiên, Walmart chỉ là một ví dụ vì nhiều công ti và ngành công nghiệp đang nhanh chóng chấp nhận phân tích Big Data cho ưu thế cạnh tranh của họ. Mặc dầu nhu cầu là cao nhưng hiện thời ít trường đang dạy những kĩ năng này. Người ta dự báo rằng có thể cần ít nhất một thập kỉ nữa hay đại loại như vậy để có đủ nhà khoa học dữ liệu, nhà phân tích dữ liệu hay kĩ sư dữ liệu cho công nghiệp.

—English version—

Example of Big Data

A computer science student asked: “My friend who works in the industry told me that Big Data is only a concept that will happen in the future and someday be used in the industry. I am confused, is it something that already being used or is it still a new concept? Please advice?”

Answer: Big Data is NOT a new concept; it has been used for many years especially in financial analysis and stock market trading. Today, it is widely used in many industries from retails, banking, to pharmaceuticals and biotechnology, etc. In the past, the use of Big Data was limited to large companies because it was very expensive as it required powerful computers with large storage capacity. Today advancing of computer and storage technology has made Big Data affordable so its use is getting more popular.

If you look back in history, before the invention of Personal Computer (PC), only very large companies can afford the multi-million dollars mainframe computers. Apple and Microsoft have changed that by putting a computer in every home. The same thing is happening today with Big Data, as the cost of high speed processing and large storage decrease, more companies can afford to use them and Big Data is becoming a fast growing area. Industry analysts predicted that in the past, software has helped thousands of developers become millionaires and billionaires then this cycle will repeat with Big Data and soon many Data scientists, Data architects, Data analysts will become millionaires and billionaires.

Today company can access a vast amount of data both inside and outside the company and leverage them to improve business. The concept is simple: Collect a lot of data, in all kinds of formats from many sources, analyze and organize them to provide essential information for management’s decisions. However the implementation is NOT that simple, it requires special skills. Big Data requires four types of skill: The data collection skills (Database administration and Data Mining skills) to collect, format, organize and store them in the database or data warehouse. The analytics skills (Mathematics, statistics and integration skills) to analyze these data and translate them into useful information. The Interpreting skills (Business Intelligence, visualization, virtualization, and graphic skills) to representing this information in presentations, graphs, charts or metrics as used in OLAP. The Leveraging skills (Mathematics, statistics, and predicting skills) to create prediction, forecasting reports.

Walmart, the largest retail store in the world has been using Big Data to improve its operational efficiency since 1990s. Their managers understand that by having all types of data, they can improve its supply chain, limit excess inventory, reduce operational costs, and lower its prices. Within a short time, Walmart has eliminated many of its competitors by having lower prices due to its operational efficiency. Before Walmart used Big Data, there was thousands of big retail companies in the world, today the number dropped to less than a hundred. Walmart is now the largest retail company in the world with thousands of stores and millions of employees. The advantage that Walmart has over its competitors is its sophisticated information systems and the use of Big Data. Here are few examples:

  • Dynamic price optimization: By using Big Data and business intelligence techniques, Walmart can change the price of its products in each store automatically. By collect market data from all over the world, including competitor pricing, supply chain, inventory data, and consumer behavior data, Walmart can adjust any prices to maximize sales and increase profits. When a competitor has lower price, Walmart computers immediately drop its price by few percent more to guarantee that its price is the lowest.
  • Sales analysis and support: Walmart collects all sales information. It does not keep a large inventory but when certain items fell below a minimum amount, its computer system automatically place an order to the manufacture to ship additional products to specific store. By using Big Data analytics, the company knows in details the market trends in geographically dispersed areas to optimize its in-store products.
  • Product placement analysis: All Walmart stores have video cameras to collect customers’ behavior as they shop. By analyzing video data and store layout, Walmart knows where to place their products to encourage more buying behavior. A very low price product placed at the end of the aisle will force customers to go all the way to the end, passing many other product displays. Every time they stop and look at these displays, their behavior signals interests. The data is collected and analyzed carefully to determine trends. By using Big Data analytics, Walmart understands which products may attract large numbers of customer and take action by change the price as special sales to promote more customers to come to their stores.

Of course, Walmart is just one example as more companies and industries are quickly adopting Big Data analytics for their competitive advantages. Although demand is high but currently few schools are teaching these skills. It is predicted that it may need at least another decade or so to have enough Data scientists, Data analysts or Data engineers for the industry.