Hướng dẫn how do i connect my s3 to mysql workbench? - làm cách nào để kết nối s3 của tôi với bàn làm việc mysql?

Cập nhật lần cuối: 2022-09-20

Tôi muốn kết nối với dịch vụ cơ sở dữ liệu quan hệ Myamazon (Amazon RDS) DB đang chạy MySQL. Làm thế nào tôi có thể sử dụng MySQL Workbench để làm điều này? Amazon Relational Database Service (Amazon RDS) DB instance that's running MySQL. How can I use MySQL Workbench to do this?

Nghị quyết

Thực hiện theo các bước bên dưới để kết nối MySQL Workbench với phiên bản DB của Amazon RDS:

1. Tải xuống và cài đặt MySQL Workbench.
2. Mở MySQL Workbench, sau đó chọn dấu hiệu bên cạnh các kết nối MySQL để thiết lập kết nối mới.⊕ sign beside MySQL Connections to set up a new connection.
3. Trong hộp thoại Cài đặt kết nối mới, hãy nhập tên cho kết nối của bạn.Setup New Connection dialog box, enter a name for your connection.
4. Trong phần tham số, nhập các chi tiết sau:Parameters section, enter these details:
   • Tên máy chủ: Nhập điểm cuối RDS: Enter the RDS endpoint
   • Cổng: Nhập số cổng Enter the Port number
   • Tên người dùng: Nhập người dùng chính Enter the primary user

   Lưu ý: Bạn có thể nhận được những chi tiết này từ bảng điều khiển Amazon RDS. Từ phần cơ sở dữ liệu, chọn các phiên bản và sau đó chọn phiên bản mà bạn đang kết nối. Từ tab Kết nối và Bảo mật, chọn Cấu hình. Người dùng chính được liệt kê ở đây. You can get these details from the Amazon RDS console. From the Databases section, choose Instances, and then select the instance that you are connecting to. From the Connectivity and Security tab, choose Configuration. The primary user is listed here.

5. Chọn Kết nối kiểm tra.Test Connection.
6. Trong cửa sổ bật lên xuất hiện, nhập mật khẩu mà bạn đã cấu hình khi bạn tạo phiên bản DB, sau đó chọn OK.OK.
7. Sau khi kiểm tra kết nối của bạn, từ hộp thoại Cài đặt kết nối mới, chọn OK để lưu kết nối.Setup new connection dialog box, choose OK to save the connection.

Nếu bạn nhận được lỗi khi bạn kiểm tra kết nối, hãy kiểm tra xem bạn có cấu hình chính xác mạng không.

Bài viết này có giúp ích không?

Bạn có cần thanh toán hoặc hỗ trợ kỹ thuật?

Hỗ trợ AWS cho Internet Explorer kết thúc vào ngày 31/07/2022. Các trình duyệt được hỗ trợ là Chrome, Firefox, Edge và Safari. Tìm hiểu thêm »

Amazon S3 chứa một loạt các tính năng biến nó thành giải pháp lưu trữ dựa trên đám mây ưa thích cho hầu hết các doanh nghiệp. Các tổ chức tận dụng nó để xử lý một số lượng lớn các trường hợp sử dụng trực tiếp. Một số trường hợp sử dụng mà các doanh nghiệp dựa vào Amazon S3 bao gồm tạo bản sao lưu, mục đích phân tích, lưu trữ dữ liệu và tăng cường bảo mật.

Do đó, rất nhiều doanh nghiệp đã bắt đầu chuyển dữ liệu từ cơ sở dữ liệu của họ sang Amazon S3 để tạo ra lý do sao lưu và bảo mật. Bài viết này sẽ cung cấp cho bạn sự hiểu biết sâu sắc về cách bạn có thể thiết lập tích hợp Amazon S3 MySQL.

Mục lục

• Giới thiệu về Amazon S3
• Hiểu các tính năng chính của Amazon S3
• Giới thiệu về MySQL
• Hiểu các tính năng chính của MySQL
• Các phương pháp để thiết lập tích hợp Amazon S3 MySQL
  • Phương pháp 1: Tích hợp Amazon S3 MySQL bằng cách sử dụng đường ống dữ liệu AWS
  • Phương pháp 2: Sử dụng dữ liệu HEVO để thiết lập tích hợp Amazon S3 MySQL
• Hạn chế của việc sử dụng đường ống dữ liệu AWS để thiết lập tích hợp Amazon S3 MySQL
• Sự kết luận

Giới thiệu về Amazon S3

Giới thiệu về MySQL

Kể từ khi được giới thiệu vào năm 2006, nó được coi là tiêu chuẩn mới để lưu trữ dữ liệu. & NBSP; Amazon S3 không lưu trữ dữ liệu như hệ thống tệp của máy tính sử dụng hệ thống các khối dữ liệu. Thay vào đó, nó lưu trữ dữ liệu dưới dạng các đối tượng độc lập cùng với siêu dữ liệu hoàn chỉnh và định danh đối tượng duy nhất. Hệ thống lưu trữ đối tượng của nó có thể hoạt động với hầu hết các nền tảng làm cho nó cực kỳ linh hoạt và do đó, phù hợp cho nhiều doanh nghiệp. Dữ liệu có thể được lưu trữ trên các vị trí khác nhau và truy xuất nhanh hơn và liền mạch hơn nhiều so với bất kỳ hệ thống lưu trữ tệp truyền thống nào. Amazon đảm bảo tỷ lệ độ bền 99,99%. Điều này có nghĩa là tất cả dữ liệu được lưu trữ trên Amazon S3 được đảm bảo vẫn còn nguyên vẹn và có sẵn cho người dùng bất cứ khi nào nó cần.

Amazon S3 hiện đã được thông qua bởi nhiều công ty cùng với một số doanh nghiệp lớn nhất thế giới. Hai trong số các nền tảng truyền thông xã hội nổi tiếng nhất, tức là, Facebook và Twitter, dựa vào Amazon S3 để lưu trữ dữ liệu người dùng một cách an toàn và giữ cho nó có thể truy cập được cho tất cả các phân tích mạng. Các doanh nghiệp chăm sóc sức khỏe như Illumina, Bristol-Myers Squibb và Celgene dựa vào Amazon S3 để giữ an toàn cho dữ liệu bệnh nhân của họ, cho phép họ phân tích dữ liệu sức khỏe của bệnh nhân theo yêu cầu.

Hiểu các tính năng chính của Amazon S3

Các tính năng chính của Amazon S3 như sau:

• Quản lý lưu trữ: Với tên xô S3, thẻ đối tượng, tiền tố và hàng tồn kho S3, người dùng có quyền truy cập vào một loạt các chức năng như hoạt động hàng loạt S3, sao chép S3, v.v., giúp họ phân loại và báo cáo dữ liệu của họ. With S3 bucket names, object tags, prefixes, and S3 Inventory, users have access to a wide range of functionalities such as S3 Batch Operations, S3 Replication, etc., that help them categorize and report their data.
• Giám sát lưu trữ: Amazon S3 chứa các chức năng khác nhau như báo cáo phân bổ chi phí AWS, Amazon CloudWatch, AWS Cloudtrail, S3 Thông báo sự kiện cho phép người dùng giám sát và kiểm soát cách sử dụng tài nguyên Amazon S3 của họ. Amazon S3 houses various functionalities such as AWS Cost Allocation Reports, Amazon CloudWatch, AWS CloudTrail, S3 Event Notifications that enable users to monitor and control how their Amazon S3 resources are being utilized.
• Phân tích lưu trữ: Amazon S3 chứa hai dịch vụ được gọi là S3 Storage Lens và S3 Storage Phân tích lớp lưu trữ có thể cung cấp cho người dùng hiểu biết về dữ liệu được lưu trữ. Lens lưu trữ S3 cung cấp khả năng hiển thị trên toàn tổ chức vào việc sử dụng lưu trữ đối tượng, xu hướng hoạt động và đưa ra các khuyến nghị có thể hành động để cải thiện hiệu quả chi phí và thực hiện các thực tiễn tốt nhất để bảo vệ dữ liệu. Phân tích lớp lưu trữ Amazon S3 phân tích các mẫu truy cập lưu trữ để giúp người dùng quyết định khi nào họ nên thực hiện chuyển đổi cho dữ liệu vào lớp lưu trữ phù hợp.Amazon S3 houses two services called S3 Storage Lens and S3 Storage Class Analysis that can provide users with insights on data being stored. S3 Storage Lens delivers organization-wide visibility into object storage usage, activity trends and makes actionable recommendations to improve cost-efficiency and implement the best practices for data protection. Amazon S3 Storage Class Analysis analyzes storage access patterns to help users decide when they should implement transitions for the data into the right storage class.
• Bảo mật: Amazon S3 cung cấp các tính năng bảo mật linh hoạt khác nhau để đảm bảo rằng chỉ người dùng được ủy quyền mới có quyền truy cập vào dữ liệu. Amazon S3 cung cấp hỗ trợ cho cả mã hóa phía máy khách và phía máy chủ cho tải lên dữ liệu.Amazon S3 offers various flexible security features to ensure that only authorized users have access to the data. Amazon S3 provides support for both Client-side and Server-side encryption for data uploads.

Giới thiệu về MySQL

MySQL được coi là một trong những hệ thống quản lý cơ sở dữ liệu quan hệ nguồn mở phổ biến nhất (RDBMS). MySQL thực hiện một mô hình máy khách máy khách đơn giản giúp người dùng quản lý cơ sở dữ liệu quan hệ, tức là dữ liệu được lưu trữ dưới dạng hàng và cột trên các bảng. Nó sử dụng ngôn ngữ truy vấn nổi tiếng, ngôn ngữ truy vấn có cấu trúc (SQL) cho phép người dùng thực hiện tất cả các hoạt động CRUD (Tạo, đọc, cập nhật, xóa) cần thiết.

MySQL lần đầu tiên được phát triển bởi một công ty Thụy Điển có tên MySQL AB vào năm 1994. Công ty sau đó đã được Sun Microsystems tiếp quản vào năm 2008, cuối cùng được tiếp quản bởi gã khổng lồ công nghệ Hoa Kỳ, Oracle. Oracle hiện chịu trách nhiệm cho sự phát triển và tăng trưởng của MySQL. Mặc dù MySQL là nguồn mở và có sẵn miễn phí cho tất cả mọi người, nhưng nó có một số tính năng cao cấp được cung cấp bởi Oracle cho những khách hàng sẵn sàng trả tiền cho việc sử dụng.

Mặc dù có sự cạnh tranh rất cao trong thị trường cơ sở dữ liệu hiện nay, MySQL được coi là cơ sở dữ liệu ưa thích cho hơn 5000 công ty bao gồm Uber, Netflix, Pinterest, Amazon, Airbnb, Twitter, v.v. LÊN, vận hành và mở rộng các triển khai MySQL trên đám mây. Với

Với Amazon RDS, người dùng có thể triển khai liền mạch các máy chủ MySQL có thể mở rộng trong vòng vài phút với dung lượng phần cứng tiết kiệm chi phí và có thể thay đổi được. Amazon RDS MySQL cho phép người dùng chỉ tập trung vào phát triển ứng dụng bằng cách xử lý trực tiếp các nhiệm vụ quản trị cơ sở dữ liệu tốn thời gian như mở rộng, sao chép, vá lỗi, bản sao lưu và giám sát.

Hiểu các tính năng chính của MySQL

Một số tính năng chính của MySQL như sau:

• Hỗ trợ giao dịch mạnh mẽ: Thực hiện các thuộc tính của axit (tính nguyên tử, tính nhất quán, cách ly, độ bền) mà đảm bảo không mất dữ liệu hoặc không nhất quán.Implementation of ACID (Atomicity, Consistency, Isolation, Durability) properties that ensures no data loss or inconsistency.
• Dễ sử dụng: Xem xét rằng nó sử dụng SQL để truy vấn dữ liệu, bất kỳ ai có kiến ​​thức cơ bản về SQL đều có thể thực hiện các nhiệm vụ cần thiết một cách dễ dàng.Considering that it makes use of SQL for querying data, anyone with basic knowledge of SQL can perform the required tasks with ease.
• Bảo mật: Nó thực hiện một lớp bảo mật dữ liệu phức tạp đảm bảo rằng chỉ người dùng được ủy quyền mới có thể truy cập dữ liệu nhạy cảm.It implements a complex data security layer that ensures that only authorized users can access sensitive data.
• Có thể mở rộng: MySQL được coi là có khả năng mở rộng cao do hỗ trợ cho đa luồng. & NBSP;MySQL is considered to be highly scalable due to support for multi-threading. 
• Hỗ trợ Roll-Back: MySQL hỗ trợ các bản kết nối, cam kết và phục hồi sự cố cho tất cả các giao dịch.MySQL supports roll-backs, commits, and crash recovery for all transactions.
• Hiệu suất cao: MySQL chứa các tiện ích tải nhanh khác nhau cùng với phân vùng chỉ mục bảng và bộ nhớ bộ nhớ riêng biệt có thể đảm bảo hiệu suất cao.MySQL houses various fast load utilities along with Table Index Partitioning and Distinct Memory Caches that can ensure high performance.

Phương pháp 1: Tích hợp Amazon S3 MySQL bằng cách sử dụng đường ống dữ liệu AWS

Phương pháp này liên quan đến việc sử dụng đường ống dữ liệu AWS để thiết lập tích hợp Amazon S3 MySQL. Thiết lập đường ống dữ liệu AWS yêu cầu tạo vai trò IAM, cung cấp cho Hiệu trưởng IAM các quyền cần thiết, tạo đường ống dữ liệu AWS, giải quyết các vấn đề và cuối cùng kích hoạt nó.

Phương pháp 2: Sử dụng dữ liệu HEVO để thiết lập tích hợp Amazon S3 MySQL

Dữ liệu Hevo, một đường ống dữ liệu tự động và NBSP; HEVO được quản lý đầy đủ và hoàn toàn tự động hóa quá trình không chỉ tải dữ liệu từ S3 mà còn làm phong phú dữ liệu và chuyển đổi nó thành một hình thức sẵn sàng phân tích mà không phải viết một dòng mã duy nhất. & NBSP;S3 to MySQL within minutes with an easy-to-use no-code interface. Hevo is fully managed and completely automates the process of not only loading data from S3 but also enriching the data and transforming it into an analysis-ready form without having to write a single line of code. 

Đường ống dữ liệu chịu lỗi của HEVO cung cấp một cách nhanh hơn để chuyển dữ liệu từ cơ sở dữ liệu hoặc các ứng dụng SaaS vào tài khoản MySQL của bạn. Tích hợp được xây dựng trước của Hevo với S3 cùng với & NBSP; hơn 100 nguồn dữ liệu khác & NBSP; (bao gồm hơn 40 nguồn dữ liệu miễn phí) sẽ phụ trách toàn bộ quy trình truyền dữ liệu, cho phép bạn tập trung vào các hoạt động kinh doanh chính chính S3 along with 100+ other data sources (including 40+ free data sources) will take full charge of the data transfer process, allowing you to focus on key business activities

Hai phương pháp để thiết lập tích hợp Amazon S3 MySQL:

• Phương pháp 1: Tích hợp Amazon S3 MySQL bằng cách sử dụng đường ống dữ liệu AWS
• Phương pháp 2: Sử dụng dữ liệu HEVO để thiết lập tích hợp Amazon S3 MySQL

Phương pháp 1: Tích hợp Amazon S3 MySQL bằng cách sử dụng đường ống dữ liệu AWS

Phương pháp này liên quan đến việc sử dụng đường ống dữ liệu AWS để thiết lập tích hợp Amazon S3 MySQL. Thiết lập đường ống dữ liệu AWS yêu cầu tạo vai trò IAM, cung cấp cho Hiệu trưởng IAM các quyền cần thiết, tạo đường ống dữ liệu AWS, giải quyết các vấn đề và cuối cùng kích hoạt nó.

Phương pháp 2: Sử dụng dữ liệu HEVO để thiết lập tích hợp Amazon S3 MySQL

Dữ liệu Hevo, một đường ống dữ liệu tự động và NBSP; HEVO được quản lý đầy đủ và hoàn toàn tự động hóa quá trình không chỉ tải dữ liệu từ S3 mà còn làm phong phú dữ liệu và chuyển đổi nó thành một hình thức sẵn sàng phân tích mà không phải viết một dòng mã duy nhất. & NBSP; DataPipelineDefaultRole and DataPipelineDefaultResourceRole. 

Đường ống dữ liệu chịu lỗi của HEVO cung cấp một cách nhanh hơn để chuyển dữ liệu từ cơ sở dữ liệu hoặc các ứng dụng SaaS vào tài khoản MySQL của bạn. Tích hợp được xây dựng trước của Hevo với S3 cùng với & NBSP; hơn 100 nguồn dữ liệu khác & NBSP; (bao gồm hơn 40 nguồn dữ liệu miễn phí) sẽ phụ trách toàn bộ quy trình truyền dữ liệu, cho phép bạn tập trung vào các hoạt động kinh doanh chính chính

Hai phương pháp để thiết lập tích hợp Amazon S3 MySQL:

Người dùng có thể thiết lập tích hợp Amazon S3 MySQL bằng cách triển khai các bước sau:

Tích hợp S3 MySQL Bước 1: Tạo vai trò IAM cho đường ống dữ liệu AWS

Mỗi đường ống dữ liệu AWS nên có vai trò IAM được gán cho họ để xác định các quyền của mình để thực hiện các hành động cần thiết và kiểm soát quyền truy cập của nó vào tài nguyên AWS. Vai trò đường ống dữ liệu AWS xác định các quyền mà đường ống dữ liệu AWS nên có. Vai trò tài nguyên xác định các quyền mà các ứng dụng khác nhau chạy trên các tài nguyên đường ống, chẳng hạn như các phiên bản EC2, có. Bạn phải chỉ định các vai trò này khi bạn tạo đường ống dữ liệu AWS. Bạn cũng có thể chọn sử dụng các vai trò mặc định, tức là, datapipelinedefaultrole và datapipelinedefaultresourcerole. & Nbsp;

Trong trường hợp các vai trò mặc định được chọn, trước tiên bạn phải tạo các vai trò và đính kèm các chính sách quyền cho phù hợp.AWSDataPipeline_FullAccess policy can easily be attached to the required IAM Principals. This policy gives access to perform all actions to the IAM Principal, and the iam:PassRole action is set to perform the default roles used within AWS Data Pipeline when any custom roles are not specified. Also, read AWS MySQL article here.

Tải xuống Hướng dẫn cuối cùng về sao chép cơ sở dữ liệu

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": "iam:PassRole",
            "Effect": "Allow",
            "Resource": [
                "arn:aws:iam::*:role/MyPipelineRole",
                "arn:aws:iam::*:role/MyResourceRole"
            ]
        }
    ]
}

Tìm hiểu 3 cách để sao chép cơ sở dữ liệu và cái nào bạn nên thích.AWSDataPipeline_FullAccess policy to it:

• Tích hợp S3 MySQL Bước 2: Cho phép các hiệu trưởng IAM thực hiện các hành động cần thiết
• Để thiết lập đường ống dữ liệu AWS, hiệu trưởng IAM trong tài khoản AWS của bạn phải có quyền cần thiết để thực hiện tất cả các hành động mà đường ống dữ liệu AWS có thể được thực hiện.Groups, and select Create New Group.
• Chính sách AWSDATAPIPELINE_FULLACCESS có thể dễ dàng gắn vào các hiệu trưởng IAM cần thiết. Chính sách này cung cấp quyền truy cập để thực hiện tất cả các hành động cho Hiệu trưởng IAM và hành động IAM: Passrole được đặt để thực hiện các vai trò mặc định được sử dụng trong đường ống dữ liệu AWS khi bất kỳ vai trò tùy chỉnh nào không được chỉ định. Ngoài ra, đọc bài viết AWS MySQL ở đây.Group Name of your choice. For example, DataPipelineDevelopers, and then click Next Step.
• Ví dụ sau đây cho thấy câu lệnh chính sách được gắn vào hiệu trưởng IAM đang sử dụng đường ống dữ liệu AWS:Filter dropdown, select AWSDataPipeline_FullAccess.
• Các bước sau đây có thể được thực hiện để tạo nhóm người dùng và đính kèm chính sách AWSDATAPELINE_FULLACCESS vào nó:Next Step and then select Create Group.

Mở bảng điều khiển iam.

• Từ khung điều hướng bên trái, nhấp vào nhóm và chọn Tạo nhóm mới.
• Nhập tên nhóm bạn chọn. Ví dụ: DataPipelinedEvelopers, và sau đó nhấp vào bước tiếp theo.Group Actions, and select Add Users to Group.
• Từ thả xuống bộ lọc, chọn AWSDATAPIPELINE_FULLACCESS.Add Users to Group.

Nhấp vào bước tiếp theo và sau đó chọn Tạo nhóm.

Người dùng có thể được thêm vào nhóm bằng cách thực hiện các bước sau:

• Chọn nhóm bạn đã tạo từ danh sách các nhóm.
• Nhấp vào các hành động nhóm và chọn Thêm người dùng vào nhóm.
• Màn hình đầu tiên sẽ hiển thị sẽ phụ thuộc vào việc có đường ống dữ liệu AWS hiện có được liên kết với tài khoản của bạn trong khu vực đã chọn hay không. Nếu bạn đã tạo ra một đường ống dữ liệu AWS trong khu vực này, bảng điều khiển sẽ hiển thị màn hình giới thiệu. Nhấp vào Bắt đầu ngay bây giờ. Mặt khác, nếu bạn đã tạo một đường ống dữ liệu AWS trong khu vực đã chọn, bảng điều khiển sẽ hiển thị danh sách tất cả các đường ống dữ liệu AWS của bạn trong khu vực. Nhấp vào Tạo đường ống mới.Get Started Now. On the other hand, if you have already created an AWS Data Pipeline in the selected region, the console will display a list of all your AWS Data Pipelines in the region. Click on Create New Pipeline.
• Nhập tên phù hợp cho đường ống dữ liệu AWS của bạn cùng với một mô tả tùy chọn.
• Trong phần nguồn, chọn bản dựng bằng cách sử dụng mẫu và cuối cùng chọn bản sao đầy đủ của bảng RDS MySQL thành S3 làm mẫu.Source section, select Build Using a Template, and finally select Full copy of RDS MySQL table to S3 as the template.
• Trong phần tham số, thực hiện các bước sau:Parameters section, implement the following steps:
  • Nhập tên của phiên bản Aurora DB mà bạn muốn sao chép dữ liệu từ ID DBInstance.DBInstance ID.
  • Các chi tiết điểm cuối của thể hiện DB của bạn có thể được đặt bằng cách tham khảo Hướng dẫn sử dụng Amazon RDS.
  • Nhập tên người dùng đã được sử dụng trong khi tạo phiên bản cơ sở dữ liệu MySQL dưới dạng tên người dùng RDS MySQL.RDS MySQL Username.
  • Nhập mật khẩu được sử dụng trong khi tạo phiên bản DB làm mật khẩu RDS MySQL.RDS MySQL Password.
  • Nhập loại thể hiện của phiên bản EC2 của bạn dưới dạng loại thể hiện EC2.EC2 Instance Type.
  • Nhấp vào biểu tượng thư mục bên cạnh thư mục S3 đầu ra, chọn một trong các thư mục hoặc thùng của bạn, sau đó nhấp vào Chọn.Select.
• Chọn trên đường ống kích hoạt theo lịch trình.On Pipeline Activation under Schedule.
• Để lại ghi nhật ký được bật trong cấu hình đường ống. Nhấp vào biểu tượng thư mục bên cạnh vị trí S3 cho nhật ký, chọn một trong các thư mục của bạn, sau đó nhấp vào Chọn.Pipeline Configuration. Click on the folder icon next to S3 Location for Logs, select one of your folders of buckets, and then click on Select.
• Để lại các vai trò IAM được đặt thành mặc định theo bảo mật/truy cập.IAM Roles set to Default under Security/Access.

Tích hợp S3 MySQL Bước 4: Lưu và xác thực đường ống dữ liệu AWS

Đường ống dữ liệu AWS có thể được lưu bằng cách nhấp vào lưu đường ống. AWS Data Pipeline hiện sẽ xác thực định nghĩa đường ống của bạn và trả về cảnh báo, lỗi hoặc tin nhắn thành công phù hợp. Nếu bạn nhận được thông báo cảnh báo hoặc lỗi, hãy nhấp vào Đóng và chọn lỗi/cảnh báo từ ngăn điều hướng bên phải để xem danh sách các đối tượng không xác thực. Trong một thông báo lỗi cụ thể, hãy chuyển đến ngăn đối tượng cụ thể nơi bạn thấy lỗi và thực hiện các thay đổi cần thiết để sửa nó. Sau khi tất cả các cảnh báo và lỗi đã được xử lý, hãy nhấp vào lưu một lần nữa để xác thực đường ống và lặp lại quy trình tương tự cho đến khi bạn nhận được thông báo thành công.Save Pipeline. AWS Data Pipeline will now validate your pipeline definition and return a warning, error, or success message accordingly. If you get a warning or error message, click on Close, and choose Errors/Warnings from the right navigation pane to view a list of objects that failed validation. In a particular error message, go to the specific object pane where you see the error and make the necessary changes to fix it. After all warnings and errors have been dealt with, click on Save Pipeline again to validate the pipeline and repeat the same process until you get the success message.

Tích hợp S3 MySQL Bước 5: Kích hoạt đường ống dữ liệu AWS

Đường ống dữ liệu AWS có thể được kích hoạt bằng cách nhấp vào nút Kích hoạt và chọn Đóng trên hộp thoại bật lên.Activate button and selecting Close on the pop-up dialog box.

Hạn chế của việc sử dụng đường ống dữ liệu AWS để thiết lập tích hợp Amazon S3 MySQL

Các hạn chế của việc sử dụng đường ống dữ liệu AWS để thiết lập tích hợp Amazon S3 MySQL như sau:

• Thiết lập đường ống dữ liệu AWS cho Amazon S3 Integration là một quá trình rất phức tạp ngay cả đối với người có nền tảng kỹ thuật và có thể yêu cầu hỗ trợ các kiến ​​trúc sư AWS được đào tạo để tạo và duy trì đường ống.
• AWS bắt đầu tính phí cho bạn khi sử dụng đường ống dữ liệu AWS cho tích hợp MySQL Amazon S3 ngay khi bạn kích hoạt đường ống. Để ngừng phát sinh các khoản phí bổ sung, đường ống phải bị xóa. Điều này có nghĩa là đường ống phải được tạo lại mỗi khi truyền dữ liệu cần được thực hiện.
• Đường ống dữ liệu AWS không được quản lý đầy đủ, điều đó có nghĩa là bạn phải theo dõi đường ống và sửa bất kỳ lỗi nào có thể xảy ra.

Phương pháp 2: Sử dụng dữ liệu HEVO để thiết lập tích hợp Amazon S3 MySQL

Dữ liệu Hevo, một đường ống dữ liệu không mã hóa và nbsp; giúp bạn truyền trực tiếp dữ liệu từ & nbsp; Từ nguồn mong muốn của bạn nhưng cũng làm phong phú dữ liệu và chuyển đổi nó thành một hình thức sẵn sàng phân tích mà không phải viết một dòng mã duy nhất. Hevo chăm sóc tất cả các nhu cầu tiền xử lý dữ liệu của bạn để thiết lập các tích hợp Amazon S3 MySQL và cho phép bạn tập trung vào các hoạt động kinh doanh chínhS3 to MySQL in a completely hassle-free & automated manner. Hevo is fully managed and completely automates the process of not only loading data from your desired source but also enriching the data and transforming it into an analysis-ready form without having to write a single line of code. Hevo takes care of all your data preprocessing needs required to set up Amazon S3 MySQL Integrations and lets you focus on key business activities

Hevo cũng cho phép bạn tải dữ liệu từ các tệp trong thùng & nbsp; S3 & nbsp; vào cơ sở dữ liệu đích hoặc kho dữ liệu của bạn một cách liền mạch. Hơn nữa, S3 lưu trữ các tệp của mình sau khi nén chúng vào định dạng A & NBSP; GZIP & NBSP; Đường ống dữ liệu của Hevo, tự động giải nén bất kỳ tệp & nbsp; gzipped & nbsp; khi uống và cũng thực hiện việc tái hiện tệp trong trường hợp có bất kỳ cập nhật dữ liệu nào. Nó cung cấp một giải pháp nhất quán và đáng tin cậy để quản lý dữ liệu trong thời gian thực và luôn có dữ liệu sẵn sàng phân tích trong điểm đến mong muốn của bạn. & NBSP;S3 bucket into your Destination database or Data Warehouse seamlessly. Moreover, S3 stores its files after compressing them into a Gzip format. Hevo’s Data pipeline automatically unzips any Gzipped files on ingestion and also performs file re-ingestion in case there is any data update. It provides a consistent & reliable solution to manage data in real-time and always have analysis-ready data in your desired destination. 

Các bước sau đây có thể được thực hiện để thiết lập tích hợp Amazon S3 MySQL bằng HEVO:Amazon S3 MySQL Integration using Hevo:

• Bước 1) Định cấu hình Nguồn: Kết nối dữ liệu HEVO với Amazon S3 bằng cách cung cấp một tên duy nhất cho điểm đến của bạn cùng với thông tin về nhóm Amazon S3 của bạn, tên, khu vực, ID khóa truy cập AWS của bạn, khóa truy cập bí mật và định dạng tệp trong đó Bạn muốn viết dữ liệu của bạn. Bạn có thể chọn JSON hoặc ORC. Configure Source: Connect Hevo Data with Amazon S3 by providing a unique name for your destination along with information about your Amazon S3 bucket, its name, region, your AWS Access Key ID, Secret Access Key, and the file format in which you want to write your data. You can either choose JSON or ORC.

• Bước 2) Định cấu hình: Tải dữ liệu từ Amazon S3 vào MySQL bằng cách cung cấp thông tin xác thực cơ sở dữ liệu MySQL của bạn như tên người dùng và mật khẩu được ủy quyền của bạn, cùng với thông tin về giá trị IP và số cổng máy chủ của bạn. Bạn cũng sẽ cần cung cấp một tên cho cơ sở dữ liệu của bạn và một tên duy nhất cho điểm đến này. Destination: Load data from Amazon S3 to MySQL by providing your MySQL database credentials such as your authorized username and password, along with information about your host IP and port number value. You will also need to provide a name for your database and a unique name for this destination.

Bước 2) Định cấu hình: Tải dữ liệu từ Amazon S3 vào MySQL bằng cách cung cấp thông tin xác thực cơ sở dữ liệu MySQL của bạn như tên người dùng và mật khẩu được ủy quyền của bạn, cùng với thông tin về giá trị IP và số cổng máy chủ của bạn. Bạn cũng sẽ cần cung cấp một tên cho cơ sở dữ liệu của bạn và một tên duy nhất cho điểm đến này.

• Kiểm tra điều gì làm cho Hevo tuyệt vời:: Hevo has a fault-tolerant architecture that ensures that the data is handled in a secure, consistent manner with zero data loss.
• An toàn: HEVO có kiến ​​trúc chịu lỗi, đảm bảo rằng dữ liệu được xử lý một cách an toàn, nhất quán với mất dữ liệu bằng không.: Hevo takes away the tedious task of schema management & automatically detects the schema of incoming data from S3 buckets and maps it to the destination schema.
• Ánh xạ lược đồ tự động: Hevo lấy đi nhiệm vụ tẻ nhạt của quản lý lược đồ & tự động phát hiện lược đồ của dữ liệu đến từ & nbsp; s3 xô & nbsp; và ánh xạ nó đến lược đồ đích.: Hevo with its automated features, can be set up in minimal time. Moreover, with its simple and interactive UI, it is extremely easy for new customers to work on and perform operations.
• Thiết lập nhanh: Hevo với các tính năng tự động, có thể được thiết lập trong thời gian tối thiểu. Hơn nữa, với giao diện người dùng đơn giản và tương tác, khách hàng mới rất dễ dàng làm việc và thực hiện các hoạt động.: Hevo provides preload transformations through Python code. It also allows you to run transformation code for each event in the Data Pipelines you set up. You need to edit the event object’s properties received in the transform method as a parameter to carry out the transformation. Hevo also offers drag and drop transformations like Date and Control Functions, JSON, and Event Manipulation to name a few. These can be configured and tested before putting them to use for aggregation.
• Biến đổi: Hevo cung cấp các phép biến đổi trước thông qua mã Python. Nó cũng cho phép bạn chạy mã chuyển đổi cho mỗi sự kiện trong các đường ống dữ liệu bạn đã thiết lập. Bạn cần chỉnh sửa các thuộc tính của đối tượng sự kiện nhận được trong phương thức biến đổi dưới dạng tham số để thực hiện chuyển đổi. Hevo cũng cung cấp các phép biến đổi kéo và thả như các chức năng ngày và kiểm soát, JSON và thao tác sự kiện để đặt tên cho một số. Chúng có thể được cấu hình và kiểm tra trước khi đưa chúng vào sử dụng để tổng hợp.: As the number of sources and the volume of your data grows, Hevo scales horizontally, handling millions of records per minute with very little latency.
• HEVO được xây dựng theo tỷ lệ: Khi số lượng nguồn và khối lượng dữ liệu của bạn tăng lên, Hevo tỷ lệ theo chiều ngang, xử lý hàng triệu hồ sơ mỗi phút với độ trễ rất ít.: Hevo allows the transfer of data that has been modified in real-time. This ensures efficient utilization of bandwidth on both ends.
• Tải dữ liệu gia tăng: HEVO cho phép chuyển dữ liệu đã được sửa đổi trong thời gian thực. Điều này đảm bảo sử dụng hiệu quả băng thông ở cả hai đầu.: The Hevo team is available round the clock to extend exceptional support to its customers through chat, email, and support calls.

Hỗ trợ trực tiếp: Nhóm HEVO có sẵn vòng quanh để mở rộng hỗ trợ đặc biệt cho khách hàng của mình thông qua trò chuyện, email và các cuộc gọi hỗ trợ.

Với chuyển động dữ liệu thời gian thực liên tục, HEVO cho phép bạn kết hợp dữ liệu S3 cùng với các nguồn dữ liệu khác của bạn và tải nó đến MySQL với giao diện không có mã, dễ đặt. Hãy thử dùng thử miễn phí truy cập toàn diện 14 ngày của chúng tôi!

Bắt đầu với Hevo miễn phí

Sự kết luận

Bài viết này cung cấp cho bạn một hướng dẫn từng bước về cách bạn có thể thiết lập tích hợp Amazon S3 MySQL bằng cách sử dụng đường ống dữ liệu AWS hoặc sử dụng HEVO. Tuy nhiên, có những hạn chế nhất định liên quan đến đường ống dữ liệu AWS. Bạn sẽ cần phải thực hiện nó theo cách thủ công, sẽ tiêu thụ thời gian & tài nguyên của bạn và dễ bị lỗi. Hơn nữa, bạn cần có kiến ​​thức làm việc đầy đủ về môi trường AWS để thực hiện thành công đường ống dữ liệu AWS. Bạn cũng sẽ phải thường xuyên ánh xạ dữ liệu S3 mới đến MySQL vì đường ống AWS không được quản lý đầy đủ. (including 40+ free sources) and can seamlessly transfer your data from S3 to MySQL within minutes. Hevo’s Data Pipeline enriches your data and manages the transfer process in a fully automated and secure manner without having to write any code. It will make your life easier and make data migration hassle-free.

Dữ liệu HEVO cung cấp một đường ống dữ liệu không có mã tự động, giúp bạn vượt qua các hạn chế đã đề cập ở trên. HEVO phục vụ hơn 100 nguồn dữ liệu (bao gồm hơn 40 nguồn miễn phí) và có thể chuyển liền mạch dữ liệu của bạn từ S3 sang MySQL trong vòng vài phút. Đường ống dữ liệu của Hevo, làm phong phú dữ liệu của bạn và quản lý quá trình chuyển một cách hoàn toàn tự động và an toàn mà không phải viết bất kỳ mã nào. Nó sẽ làm cho cuộc sống của bạn dễ dàng hơn và làm cho di chuyển dữ liệu không gặp rắc rối.

Tìm hiểu thêm về Hevo

Bạn muốn đưa Hevo cho một vòng quay? Đăng ký dùng thử miễn phí 14 ngày và trải nghiệm Firsthand của bộ Hevo giàu tính năng.S3 to MySQL in the comments below!

Làm cách nào để kết nối với cơ sở dữ liệu AWS MySQL tại Workbench?

Làm cách nào để kết nối với cơ sở dữ liệu bên ngoài trong MySQL Workbench?

Amazon S3 có thể được sử dụng làm cơ sở dữ liệu không?

Làm cách nào để chuyển dữ liệu từ S3 sang RDS?