Hướng dẫn convert spark dataframe to html table - chuyển đổi khung dữ liệu tia lửa sang bảng html

fetch_sql = "Chọn * từ bệnh viện_db.patient_report"="select * from hospital_db.patient_report"

diagnosis_res_df=spark.sql(fetch_sql)=spark.sql(fetch_sql)

diagnosis_res_df.show().show()

diagnosis_res_df.createOrReplaceTempTable("diagnosis_temp_table").createOrReplaceTempTable("diagnosis_temp_table")

Hàng tháng_rpt = Spark.sql ("Chọn * từ Chẩn đoán_temp_table trong đó Chẩn đoán_DT giữa '2022-03-01' và '2022-03-31' và Blood_sugar_level_in_mg_dl> = 200").=spark.sql("select * from diagnosis_temp_table where Diagnosis_dt between '2022-03-01' and '2022-03-31' and Blood_Sugar_level_in_mg_dL >=200").collect()

print(monthly_rpt)(monthly_rpt)

Forrow Inmonthly_rpt:row inmonthly_rpt:

    patient_id=str(row["patient_id"])patient_id=str(row["patient_id"])

    patient_name=str(row["patient_name"])patient_name =str(row["patient_name"])

    blood_sugar=str(row["blood_sugar_level_in_mg_dl"])blood_sugar=str(row["blood_sugar_level_in_mg_dl"])

    diagnosis_dt=str(row["diagnosis_dt"])diagnosis_dt= str(row["diagnosis_dt"])

body = "Bảng {font-family: Arial, sans-serif; biên giới sụp đổ: sụp đổ; chiều rộng: 100%;} td, th {biên giới: 1pxsolid#dddddd; nth-child (chẵn) {màu nền: #dddddd;} "=""

strTable="Patient_idPatient_NameBlood_Sugar_level_in_mg_dLDiagnosis_dt"="

strTable=body+strTable=body+strTable

Forrow Inmonthly_rpt:row inmonthly_rpt:

                patient_id=str(row["patient_id"])patient_id=str(row["patient_id"])

                patient_name=str(row["patient_name"])patient_name= str(row["patient_name"])

                blood_sugar=str(row["blood_sugar_level_in_mg_dl"])blood_sugar=str(row["blood_sugar_level_in_mg_dl"])

                diagnosis_dt=str(row["diagnosis_dt"])diagnosis_dt =str(row["diagnosis_dt"])

                strRW=""+patient_id+""+patient_name+""+blood_sugar+""+diagnosis_dt+""+""strRW="

                strTable=strTable+strRWstrTable =strTable+strRW

strTable=strTable+""=strTable+"

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

Chủ đề = "Báo cáo bệnh tiểu đường vào tháng 3 năm 2022"="Diabetes Report in March,2022"

# Tạo thông báo gốc và điền vào các tiêu đề từ, đến, CC và chủ đề

msgRoot=MIMEMultipart('related')=MIMEMultipart('related')

msgRoot['Subject']=subject['Subject']= subject

msgRoot['From']=fromAddr['From']=fromAddr

msgRoot['To']=recipients['To']=recipients

msgRoot['Cc']=cc['Cc']=cc

#Loại Mimetext như HTML

msgText=MIMEText(strTable,'html') =MIMEText(strTable,'html')

#Attach cơ thể của tin nhắn dưới dạng bảng HTML

msgRoot.attach(msgText).attach(msgText)

smtp=SMTP()=SMTP()

smtp.connect('mx.bstn.mxc.com',25).connect('mx.bstn.mxc.com', 25)

smtp.sendmail(fromAddr,recipients.split(','),msgRoot.as_string()).sendmail(fromAddr,recipients.split(','),msgRoot.as_string())

smtp.quit().quit()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

từ pyspark.sql Nhập Sparksessionpyspark.sql import SparkSession

từ email.mime.multipart Nhập Mimemultipartemail.mime.multipart import MIMEMultipart

từ email.mime.text Nhập Mimetextemail.mime.text import MIMEText

từ Smtplib nhập smtpsmtplib import SMTP

def notifyinemail (Chẩn đoán_res_df):NotifyInEmail(diagnosis_res_df):

        diagnosis_res_df.createOrReplaceTempView("diagnosis_temp_table")diagnosis_res_df.createOrReplaceTempView("diagnosis_temp_table")

& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; ")monthly_rpt= spark.sql("select * from diagnosis_temp_table where Diagnosis_dt between '2022-03-01' and '2022-03-31' and Blood_Sugar_level_in_mg_dL >=200")

                        .collect().collect()

        print(monthly_rpt)print(monthly_rpt)

& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;subject="Diabetes Report in March,2022"

& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;#Create body of the email message

& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; #dddddd; text-align: trái; padding: 8px;} tr: nth-child (chẵn) {nền màu: #ddddddbody=""

& nbsp; & nbsp; & nbsp; & nbsp;footer="

**This is an auto generated mail

"

        strTable="Patient_idPatient_NameBlood_Sugar_level_in_mg_dLDiagnosis_dt"strTable="

        strTable=body+strTablestrTable= body+strTable

& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;#Create dynamic HTML table with data

& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;forrow inmonthly_rpt:

                patient_id=str(row["patient_id"])patient_id =str(row["patient_id"])

                patient_name=str(row["patient_name"])patient_name=str(row["patient_name"])

                blood_sugar=str(row["blood_sugar_level_in_mg_dl"])blood_sugar =str(row["blood_sugar_level_in_mg_dl"])

                diagnosis_dt=str(row["diagnosis_dt"])diagnosis_dt=str(row["diagnosis_dt"])

                strRW=""+patient_id+""+patient_name+""+blood_sugar+""+diagnosis_dt+""+""strRW ="

                strTable=strTable+strRWstrTable=strTable+strRW

        strTable=strTable+""strTable= strTable+"

& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;#print HTML table

        print(strTable)print(strTable)

& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;# Create the root message and fill in the from,to,cc and subject

        msgRoot=MIMEMultipart('related')msgRoot =MIMEMultipart('related')

        msgRoot['Subject']=subjectmsgRoot['Subject']=subject

        msgRoot['From']=fromAddrmsgRoot['From']= fromAddr

        msgRoot['To']=recipientsmsgRoot['To']=recipients

        msgRoot['Cc']=ccmsgRoot['Cc']=cc

& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;#Set type of MIMEText as HTML

        msgText=MIMEText(strTable,'html')msgText=MIMEText(strTable,'html')

& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;#Attach body of the message as HTML table

        msgRoot.attach(msgText)msgRoot.attach(msgText)

& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;#Create SMTP object to send email

        smtp=SMTP()smtp=SMTP()

& nbsp;#Connect specific mail server with the input of server address and its port

        smtp.connect('mx.bstn.mxc.com',25)smtp.connect('mx.bstn.mxc.com', 25)

& nbsp; & nbsp; & nbsp; & nbsp;#Send email

        smtp.sendmail(fromAddr,recipients.split(','),msgRoot.as_string())smtp.sendmail(fromAddr,recipients.split(','), msgRoot.as_string())

        smtp.quit()smtp.quit()

& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;print("Blood Sugar Report has been sent to Doctor successfully")

Chức năng #Custom để truy cập bảng Hive

def fetchhivetable ():FetchHiveTable():

& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;fetch_sql="select * from hospital_db.patient_report"

        diagnosis_res_df=spark.sql(fetch_sql)diagnosis_res_df=spark.sql(fetch_sql)

        diagnosis_res_df.show()diagnosis_res_df.show()

& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;#Call next custom function NotifyInEmail() to prepare HTML table and send email

        NotifyInEmail(diagnosis_res_df)NotifyInEmail(diagnosis_res_df)

Chương trình #Main bắt đầu ở đây

if__name__=="__main__":__name__=="__main__":

        appname="Blood_Sugar_Diagnosis_Results"appname="Blood_Sugar_Diagnosis_Results"

& nbsp; & nbsp; & nbsp; & nbsp;#Creating Spark Session

        spark=SparkSession.builder.appName(appname).enableHiveSupport().getOrCreate()spark =SparkSession.builder.appName(appname).enableHiveSupport().getOrCreate()

& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;print("Spark application name: "+ appname)

& nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp;#Call custom function FetchHiveTable() to generate and send blood sugar report

        FetchHiveTable()FetchHiveTable()

        spark.stop()spark.stop()

        exit(0)exit(0)

#!/bin/bash

Echo "Thông tin: Đặt các biến toàn cầu""Info: Setting global variables"

Xuất Spark_major_version = 2SPARK_MAJOR_VERSION=2

Xuất Spark_Home =/usr/HDP/2.6.5.0-292/Spark2SPARK_HOME=/usr/hdp/2.6.5.0-292/spark2

Xuất đường dẫn = $ Spark_home/bin: $ PathPATH=$SPARK_HOME/bin:$PATH

spark-submit/x/home/user_alex/test/send_blood_sugar_report.py-submit/x/home/user_alex/test/send_blood_sugar_report.py