本技術(shù)實(shí)施例涉及互聯(lián)網(wǎng),尤其涉及一種數(shù)據(jù)核對(duì)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。
背景技術(shù):
1、隨著互聯(lián)網(wǎng)發(fā)展,軟件架構(gòu)從單體架構(gòu)到分布式架構(gòu)升級(jí)。如購(gòu)物軟件將后臺(tái)服務(wù)拆分成諸如支付、訂單、商品、店鋪、營(yíng)銷、供應(yīng)鏈等獨(dú)立服務(wù)并集群部署;運(yùn)行商將服務(wù)拆分成管理臺(tái)服務(wù)和遍布全國(guó)池子的網(wǎng)元服務(wù),管理臺(tái)和池子內(nèi)服務(wù)格子分布式集群部署。
2、分布式架構(gòu)中各業(yè)務(wù)獨(dú)立技術(shù)演進(jìn);平臺(tái)整體可以承載更大的流量;管理上團(tuán)隊(duì)邊界更加清晰。但是也帶來(lái)了分布式事務(wù)數(shù)據(jù)一致性,需要及時(shí)進(jìn)行數(shù)據(jù)核對(duì)。
3、相關(guān)技術(shù)中,通過(guò)將核對(duì)邏輯編寫為核對(duì)腳本,利用定時(shí)任務(wù)或者變更日志文件(binlog)構(gòu)建消息觸發(fā)核對(duì)腳本執(zhí)行。
4、然而,腳本開(kāi)發(fā),難度較大,且實(shí)現(xiàn)邏輯無(wú)法控制,存在數(shù)據(jù)安全風(fēng)險(xiǎn)。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)實(shí)施例提供了一種數(shù)據(jù)核對(duì)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì),用以高效、安全地進(jìn)行數(shù)據(jù)核對(duì)。
2、第一方面,本技術(shù)實(shí)施例提供了第一種數(shù)據(jù)核對(duì)方法,該方法包括:
3、基于核對(duì)表的錄入信息,確定標(biāo)準(zhǔn)化核對(duì)數(shù)據(jù);其中,所述核對(duì)表包括多個(gè)選擇框,所述選擇框中的選項(xiàng)是在對(duì)待核對(duì)數(shù)據(jù)源進(jìn)行結(jié)構(gòu)化處理后生成的;所述錄入信息包含目標(biāo)數(shù)據(jù)標(biāo)識(shí)以及目標(biāo)核對(duì)條件;
4、基于所述標(biāo)準(zhǔn)化核對(duì)數(shù)據(jù),填充數(shù)據(jù)庫(kù)核對(duì)模板,得到目標(biāo)核對(duì)信息;
5、基于所述目標(biāo)核對(duì)信息,對(duì)所述目標(biāo)數(shù)據(jù)標(biāo)識(shí)對(duì)應(yīng)的待核對(duì)數(shù)據(jù)源進(jìn)行核對(duì)。
6、一些可選的實(shí)施方式中,基于核對(duì)表的錄入信息,確定標(biāo)準(zhǔn)化核對(duì)數(shù)據(jù)之前,還包括:
7、對(duì)各待核對(duì)數(shù)據(jù)源進(jìn)行結(jié)構(gòu)化處理,生成各待核對(duì)數(shù)據(jù)源對(duì)應(yīng)的標(biāo)識(shí)以及接入表;其中,所述接入表包含多個(gè)字段以及各字段對(duì)應(yīng)的參數(shù);
8、顯示包含第一數(shù)量的標(biāo)識(shí)選擇框以及第二數(shù)量的核對(duì)條件選擇框的核對(duì)表;其中,任一標(biāo)識(shí)選擇框的選項(xiàng)包括部分或全部待核對(duì)數(shù)據(jù)源對(duì)應(yīng)的標(biāo)識(shí);任一核對(duì)條件選擇框包括第一字段選擇框、運(yùn)算符選擇框以及目標(biāo)選擇框;所述目標(biāo)選擇框?yàn)榈诙侄芜x擇框或者輸入框;所述第一字段選擇框以及所述第二字段選擇框的選項(xiàng)包括所述接入表中的字段;所述運(yùn)算符選擇框的選項(xiàng)包括多個(gè)預(yù)設(shè)運(yùn)算符;
9、響應(yīng)于針對(duì)所述標(biāo)識(shí)選擇框的選擇指令確定所述目標(biāo)數(shù)據(jù)標(biāo)識(shí);以及,響應(yīng)于針對(duì)所述核對(duì)條件選擇框的選擇指令,確定所述目標(biāo)核對(duì)條件。
10、一些可選的實(shí)施方式中,部分或全部核對(duì)條件選擇框還包括聚合函數(shù)選擇框;所述聚合函數(shù)選擇框的選項(xiàng)包括多個(gè)預(yù)設(shè)聚合函數(shù)。
11、一些可選的實(shí)施方式中,基于核對(duì)表的錄入信息,確定標(biāo)準(zhǔn)化核對(duì)數(shù)據(jù),包括:
12、基于所述目標(biāo)數(shù)據(jù)標(biāo)識(shí)生成所述標(biāo)準(zhǔn)化核對(duì)數(shù)據(jù)中的表格塊;以及,基于所述目標(biāo)數(shù)據(jù)標(biāo)識(shí)和所述目標(biāo)核對(duì)條件生成所述標(biāo)準(zhǔn)化核對(duì)數(shù)據(jù)中的查詢塊。
13、一些可選的實(shí)施方式中,基于所述標(biāo)準(zhǔn)化核對(duì)數(shù)據(jù),填充數(shù)據(jù)庫(kù)核對(duì)模板,得到目標(biāo)核對(duì)信息,包括:
14、基于所述標(biāo)準(zhǔn)化核對(duì)數(shù)據(jù)以及所述目標(biāo)數(shù)據(jù)標(biāo)識(shí)對(duì)應(yīng)的接入表,確定數(shù)據(jù)庫(kù)核對(duì)模板的目標(biāo)填充參數(shù);
15、基于所述目標(biāo)填充參數(shù)填充所述數(shù)據(jù)庫(kù)核對(duì)模板,得到所述目標(biāo)核對(duì)信息。
16、一些可選的實(shí)施方式中,若所述標(biāo)準(zhǔn)化核對(duì)數(shù)據(jù)中有通過(guò)輸入框輸入的參數(shù),則確定數(shù)據(jù)庫(kù)核對(duì)模板的目標(biāo)填充參數(shù)之前,還包括:
17、對(duì)所述通過(guò)輸入框輸入的參數(shù)進(jìn)行防注入處理。
18、一些可選的實(shí)施方式中,基于所述目標(biāo)核對(duì)信息,對(duì)所述目標(biāo)數(shù)據(jù)標(biāo)識(shí)對(duì)應(yīng)的待核對(duì)數(shù)據(jù)源進(jìn)行核對(duì)之后,還包括:
19、若對(duì)所述待核對(duì)數(shù)據(jù)源中的字段核對(duì)失敗,則通過(guò)預(yù)設(shè)通知方式進(jìn)行通知。
20、第二方面,本技術(shù)實(shí)施例提供了第一種數(shù)據(jù)核對(duì)裝置,該裝置包括:
21、轉(zhuǎn)化模塊,用于基于核對(duì)表的錄入信息,確定標(biāo)準(zhǔn)化核對(duì)數(shù)據(jù);其中,所述核對(duì)表包括多個(gè)選擇框,所述選擇框中的選項(xiàng)是在對(duì)待核對(duì)數(shù)據(jù)源進(jìn)行結(jié)構(gòu)化處理后生成的;所述錄入信息包含目標(biāo)數(shù)據(jù)標(biāo)識(shí)以及目標(biāo)核對(duì)條件;
22、所述轉(zhuǎn)化模塊,還用于基于所述標(biāo)準(zhǔn)化核對(duì)數(shù)據(jù),填充數(shù)據(jù)庫(kù)核對(duì)模板,得到目標(biāo)核對(duì)信息;
23、核對(duì)模塊,用于基于所述目標(biāo)核對(duì)信息,對(duì)所述目標(biāo)數(shù)據(jù)標(biāo)識(shí)對(duì)應(yīng)的待核對(duì)數(shù)據(jù)源進(jìn)行核對(duì)。
24、一些可選的實(shí)施方式中,還包括結(jié)構(gòu)化模塊,用于:
25、對(duì)各待核對(duì)數(shù)據(jù)源進(jìn)行結(jié)構(gòu)化處理,生成各待核對(duì)數(shù)據(jù)源對(duì)應(yīng)的標(biāo)識(shí)以及接入表;其中,所述接入表包含多個(gè)字段以及各字段對(duì)應(yīng)的參數(shù);
26、表格設(shè)置模塊,用于:
27、顯示包含第一數(shù)量的標(biāo)識(shí)選擇框以及第二數(shù)量的核對(duì)條件選擇框的核對(duì)表;其中,任一標(biāo)識(shí)選擇框的選項(xiàng)包括部分或全部待核對(duì)數(shù)據(jù)源對(duì)應(yīng)的標(biāo)識(shí);任一核對(duì)條件選擇框包括第一字段選擇框、運(yùn)算符選擇框以及目標(biāo)選擇框;所述目標(biāo)選擇框?yàn)榈诙侄芜x擇框或者輸入框;所述第一字段選擇框以及所述第二字段選擇框的選項(xiàng)包括所述接入表中的字段;所述運(yùn)算符選擇框的選項(xiàng)包括多個(gè)預(yù)設(shè)運(yùn)算符;
28、響應(yīng)于針對(duì)所述標(biāo)識(shí)選擇框的選擇指令確定所述目標(biāo)數(shù)據(jù)標(biāo)識(shí);以及,響應(yīng)于針對(duì)所述核對(duì)條件選擇框的選擇指令,確定所述目標(biāo)核對(duì)條件。
29、一些可選的實(shí)施方式中,部分或全部核對(duì)條件選擇框還包括聚合函數(shù)選擇框;所述聚合函數(shù)選擇框的選項(xiàng)包括多個(gè)預(yù)設(shè)聚合函數(shù)。
30、一些可選的實(shí)施方式中,轉(zhuǎn)化模塊,具體用于:
31、基于所述目標(biāo)數(shù)據(jù)標(biāo)識(shí)生成所述標(biāo)準(zhǔn)化核對(duì)數(shù)據(jù)中的表格塊;以及,基于所述目標(biāo)數(shù)據(jù)標(biāo)識(shí)和所述目標(biāo)核對(duì)條件生成所述標(biāo)準(zhǔn)化核對(duì)數(shù)據(jù)中的查詢塊。
32、一些可選的實(shí)施方式中,轉(zhuǎn)化模塊,具體用于:
33、基于所述標(biāo)準(zhǔn)化核對(duì)數(shù)據(jù)以及所述目標(biāo)數(shù)據(jù)標(biāo)識(shí)對(duì)應(yīng)的接入表,確定數(shù)據(jù)庫(kù)核對(duì)模板的目標(biāo)填充參數(shù);
34、基于所述目標(biāo)填充參數(shù)填充所述數(shù)據(jù)庫(kù)核對(duì)模板,得到所述目標(biāo)核對(duì)信息。
35、一些可選的實(shí)施方式中,若所述標(biāo)準(zhǔn)化核對(duì)數(shù)據(jù)中有通過(guò)輸入框輸入的參數(shù),則確定數(shù)據(jù)庫(kù)核對(duì)模板的目標(biāo)填充參數(shù)之前,轉(zhuǎn)化模塊,還用于:
36、對(duì)所述通過(guò)輸入框輸入的參數(shù)進(jìn)行防注入處理。
37、一些可選的實(shí)施方式中,基于所述目標(biāo)核對(duì)信息,對(duì)所述目標(biāo)數(shù)據(jù)標(biāo)識(shí)對(duì)應(yīng)的待核對(duì)數(shù)據(jù)源進(jìn)行核對(duì)之后,核對(duì)模塊,還用于:
38、若對(duì)所述待核對(duì)數(shù)據(jù)源中的字段核對(duì)失敗,則通過(guò)預(yù)設(shè)通知方式進(jìn)行通知。
39、第三方面,本技術(shù)實(shí)施例提供一種電子設(shè)備,包括至少一個(gè)處理器以及至少一個(gè)存儲(chǔ)器,其中,所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序,當(dāng)所述程序被所述處理器執(zhí)行時(shí),使得所述處理器執(zhí)行上述第一方面任一所述的數(shù)據(jù)核對(duì)方法。
40、第四方面,本技術(shù)實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其存儲(chǔ)有可由處理器執(zhí)行的計(jì)算機(jī)程序,當(dāng)所述程序在所述處理器上運(yùn)行時(shí),使得所述處理器執(zhí)行上述第一方面任一所述的數(shù)據(jù)核對(duì)方法。
41、本實(shí)施例,通過(guò)對(duì)待核對(duì)數(shù)據(jù)源進(jìn)行結(jié)構(gòu)化處理后生成核對(duì)表,只需進(jìn)行表格信息錄入,基于核對(duì)表的錄入信息,生成機(jī)器可識(shí)別的標(biāo)準(zhǔn)化核對(duì)數(shù)據(jù)(邏輯語(yǔ)言);進(jìn)而基于標(biāo)準(zhǔn)化核對(duì)數(shù)據(jù),生成最終核對(duì)所需的目標(biāo)核對(duì)信息,對(duì)待核對(duì)數(shù)據(jù)源進(jìn)行核對(duì)。無(wú)需復(fù)雜的代碼或者腳本開(kāi)發(fā),減小核對(duì)難度,提高了核對(duì)效率;另外,通過(guò)設(shè)計(jì)核對(duì)表的選項(xiàng),限制可配置的核對(duì)邏輯,從而消除或者降低核對(duì)邏輯不可控、訪問(wèn)數(shù)據(jù)不可控帶來(lái)的風(fēng)險(xiǎn),從而高效、安全地進(jìn)行數(shù)據(jù)核對(duì)。