一、用java向MySQL中的表插入1億條數(shù)據(jù)的方法
1、使用MySQL的存儲(chǔ)過(guò)程
MySQL中的存儲(chǔ)過(guò)程是一組預(yù)定義好的SQL語(yǔ)句,可以像函數(shù)一樣進(jìn)行調(diào)用。使用存儲(chǔ)過(guò)程可以將數(shù)據(jù)的插入操作從Java程序中移動(dòng)到MySQL服務(wù)器上執(zhí)行,從而提高了效率。
創(chuàng)建存儲(chǔ)過(guò)程的SQL語(yǔ)句如下:
CREATE PROCEDURE insert_data(IN count INT)BEGIN DECLARE i INT DEFAULT 0; WHILE i < count DO INSERT INTO table_name (column1, column2, …) VALUES (value1, value2, …); SET i = i + 1; END WHILE;END
其中,count為插入的總記錄數(shù)目,table_name為要插入數(shù)據(jù)的表名,column1、column2等為列名,value1、value2等為對(duì)應(yīng)列的值。該存儲(chǔ)過(guò)程使用while循環(huán)語(yǔ)句將數(shù)據(jù)插入到指定的表中。
調(diào)用存儲(chǔ)過(guò)程的代碼如下:
CallableStatement cstmt = conn.prepareCall("{call insert_data(?)}");
cstmt.setInt(1, 100000000);
cstmt.execute();
使用CallableStatement接口調(diào)用存儲(chǔ)過(guò)程,并通過(guò)setInt方法設(shè)置參數(shù)count的值。最后,通過(guò)execute()方法執(zhí)行存儲(chǔ)過(guò)程插入數(shù)據(jù)。
2、使用LOAD DATA INFILE
LOAD DATA INFILE是MySQL中用于導(dǎo)入數(shù)據(jù)的命令。使用該命令可以將數(shù)據(jù)文件快速地導(dǎo)入到MySQL數(shù)據(jù)庫(kù)中,比直接使用INSERT語(yǔ)句插入數(shù)據(jù)更有效率。
使用LOAD DATA INFILE的SQL語(yǔ)句如下:
LOAD DATA INFILE 'file_path' INTO TABLE table_name
FIELDS TERMINATED BY ',' (column1, column2, …);
其中,file_path為數(shù)據(jù)文件的路徑,table_name為要插入數(shù)據(jù)的表名,column1、column2等為列名。該命令可以使用FIELDS TERMINATED BY指定字段分隔符。
在Java程序中,可以使用Statement接口的executeUpdate方法執(zhí)行LOAD DATA INFILE命令,如下所示:
Statement stmt = conn.createStatement();stmt.executeUpdate("LOAD DATA INFILE 'file_path' INTO TABLE table_name " + "FIELDS TERMINATED BY ',' (column1, column2, …)");
3、使用Java的JDBC調(diào)用addBatch()和executeBatch()方法
JDBC是Java Database Connectivity的縮寫,它是Java程序和數(shù)據(jù)庫(kù)之間的連接橋梁。使用JDBC可以通過(guò)Java程序直接訪問(wèn)數(shù)據(jù)庫(kù),并進(jìn)行數(shù)據(jù)的增刪改查等操作。
使用Java的JDBC,可以通過(guò)PreparedStatement接口的addBatch()方法批量插入數(shù)據(jù),并使用executeBatch()方法將多個(gè)SQL語(yǔ)句一次性提交給數(shù)據(jù)庫(kù)執(zhí)行。
插入數(shù)據(jù)的代碼如下:
String sql = "INSERT INTO table_name (column1, column2, …) VALUES (?, ?, …)";PreparedStatement pstmt = conn.prepareStatement(sql);for (int i = 0; i < 100000000; i++) { pstmt.setInt(1, value1); pstmt.setString(2, value2); … pstmt.addBatch(); if (i % 1000 == 0) { pstmt.executeBatch(); }}pstmt.executeBatch();
其中,sql為要執(zhí)行的SQL語(yǔ)句,column1、column2等為列名,value1、value2等為對(duì)應(yīng)列的值。使用PreparedStatement接口的setXXX()方法設(shè)置SQL語(yǔ)句的參數(shù)值。通過(guò)for循環(huán)批量添加數(shù)據(jù),并在每1000條數(shù)據(jù)后調(diào)用executeBatch()方法提交一次數(shù)據(jù)。最后,通過(guò)執(zhí)行pstmt.executeBatch()方法提交剩余的數(shù)據(jù)。
二、MySQL插入數(shù)據(jù)
MySQL 表中使用 INSERT INTO SQL語(yǔ)句來(lái)插入數(shù)據(jù)。你可以通過(guò) mysql> 命令提示窗口中向數(shù)據(jù)表中插入數(shù)據(jù),或者通過(guò)PHP腳本來(lái)插入數(shù)據(jù)。
1、語(yǔ)法
以下為向MySQL數(shù)據(jù)表插入數(shù)據(jù)通用的?INSERT INTO?SQL語(yǔ)法:
INSERT INTO table_name ( field1, field2,...fieldN ) VALUES ( value1, value2,...valueN );
如果數(shù)據(jù)是字符型,必須使用單引號(hào)或者雙引號(hào),如:”value”。
2、通過(guò)命令提示窗口插入數(shù)據(jù)
以下我們將使用 SQL INSERT INTO 語(yǔ)句向 MySQL 數(shù)據(jù)表 runoob_tbl 插入數(shù)據(jù)
實(shí)例:
以下實(shí)例中我們將向 runoob_tbl 表插入三條數(shù)據(jù):
root@host# mysql -u root -p password;Enter password:*******mysql> use RUNOOB;Database changedmysql> INSERT INTO runoob_tbl -> (runoob_title, runoob_author, submission_date) -> VALUES -> ("學(xué)習(xí) PHP", "教程", NOW());Query OK, 1 rows affected, 1 warnings (0.01 sec)mysql> INSERT INTO runoob_tbl -> (runoob_title, runoob_author, submission_date) -> VALUES -> ("學(xué)習(xí) MySQL", "教程", NOW());Query OK, 1 rows affected, 1 warnings (0.01 sec)mysql> INSERT INTO runoob_tbl -> (runoob_title, runoob_author, submission_date) -> VALUES -> ("JAVA 教程", "RUNOOB.COM", '2016-05-06');Query OK, 1 rows affected (0.00 sec)mysql>
注意:使用箭頭標(biāo)記 -> 不是 SQL 語(yǔ)句的一部分,它僅僅表示一個(gè)新行,如果一條SQL語(yǔ)句太長(zhǎng),我們可以通過(guò)回車鍵來(lái)創(chuàng)建一個(gè)新行來(lái)編寫 SQL 語(yǔ)句,SQL 語(yǔ)句的命令結(jié)束符為分號(hào)。
在以上實(shí)例中,我們并沒(méi)有提供 runoob_id 的數(shù)據(jù),因?yàn)樵撟侄挝覀冊(cè)趧?chuàng)建表的時(shí)候已經(jīng)設(shè)置它為 AUTO_INCREMENT(自動(dòng)增加) 屬性。 所以,該字段會(huì)自動(dòng)遞增而不需要我們?nèi)ピO(shè)置。實(shí)例中 NOW() 是一個(gè) MySQL 函數(shù),該函數(shù)返回日期和時(shí)間。
3、使用PHP腳本插入數(shù)據(jù)
你可以使用PHP 的 mysqli_query() 函數(shù)來(lái)執(zhí)行 SQL INSERT INTO命令來(lái)插入數(shù)據(jù)。該函數(shù)有兩個(gè)參數(shù),在執(zhí)行成功時(shí)返回 TRUE,否則返回 FALSE。
語(yǔ)法:
mysqli_query(connection,query,resultmode);
實(shí)例:
以下實(shí)例中程序接收用戶輸入的三個(gè)字段數(shù)據(jù),并插入數(shù)據(jù)表中:
';// 設(shè)置編碼,防止中文亂碼mysqli_query($conn , "set names utf8"); $runoob_title = '學(xué)習(xí) Python';$runoob_author = 'RUNOOB.COM';$submission_date = '2016-03-06'; $sql = "INSERT INTO runoob_tbl ". "(runoob_title,runoob_author, submission_date) ". "VALUES ". "('$runoob_title','$runoob_author','$submission_date')"; mysqli_select_db( $conn, 'RUNOOB' );$retval = mysqli_query( $conn, $sql );if(! $retval ){ die('無(wú)法插入數(shù)據(jù): ' . mysqli_error($conn));}echo "數(shù)據(jù)插入成功\n";mysqli_close($conn);?>
對(duì)于含有中文的數(shù)據(jù)插入,需要添加 mysqli_query($conn , “set names utf8”); 語(yǔ)句。
延伸閱讀1:Java語(yǔ)言簡(jiǎn)介
Java是Sun公司推出的能夠跨越多平臺(tái)的、可移植性較高的一種面向?qū)ο蟮木幊陶Z(yǔ)言,也是目前非常先進(jìn)、特征最豐富、功能較早大的計(jì)算機(jī)語(yǔ)言。利用Java可以編寫桌面應(yīng)用程序、Web應(yīng)用程序、分布式系統(tǒng)應(yīng)用程序、嵌入式系統(tǒng)應(yīng)用程序等,從而使其成為應(yīng)用較廣泛的開發(fā)語(yǔ)言。