任务8、词频统计
-参看本博《经典案例【词频统计】客户管理系统开发定制十一种实现方式》
-客户管理系统开发定制针对单词文本文件,客户管理系统开发定制统计每个单词出现的次数
hello hello spark
i love you hadoop and
i learn hadoop and
-思路:读取文件,客户管理系统开发定制通过拆分得到单词,客户管理系统开发定制定义一个哈希映射保存客户管理系统开发定制词频统计结果,遍历单词数组,如果第一次遇到某个单词,就在哈希映射里添加一个元素,单词为键,1为值;如果不是第一次遇到,那么在哈希映射里找到该键,将其值加1……
(一)编程实现
-在项目根目录里创建单词文本文件 - words.txt
-在net.guoxin.p03里创建t08子包,在子包里创建WordCount类
-读取文件所有行
-将文件行按空格拆分成单词数组
-针对每行单词数组进行词频统计
-按指定格式输出词频统计结果
-利用Python的绘图库来绘制词频统计的直方图
-查看完整代码
package net.guoxin.p03.t08;
import java.io.BufferedReader;
import java.io.FileReader;
import java.util.HashMap;
import java.util.Map;
/**
- 功能:词频统计
- 作者:郭鑫
- 日期:2022年06月02日
*/
public class WordCount {
public static void main(String[] args) throws Exception {
// 定义缓冲字符输入流
BufferedReader br = new BufferedReader(new FileReader(“words.txt”));
// 定义词频统计哈希映射
Map<String, Integer> wc = new HashMap<>();
// 定义行字符串变量
String nextLine = “”;
// 读取文件,遍历所有行
while ((nextLine = br.readLine()) != null) {
// 按空格拆分,得到单词数组
String[] words = nextLine.split(" “);
// 遍历单词数组,进行单词计数
for (String word: words) {
wc.put(word, wc.containsKey(word)? wc.get(word) + 1 : 1);
}
}
// 按照指定格式输出词频统计结果
for (String key : wc.keySet()) {
System.out.println(”(" + key + “,” + wc.get(key) + “)”);
}
}
}
思考题:将词频统计结果按次数降序排列
(二)知识点讲解
1、哈希映射
-put(key, value) - 添加元素(键值对)
-get(key) - 按键取值
-containsKey(key) - 是否包含某个键
-keySet() - 键集合
-values() - 值集合
2、哈希集合
-add(e) - 添加元素
-remove(e) - 移除元素
-size() - 集合元素个数
-isEmpty() - 是否为空集
(三)拓展练习
任务1、网址去重
-去掉重复ip地址,生成distinct_ips.txt
任务2、统计不同网址访问次数
(一)编程实现
1、创建数据库和表
(1)创建学生数据库
-执行命令:CREATE DATABASE student CHARSET=‘utf8mb4’
(2)创建用户表
-执行命令:USE student,打开student数据库
-创建用户表 - t_user
CREATE TABLE t_user
(
id
int(11) NOT NULL AUTO_INCREMENT COMMENT ‘用户ID’,
username
varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT ‘用户名’,
password
varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT ‘用户密码’,
telephone
varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT ‘联系电话’,
register_time
timestamp NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP COMMENT ‘注册时间’,
PRIMARY KEY (id
) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 4 CHARACTER SET = utf8mb4;
-执行语句,查看结果
-插入三条用户记录
INSERT INTO t_user (username, password, telephone, register_time) VALUES (‘admin’, ‘12345’, ‘13945456780’, ‘2022-01-01 09:10:34’);
INSERT INTO t_user (username, password, telephone, register_time) VALUES (‘brown’, ‘11111’, ‘13878789089’, ‘2022-03-12 19:05:44’);
INSERT INTO t_user (username, password, telephone, register_time) VALUES (‘alice’, ‘22222’, ‘15834345670’, ‘2022-04-04 15:16:24’);
-执行语句,查看结果
-查看用户表记录
-一条用户记录对应一个用户实体,这是一个映射
2、创建用户实体类
-在net.guoxin.p03.t09.bean包里创建User类
package net.guoxin.p03.t09.bean;
import java.util.Date;
/**
-
功能:用户实体类
-
作者:郭鑫
-
日期:2022年06月02日
*/
public class User {
private int id;
private String username;
private String password;
private String telephone;
private Date registerTime;public int getId() {
return id;
}public void setId(int id) {
this.id = id;
}public String getUsername() {
return username;
}public void setUsername(String username) {
this.username = username;
}public String getPassword() {
return password;
}public void setPassword(String password) {
this.password = password;
}public String getTelephone() {
return telephone;
}public void setTelephone(String telephone) {
this.telephone = telephone;
}public Date getRegisterTime() {
return registerTime;
}public void setRegisterTime(Date registerTime) {
this.registerTime = registerTime;
}@Override
public String toString() {
return “User{” +
“id=” + id +
“, username='” + username + ‘’’ +
“, password='” + password + ‘’’ +
“, telephone='” + telephone + ‘’’ +
“, registerTime=” + registerTime +
‘}’;
}
}
3、添加数据库驱动程序包
-在项目根目录创建libs目录,添加数据库驱动程序包
-此时,这个jar包还不能被项目使用,需要作为库添加到项目里
-单击【Add as Library…】菜单项
-此时,数据库驱动程序包就可以被项目使用了
-查看JDBC重要的接口和类
4、创建数据库连接管理类
-创建net.huawei.p03.t09.dbutils包,在包里创建ConnectionManager类
package net.guoxin.p03.t09.dbutils;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
/**
-
功能:数据库连接管理类
-
作者:郭鑫
-
日期:2022年06月09日
*/
public class ConnectionManager {
// 数据库连接属性
private static final String DRIVER = “com.mysql.jdbc.Driver”;
private static final String URL = “jdbc:mysql://localhost:3306/student?useSSL=false”;
private static final String USER = “root”;
private static final String PASSWORD = “903213”; // 改成自己数据库的密码/**
- 私有化构造方法,拒绝实例化
*/
private ConnectionManager() {
}
/**
-
获取数据库连接静态方法
-
@return 数据库连接
*/
public static Connection getConnection() {
// 定义数据库连接
Connection conn = null;try {
// 安装数据库驱动
Class.forName(DRIVER);
// 获取数据库连接
conn = DriverManager.getConnection(URL, USER, PASSWORD);
// 提示用户数据库连接成功
System.out.println(“提示:数据库连接成功~”);
} catch (ClassNotFoundException e) {
System.err.println(“异常:数据库驱动程序未找到!”);
} catch (SQLException e) {
System.err.println(“异常:数据库连接失败!”);
}// 返回数据库连接
return conn;
}
/**
- 关闭数据库连接静态方法
- @param conn
*/
public static void closeConnection(Connection conn) {
// 判断连接是否为空
if (conn != null) {
try {
// 判断连接是否关闭
if (!conn.isClosed()) {
// 关闭数据库连接,释放资源
conn.close();
// 提示用户
System.out.println(“提示:数据库连接关闭~”);
}
} catch (SQLException e) {
e.printStackTrace();
}
}
}
/**
- 主方法测试数据库连接
- @param args
*/
public static void main(String[] args) {
// 获取数据库连接
Connection conn = getConnection();
// 关闭数据库连接
closeConnection(conn);
}
}
- 私有化构造方法,拒绝实例化
-运行程序,查看结果
-故意把DRIVER改错,就会抛出异常被捕获
5、创建用户数据访问接口
在net.guoxin.p03.t09.dao包里创建UserDao接口(DAO: Data Access Object)
package net.guoxin.p03.t09.dao;
import net.guoxini.p03.t09.bean.User;
import java.util.List;
/**
- 功能:用户数据访问接口
- 作者:郭鑫
- 日期:2022年06月09日
*/
public interface UserDao {
int insert(User user);
int delete(int id);
int update(User user);
int findById(int id);
List findAll();
User login(String username, String password);
}
6、创建用户数据访问接口实现类
-在net.guoxin.p03.t09.dao.impl包里创建UserDaoImpl类
-实现UserDao接口,就要去实现接口里的抽象方法
-默认是全选
-单击【OK】按钮
package net.guoxin.p03.t09.dao.impl;
import net.guoxin.p03.t09.bean.User;
import net.guoxin.p03.t09.dao.UserDao;
import java.util.List;
/**
-
功能:用户数据访问接口实现类
-
作者:郭鑫
-
日期:2022年06月09日
*/
public class UserDaoImpl implements UserDao {
@Override
public int insert(User user) {
return 0;
}@Override
public int delete(int id) {
return 0;
}@Override
public int update(User user) {
return 0;
}@Override
public int findById(int id) {
return 0;
}@Override
public List findAll() {
return null;
}@Override
public User login(String username, String password) {
return null;
}
}
-下面,我们编写登录方法
**@Override
public User login(String username, String password) {
// 定义用户对象
User user = null;
// 获取数据库连接
Connection conn = ConnectionManager.getConnection();
// 创建SQL字符串
String strSQL = “select * from t_user where username = ? and password = ?”;
try {
// 创建预备语句对象(准备提供参数)
PreparedStatement pstmt = conn.prepareStatement(strSQL);
// 用参数值去设置占位符的值
pstmt.setString(1, username);
pstmt.setString(2, password);
// 执行SQL查询,返回结果集
ResultSet rs = pstmt.executeQuery();
// 遍历结果集,用记录值填充用户对象
while (rs.next()) {
// 创建用户对象
user = new User();
// 用当前记录字段值设置用户对象属性值
user.setId(rs.getInt(“id”));
user.setUsername(rs.getString(“username”));
user.setPassword(rs.getString(“password”));
user.setTelephone(rs.getString(“telephone”));
user.setRegisterTime(rs.getTimestamp(“register_time”));
}
} catch (SQLException e) {
System.err.println(e.getMessage());
}
// 返回用户对象 return user;
- 1
- 2
}
-在net.guoxin.p03.t09.test包里创建TestUserDaoImpl类
package net.guoxin.p03.t09.test;
import net.guoxin.p03.t09.bean.User;
import net.guoxin.p03.t09.dao.UserDao;
import net.guoxin.p03.t09.dao.impl.UserDaoImpl;
import org.junit.Test;
/**
-
功能:测试用户数据访问接口实现类
-
作者:郭鑫
-
日期:2022年06月09日
*/
public class TestUserDaoImpl {
@Test
public void testLogin() {
String username = “admin”;
String password = “12345”;UserDao dao = new UserDaoImpl(); User user = dao.login(username, password); if (user != null) { System.out.println("恭喜,[" + username + "]登录成功~"); } else { System.out.println("遗憾,[" + username + "]登录失败~"); }
- 1
- 2
- 3
- 4
- 5
- 6
- 7
}
}
-运行testLogin()测试方法