Hadoop操作MySQL

 时间:2026-04-26 04:12:56

1、引入hadoop-common的jar包

Hadoop操作MySQL

2、注意对照后续需要导入的包

这里需要注意下,用的都是mapreduce包下面的内容。

旧的API中提供包在mapred中,网上有很多文章都用的是这个的,注意区别。

Hadoop操作MySQL

3、创建对应的Table实体类

实现Writable, DBWritable接口

加点输出,到时候执行时看效果。

Hadoop操作MySQL

4、编写Mapper,注意VALUEOUT

之前看到很多用tostring拼成Text,然后再reduce中进行字符串分割的,有很大的限制,实际中肯定会有很大问题。应该也可以直接用Table对象吧,这个还没好好研究下。

Hadoop操作MySQL

5、编写Reducer

将接受到的信息写入DB

Hadoop操作MySQL

6、编写执行方法

关键是用DBInputFormat、DBOutputFormat

Input方法提供了两种实现。

Hadoop操作MySQL

7、最后运行下查看执行效果

数据成功复制!

Hadoop操作MySQL

Hadoop操作MySQL

  • 轻颜相机怎么开启祛斑祛痘的功能?
  • PS中模糊的特殊模糊是如何使用的?
  • PS让照片人物亮一些
  • 解决方案插画设计
  • 【抽象代数】用Mathematica分解Gauss整数
  • 热门搜索
    牛奶怎么加热 qq怎么注册微信账号 自己怎么弄胸才有感觉 汤臣倍健怎么样 脚后跟疼怎么办 猎豹汽车怎么样 孙怡董子健怎么认识的 苹果快捷键怎么设置 乌鸡汤怎么炖 垂体泌乳素高怎么办