*大数据（13）
&1、 从hive中导出数据至本地目录
& & & & & & &&insert overwrite local directory '/export/tmp' select * from test1 where create_time = '';&
& & & & & & &列数据之间默认以^A隔开。
& & & & 2、将本地数据上传另一个集群的hdfs
& & & & & & &/usr/local/hadoop-2.2.0/bin/hdfs &dfs -put &/export/tmp &&hdfs://host:port/tmp
& & & & 3、将hdfs中的数据文件导入hive表中
& & & & & & &hive -e &load data inpath '/tmp' into table test1;&
& & & & & & &但某些表创建时，设置的以 '\t' 分割数据，在读取不到 '\t' 时，会将整行数据都导入第一列。
& & & & & &
& & & & &如果是hive-0.11.0版本，可以这样导出：
&span style=&font-family: 'Microsoft YaHei';&&
hive& insert overwrite local directory '/export/tmp'
hive& row format delimited
hive& fields terminated by '\t'
hive& select * from test1 where create_time = '';&/span&&span style=&font-family: 'Microsoft YaHei';&&
&/span&&span style=&font-family: 'Microsoft YaHei';&&
如果是低版本的hive,只好将导出的数据文件中的^A,替换为'\t':&/span&&span style=&font-family: 'Microsoft YaHei';&&
sed -i 's/^A/\t/g' filename&/span&&span style=&font-family: 'Microsoft YaHei';&&&span style=&white-space: background-color: rgb(255, 255, 255);&&         同时需要将隐藏的.filename.crc校验文件删除掉，&/span&&/span&&span style=&font-family: 'Microsoft YaHei'; background-color: rgb(255, 255, 255);&&不然在上传的过程中，Hadoop将通过FSInputChecker判断需要上传的文件是否存在进行校验的crc文件，即.&/span&&span style=&background-color: rgb(255, 255, 255); white-space: font-family: 'Microsoft YaHei';&&filename&/span&&span style=&font-family: 'Microsoft YaHei'; background-color: rgb(255, 255, 255);&&.crc，如果存在crc文件，将会对其内容一致性进行校验，如果校验 失败，会报fs.FSInputChecker: Found checksum error，停止上传该文件，最终导致整个MR任务无法执行。&/span&
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：426283次
积分：5886
积分：5886
排名：第3311名
原创：71篇
转载：713篇
评论：23条
(41)(58)(17)(18)(41)(21)(6)(3)(22)(29)(22)(35)(46)(9)(15)(19)(22)(87)(11)(22)(17)(14)(2)(12)(1)(6)(15)(49)(34)(27)(29)(11)(24)(10)(2)Hive中如何快速的复制一张分区表（包括数据）
Hive中如何快速的复制一张分区表（包括数据）
[摘要：转自：/archives/.htm
症结字：Hive 复造表
Hive中偶然候会碰到复造表的需供，复造表指的是复造表布局战数据。
若是是针对非分区表，那很简略，可]
转自：/archives/.htm
关键字：Hive 复制表
Hive中有时候会遇到复制表的需求，复制表指的是复制表结构和数据。
如果是针对非分区表，那很简单，可以使用CREATE TABLE new_table AS SELECT * FROM old_
那么如果是分区表呢？
首先想到的办法可能是：
先创建一张和old_table结构相同的new_table，包括分区；可以使用CREATE TABLE new_table LIKE old_
接下来使用动态分区，把old_table的数据INSERT到new_table中。
这个方法当然可以，但可能不是最快的。
其实可以这样做：
1. CREATE TABLE new_table LIKE old_
2. 使用hadoop fs -cp 命令，把old_table对应的HDFS目录的文件夹全部拷贝到new_table对应的HDFS目录下；
3. 使用MSCK REPAIR TABLE new_修复新表的分区元数据；
有一张分区表t1,只有两个分区，每个分区中都有一条数据，如下：
hive& show partitions t1;
pt=2015-09-11
pt=2015-09-12
Time taken: 0.11 seconds, Fetched: 2 row(s)
hive& desc t1;
# Partition Information
# col_name data_type comment
Time taken: 0.123 seconds, Fetched: 7 row(s)
hive& select * from t1;
X 2015-09-11
Y 2015-09-12
Time taken: 0.095 seconds, Fetched: 2 row(s)
创建一张相同表结构的新表t2;
hive& create table t2 like t1;
Time taken: 0.162 seconds
hive& desc t2;
# Partition Information
# col_name data_type comment
Time taken: 0.139 seconds, Fetched: 7 row(s)
hive& show partitions t2;
Time taken: 0.082 seconds
使用hadoop fs -cp命令把t1对应HDFS目录的所有文件夹复制到t2对应的HDFS目录下：
[liuxiaowen@dev ~]$ hadoop fs -cp /hivedata/warehouse/liuxiaowen.db/t1/* /hivedata/warehouse/liuxiaowen.db/t2/
[liuxiaowen@dev ~]$ hadoop fs -ls /hivedata/warehouse/liuxiaowen.db/t2/
Found 2 items
drwxr-xr-x - liuxiaowen liuxiaowen 0
17:17 /hivedata/warehouse/liuxiaowen.db/t2/pt=
drwxr-xr-x - liuxiaowen liuxiaowen 0
17:17 /hivedata/warehouse/liuxiaowen.db/t2/pt=
在Hive用使用MSCK REPAIR TABLE t2;修复新表t2的分区元数据；
hive& show partitions t2;
Time taken: 0.082 seconds
hive& MSCK REPAIR TABLE t2;
Partitions not in metastore: t2:pt=2015-09-11 t2:pt=2015-09-12
Repair: Added partition to metastore t2:pt=2015-09-11
Repair: Added partition to metastore t2:pt=2015-09-12
Time taken: 0.249 seconds, Fetched: 3 row(s)
hive& show partitions t2;
pt=2015-09-11
pt=2015-09-12
Time taken: 0.068 seconds, Fetched: 2 row(s)
hive& select * from t2;
X 2015-09-11
Y 2015-09-12
Time taken: 0.123 seconds, Fetched: 2 row(s)
OK，新表t2已经复制好了，它和t1有着相同的表结构，分区结构，分区以及数据。
感谢关注 Ithao123Hive频道，是专门为互联网人打造的学习交流平台，全面满足互联网人工作与学习需求，更多互联网资讯尽在 IThao123!
回复屌丝朱月朋：
产品设计是互联网产品经理的核心能力，一个好的产品经理一定在产品设计方面有扎实的功底，本专题将从互联网产品设计的几个方面谈谈产品设计
随着国内互联网的发展，产品经理岗位需求大幅增加，在国内，从事产品工作的大部分岗位为产品经理，其实现实中，很多从事产品工作的岗位是不能称为产品经理，主要原因是对产品经理的职责不明确，那产品经理的职责有哪些，本专题将详细介绍产品经理的主要职责
Swift是Apple在WWDC2014所发布的一门编程语言，用来撰写OS X和iOS应用程序[1]。在设计Swift时．就有意和Objective-C共存，Objective-C是Apple操作系统在导入Swift前使用的编程语言
Swift是供iOS和OS X应用编程的新编程语言，基于C和Objective-C，而却没有C的一些兼容约束。Swift采用了安全的编程模式和添加现代的功能来使得编程更加简单、灵活和有趣。界面则基于广受人民群众爱戴的Cocoa和Cocoa Touch框架，展示了软件开发的新方向。
PHP（外文名:PHP: Hypertext Preprocessor，中文名：“超文本预处理器”）是一种通用开源脚本语言。语法吸收了C语言、Java和Perl的特点，利于学习，使用广泛，主要适用于Web开发领域。PHP 独特的语法混合了C、Java、Perl以及PHP自创的语法。它可以比CGI或者Perl更快速地执行动态网页。用PHP做出的动态页面与其他的编程语言相比，PHP是将程序嵌入到HTML（标准通用标记语言下的一个应用）文档中去执行，执行效率比完全生成HTML标记的CGI要高许多；PHP还可以执行编译后代码，编译可以达到加密和优化代码运行，使代码运行更快。
IThao123周刊hadoop（3）
我之前搭建了一个基于HDP 2.1 的集群。 & 现在又根据需要重新搭建了一个新的HDP2.2版本的集群 准备做新的生产环境。 &HDP2.1 集群 上大约有600GB的数据， 主要以Hive数据表格的形式存在。 因此需要将HDP2.1集群的数据 迁移到 新集群上来。&
实施的思路参考了这篇文章：
//migrating-hive-from-one-hadoop-cluster-to-another-cluster-2/
mysqldump $dbname & $outputfilename.sql&
For example:mysqldump hive & /tmp/mydir/backup_hive.sql
mysql $dbname & $inputfilename.sql&
For example:&mysql hive & /tmp/mydir/backup_hive.sql
sudo -u $username pg_dump $databasename & $outputfilename.sql&For example:&sudo -u postgres pg_dump hive & /tmp/mydir/backup_hive.sql
sudo -u $username psql $databasename & $inputfilename.sql&For example:&sudo -u postgres psql hive & /tmp/mydir/backup_hive.sql
Connect to the Oracle database using&sqlplus&export the database:&exp username/password@database full=yes file=output_file.dmp
Import the database:&imp username/password@database ile=input_file.dmp
这时，应该已经可以使用hive shell或者hue 来查看导入的数据表是否可以访问了。&
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：8875次
排名：千里之外
(2)(1)(1)(1)(2)(1)(1)