您所在的位置:首页 > 新闻中心 > 中生成流水号,使用sql脚本检测数据表中一列数据是否连续的方法分享
公司要闻
中生成流水号,使用sql脚本检测数据表中一列数据是否连续的方法分享
发布时间:2020-04-02 17:43
访问量:359

原文地址:http://www.maomao365.com/?p=7335

hbase shell命令的使用

再使用hbase 命令之前先检查一下hbase是否运行正常

hadoop@Master:/usr/hbase/bin$ jps
2640 HMaster
27170 NameNode
27533 SecondaryNameNode
3038 Jps
27795 TaskTracker
27351 DataNode
2574 HQuorumPeer
27618 JobTracker
2872 HRegionServer

如果运行不正常的话,关闭hbase后重新启动一下

stop-hbase.sh
start-hbase.sh

 

1.  status命令

hbase(main):008:0> status
1 servers, 0 dead, 3.0000 average load

 

2. version命令

hbase(main):007:0> version
0.94.12, r1524863, Fri Sep 20 00:25:45 UTC 2013

 

3. create 命令
创建一个名为 test 的表,这个表只有一个列为 cf。其中表名、列都要用单引号括起来,并以逗号隔开。

hbase(main):001:0> create 'test', 'cf'
0 row(s) in 10.3830 seconds

4. list 命令
查看当前 HBase 中具有哪些表。

hbase(main):009:0> list
TABLE                                                                           
test                                                                            
1 row(s) in 0.3590 seconds

 

5. put 命令
使用 put 命令向表中插入数据,参数分别为表名、行名、列名和值,其中列名前需要列族最为前缀,时间戳由系统自动生成。
格式: put 表名,行名,列名([列族:列名]),值
例子:
加入一行数据,行名称为“row1”,列族“cf”的列名为”(空字符串)”,值位 value1。
我这里插入3条记录

hbase(main):003:0> put 'test', 'row1', 'cf:a', 'value1'
0 row(s) in 0.2350 seconds

hbase(main):004:0> put 'test', 'row2', 'cf:b', 'value2'
0 row(s) in 0.0350 seconds

hbase(main):005:0> put 'test', 'row3', 'cf:c', 'value3'
0 row(s) in 0.0040 seconds

6. describe 命令
查看表“test”的构造。

hbase(main):010:0> describe 'test'
DESCRIPTION                                          ENABLED                    
 'test', {NAME => 'cf', DATA_BLOCK_ENCODING => 'NONE true                       
 ', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0',                            
  VERSIONS => '3', COMPRESSION => 'NONE', MIN_VERSIO                            
 NS => '0', TTL => '2147483647', KEEP_DELETED_CELLS                             
 => 'false', BLOCKSIZE => '65536', IN_MEMORY => 'fal                            
 se', ENCODE_ON_DISK => 'true', BLOCKCACHE => 'true'                            
 }                                                                              
1 row(s) in 1.6630 seconds

7.get 命令
a.查看表“test”中的行“row2”的相关数据。

hbase(main):011:0> get 'test','row2'
COLUMN                CELL                                                      
 cf:b                 timestamp=1381568161926, value=value2                     
1 row(s) in 0.4500 seconds

b.查看表“test”中行“row2”列“cf :b”的值。

hbase(main):012:0> get 'test','row2', 'cf:b'
COLUMN                CELL                                                      
 cf:b                 timestamp=1381568161926, value=value2                     
1 row(s) in 0.3090 seconds

或者

hbase(main):012:0> get 'test', 'row2', {COLUMN=>'cf:b'}
hbase(main):012:0> get 'test', 'row2', {COLUMNS=>'cf:b'}

备注:COLUMN 和 COLUMNS 是不同的,scan 操作中的 COLUMNS 指定的是表的列族, get操作中的 COLUMN 指定的是特定的列,COLUMNS 的值实质上为“列族:列修饰符”。COLUMN 和 COLUMNS 必须为大写。

8. scan 命令
a. 查看表“test”中的所有数据。

hbase(main):006:0> scan 'test'
ROW                   COLUMN+CELL                                               
 row1                 column=cf:a, timestamp=1381568140492, value=value1        
 row2                 column=cf:b, timestamp=1381568161926, value=value2        
 row3                 column=cf:c, timestamp=1381568176693, value=value3        
3 row(s) in 0.0770 seconds

注意:
scan 命令可以指定 startrow,stoprow 来 scan 多个 row。
例如:

scan 'user_test',{COLUMNS =>'info:username',LIMIT =>10, STARTROW => 'test', STOPROW=>'test2'}

b.查看表“scores”中列族“course”的所有数据。

hbase(main):012:0> scan  'scores', {COLUMN => 'grad'}
hbase(main):012:0> scan  'scores', {COLUMN=>'course:math'}
hbase(main):012:0> scan  'scores', {COLUMNS => 'course'}
hbase(main):012:0> scan  'scores', {COLUMNS => 'course'}

9.count 命令——统计出表中有多少条记录

hbase(main):013:0> count 'test'
3 row(s) in 1.6530 seconds

10. exists 命令——查看表是否存在

hbase(main):014:0> exists 'test'
Table test does exist                                                           
0 row(s) in 1.1620 seconds

11. incr 命令

给‘test’这个列增加 uid 字段,并使用counter实现递增
连续执行incr以上,COUNTER VALUE 的值会递增,通过get_counter

hbase(main):010:0> incr 'test', 'row2', 'uid', 2
COUNTER VALUE = 2

hbase(main):011:0> incr 'test', 'row2', 'uid', 3
COUNTER VALUE = 5

查看表可以看到:

hbase(main):012:0> scan 'test'
ROW                   COLUMN+CELL                                               
 row1                 column=uid:1, timestamp=1381571789416, value=buym:1       
 row2                 column=uid:, timestamp=1381572436088, value=\x00\x00\x00\x
                      00\x00\x00\x00\x05                                        
 row2                 column=uid:2, timestamp=1381571805008, value=buym:20      
2 row(s) in 0.0790 seconds

12. delete 命令
删除表“test”中行为“row3”, 列族“cf”中的“c”。

hbase(main):015:0> delete 'test','row3','cf:c'
0 row(s) in 0.4640 seconds

 

13. truncate 命令——将表删除后再重新创建

hbase(main):018:0> truncate 'test'
Truncating 'test' table (it may take a while):
 - Disabling table...
 - Dropping table...
 - Creating table...
0 row(s) in 5.6480 seconds

 

14. disbale、drop 命令
通过“disable”和“drop”命令删除“test”表。

hbase(main):001:0> disable 'test'
hbase(main):003:0> drop 'test'
0 row(s) in 3.9310 seconds

新濠天地地址 1

 

思路:

 

 通过一个流水号表,记录当前最大的流水号,以便下次取用。每次取号时,将流水号表更新成大的。

摘要:

涉及的表:

 

   流水号表hp_no:  

   数据表中,有一列是自动流水号,由于各种操作异常原因(或者插入失败),此列数据会变的不连续,下文将讲述使用sql脚本的方式获取数据表中的数据是否连续的方法分享,如下所示:

字段 类型
TYPE_NAME VARCHAR2(100)
START_NO VARCHAR2(100)
CURRENT_NO VARCHAR2(100)

 

新濠天地地址, 

   实验环境:sqlserver 2008 R2  

 代码:


1)通过函数得到最大值。 有三个参数,

 

  第一个参数是类型,便于得到不同的流水号。

例:获取表test中keyId是否为连续的数据

  第二个参数是前缀,用于在流水号前边放置特别的字符。

 

  第三个参数是生成的流水号长度。

实现思路:

 

 

新濠天地地址 2
新濠天地地址 3新濠天地地址 4代码CREATE OR REPLACE FUNCTION Hp_Test_GetNo(
   P_TYPE_NAME   IN   VARCHAR2 DEFAULT '',  --类型 参数1
   P_START_NO    IN   VARCHAR2,  --前缀 参数2
   P_LENGTH      IN   NUMBER    --得到流水号长度 参数3
)
   RETURN VARCHAR2      --返回类型
IS
   V_RESULT       VARCHAR2 (100) := '';   --结果   变量1
   V_CURRENT_NO   VARCHAR2 (100) := '';  --当前值  变量2
   V_NUM          NUMBER         := 0;  --补值    变量3
   V_START_NO   VARCHAR2(100);    --前缀    变量4
   V_ROWID        VARCHAR2 (100);    --要更新行的RowID  变量4
BEGIN
   V_START_NO :=P_START_NO;  --参数值赋给变量   SELECT COUNT (*)
     INTO V_NUM
     FROM HP_NO
    WHERE TYPE_NAME = P_TYPE_NAME AND START_NO = P_START_NO;    --得到类型与前缀相同值的数量,主要用于判断是否产生过流水号--判断是否有资料 没有则产生初始值插入库中
   IF V_NUM = 0  --没有记录过时
   THEN
      V_CURRENT_NO := LPAD ('1', P_LENGTH, '0');  --得到P_length长的0001流水号
      V_RESULT := V_CURRENT_NO;  --将前缀与流水号相连起来      INSERT INTO HP_NO(TYPE_NAME, START_NO, CURRENT_NO)
           VALUES (P_TYPE_NAME, P_START_NO, V_CURRENT_NO);  --将新的最大值记录下来
   ELSE  
      SELECT ROWID, CURRENT_NO + 1
      INTO V_ROWID, V_CURRENT_NO
        FROM HP_NO
       WHERE TYPE_NAME = P_TYPE_NAME AND START_NO = P_START_NO; --得到最大值加1      V_CURRENT_NO := LPAD (V_CURRENT_NO, P_LENGTH, '0');     
      
      
      UPDATE HP_NO
         SET CURRENT_NO = V_CURRENT_NO
       WHERE ROWID = V_ROWID;    --更新最大值
   END IF;     IF V_START_NO IS NULL OR V_START_NO='' THEN
      V_RESULT := V_CURRENT_NO;
   ELSE
      V_RESULT :=V_START_NO || V_CURRENT_NO;
   END IF;
   
   RETURN V_RESULT;
END;
新濠天地地址 5

 1.采用row_number 对表test重新生成流水号

 

 

使用存储过程调用函数的方法:

 2.采用with as (cte)表达式将重新生成流水号的表放入临时表

新濠天地地址 6
新濠天地地址 7新濠天地地址 8代码--调用function存储过程
CREATE OR REPLACE PROCEDURE Hp_Pro_GetTestNo
(
      v_FirstLetter in varchar2,
      v_Result out  varchar2
)
   IS
      v_FirstValue varchar2(30);
      v_SystDate varchar2(30);
BEGIN
     select to_char(sysdate,'yyyymm') into v_SystDate from dual;
     v_FirstValue:=(v_FirstLetter || v_SystDate);
     v_Result:=hp_test_getno('HpTest' ,v_FirstValue,4);
END;
新濠天地地址 9

 

 

 3.对临时表自身进行 左连接(前一行和后一行互补),然后比较行中两张表的keyId 是否相差1,

结果:

 

   调用存储过程Hp_Pro_GetTestNo('hp',4);

   如果相差1,则代表连续数据行,反之为非连续行数据

  结果为:hp2016060001

create table test 

(keyId int,info varchar(60))

go

insert into test(keyId,info)values

(1,'maomao365.com'),(2,N'连续数判断'),

(4,N'blog教程'),(5,'maomao'),

(8,'test'),(9,'info')

;

with  tmp as 

 (select  ROW_NUMBER() over (order by keyId asc ) as keyIdNew,

* from test  ) 

select a.keyIdNew,

a.keyId,a.info ,

 case  when ISNULL(a.keyId,0)-1 = b.keyId 

              or b.keyId is null  then '连续'

       else '不连续'

 end as '连续标志'

 from tmp a 

left join tmp b on a.keyIdNew = b.keyIdNew+1

;

go

truncate table test 

drop     table test 

 

 新濠天地地址 10

其它思考

 

一、新增时无须显示流水号,如得到得到连续流水号

 方法:

  采用流水号子表,此表用于保存没有用过的流水号。当用户取号时,首选判断子表是否含有流水号,当有时,取出一个,并删除此个(防止别另外用户取用);否则调用主表得到新流水号。

当插入失败则将当前流水号保存到流水号子表中,供下次取用。

当删除时,将当前流水号保存到流水号子表中,供下次取用。

 

二、新增时须显示流水号,如得到得到连续流水号

方法:

  采用流水号子表,此表用于保存没有用过的流水号。当用户取号时,首选判断子表是否含有流水号,当有时,取出一个,并删除此个(防止别另外用户取用);否则调用 主表得到新流水号。

当用户不保存或插入失败则将当前流水号保存到流水号子表中,供下次取用。

当删除时,将当前流水号保存到流水号子表中,供 下次取用。

 

其它思考的代码我没有写,有兴趣的朋友可以自己写。