ThinkPHP处理海量数据分表机制详细代码及说明

光明使者

1. 
   
2. 应用ThinkPHP内置的分表算法处理百万级用户数据.
   
3. 　　数据表：
   
4. 　　house_member_0
   
5. 　　house_member_1
   
6. 　　house_member_2
   
7. 　　house_member_3
   
8. 　　模型中
   
9. 　　class MemberModel extends AdvModel {
   
10. 　　protected $partition =  array('field'=>'username','type'=>'id','num'=>'4');
    
11. 　　public function getDao($data=array()) {
    
12. 　　$data = empty($data) ? $_POST : $data;
    
13. 　　$table = $this->getPartitionTableName($data);
    
14. 　　return $this->table($table);
    
15. 　　}
    
16. 　　}
    
17. 　　方法中
    
18. 　　class MemberAction extends BaseAction {
    
19. 　　public function login() {
    
20. 　　if($this->isPost()) {
    
21. 　　$this->validToken();
    
22. 　　$dao = D('Member')->getDao();
    
23. 　　$res = $dao->where('username = '.$_POST['username'])->find();
    
24. 　　// output 为自定义方法
    
25. 　　// $isAjax - bool
    
26. 　　$this->output(false);
    
27. 　　}
    
28. 　　$this->display();
    
29. 　　}
    
30. 　　}
    
31. 　　/**
    
32. 　　+----------------------------------------------------------
    
33. 　　* 得到分表的的数据表名
    
34. 　　+----------------------------------------------------------
    
35. 　　* @access public
    
36. 　　+----------------------------------------------------------
    
37. 　　* @param array $data 操作的数据
    
38. 　　+----------------------------------------------------------
    
39. 　　* @return string
    
40. 　　+----------------------------------------------------------
    
41. 　　*/
    
42. 　　public function getPartitionTableName($data=array()) {
    
43. 　　// 对数据表进行分区
    
44. 　　if(isset($data[$this->partition['field']])) {
    
45. 　　$field = $data[$this->partition['field']];
    
46. 　　switch($this->partition['type']) {
    
47. 　　case 'id':
    
48. 　　// 按照id范围分表
    
49. 　　$step = $this->partition['expr'];
    
50. 　　$seq = floor($field / $step)+1;
    
51. 　　break;
    
52. 　　case 'year':
    
53. 　　// 按照年份分表
    
54. 　　if(!is_numeric($field)) {
    
55. 　　$field = strtotime($field);
    
56. 　　}
    
57. 　　$seq = date('Y',$field)-$this->partition['expr']+1;
    
58. 　　break;
    
59. 　　case 'mod':
    
60. 　　// 按照id的模数分表
    
61. 　　$seq = ($field % $this->partition['num'])+1;
    
62. 　　break;
    
63. 　　case 'md5':
    
64. 　　// 按照md5的序列分表
    
65. 　　$seq = (ord(substr(md5($field),0,1)) % $this->partition['num'])+1;
    
66. 　　break;
    
67. 　　default :
    
68. 　　if(function_exists($this->partition['type'])) {
    
69. 　　// 支持指定函数哈希
    
70. 　　$fun = $this->partition['type'];
    
71. 　　$seq = (ord(substr($fun($field),0,1)) % $this->partition['num'])+1;
    
72. 　　}else{
    
73. 　　// 按照字段的首字母的值分表
    
74. 　　$seq = (ord($field{0}) % $this->partition['num'])+1;
    
75. 　　}
    
76. 　　}
    
77. 　　return $this->getTableName().'_'.$seq;
    
78. 　　}else{
    
79. 　　// 当设置的分表字段不在查询条件或者数据中
    
80. 　　// 进行联合查询，必须设定 partition['num']
    
81. 　　$tableName = array();
    
82. 　　for($i=0;$i<$this->partition['num'];$i++)
    
83. 　　$tableName[] = 'SELECT * FROM '.$this->getTableName().'_'.$i;
    
84. 　　$tableName = '( '.implode(' UNION ',$tableName).') AS '.$this->name;
    
85. 　　return $tableName;
    
86. 　　}
    
87. 　　}

复制代码