/[LeafOK_CVS]/lbbs/src/section_list.c
ViewVC logotype

Diff of /lbbs/src/section_list.c

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

Revision 1.4 by sysadm, Wed May 21 09:09:30 2025 UTC Revision 1.43 by sysadm, Tue Oct 14 05:28:15 2025 UTC
# Line 14  Line 14 
14   *                                                                         *   *                                                                         *
15   ***************************************************************************/   ***************************************************************************/
16    
 #include "section_list.h"  
17  #include "log.h"  #include "log.h"
18    #include "section_list.h"
19  #include "trie_dict.h"  #include "trie_dict.h"
20    #include <errno.h>
21    #include <signal.h>
22  #include <stdio.h>  #include <stdio.h>
23    #include <stdlib.h>
24  #include <string.h>  #include <string.h>
 #include <signal.h>  
25  #include <unistd.h>  #include <unistd.h>
 #include <stdlib.h>  
 #include <errno.h>  
 #include <sys/shm.h>  
26  #include <sys/ipc.h>  #include <sys/ipc.h>
27    #include <sys/param.h>
28    #include <sys/sem.h>
29    #include <sys/shm.h>
30    
31    #ifdef _SEM_SEMUN_UNDEFINED
32    union semun
33    {
34            int val;                           /* Value for SETVAL */
35            struct semid_ds *buf;  /* Buffer for IPC_STAT, IPC_SET */
36            unsigned short *array; /* Array for GETALL, SETALL */
37            struct seminfo *__buf; /* Buffer for IPC_INFO
38                                                              (Linux-specific) */
39    };
40    #endif // #ifdef _SEM_SEMUN_UNDEFINED
41    
42    #define SECTION_TRY_LOCK_WAIT_TIME 1 // second
43    #define SECTION_TRY_LOCK_TIMES 10
44    
45    #define ARTICLE_BLOCK_PER_SHM 1000               // sizeof(ARTICLE_BLOCK) * ARTICLE_BLOCK_PER_SHM is the size of each shm segment to allocate
46    #define ARTICLE_BLOCK_SHM_COUNT_LIMIT 80 // limited by length (8-bit) of proj_id in ftok(path, proj_id)
47    #define ARTICLE_BLOCK_PER_POOL (ARTICLE_BLOCK_PER_SHM * ARTICLE_BLOCK_SHM_COUNT_LIMIT)
48    
49  // ARTICLE_BLOCK_PER_SHM * ARTICLE_BLOCK_SHM_COUNT_LIMIT should be  #define CALCULATE_PAGE_THRESHOLD 100 // Adjust to tune performance of moving topic between sections
50  // no less than BBS_article_block_limit_per_section * BBS_max_section,  
51  // in order to allocate enough memory for blocks  #define SID_STR_LEN 5 // 32-bit + NULL
52  #define ARTICLE_BLOCK_PER_SHM 400 // sizeof(ARTICLE_BLOCK) * ARTICLE_BLOCK_PER_SHM is the size of each shm segment to allocate  
53  #define ARTICLE_BLOCK_SHM_COUNT_LIMIT 256 // limited by length (8-bit) of proj_id in ftok(path, proj_id)  struct article_block_t
54    {
55            ARTICLE articles[ARTICLE_PER_BLOCK];
56            int article_count;
57            struct article_block_t *p_next_block;
58    };
59    typedef struct article_block_t ARTICLE_BLOCK;
60    
61  struct article_block_shm_t  struct article_block_pool_t
62  {  {
63          int shmid;          int shmid;
64          void *p_shm;          struct
65            {
66                    int shmid;
67                    void *p_shm;
68            } shm_pool[ARTICLE_BLOCK_SHM_COUNT_LIMIT];
69            int shm_count;
70            ARTICLE_BLOCK *p_block_free_list;
71            ARTICLE_BLOCK *p_block[ARTICLE_BLOCK_PER_POOL];
72            int block_count;
73  };  };
74  typedef struct article_block_shm_t ARTICLE_BLOCK_SHM;  typedef struct article_block_pool_t ARTICLE_BLOCK_POOL;
75    
76  static ARTICLE_BLOCK_SHM *p_article_block_shm_pool;  static ARTICLE_BLOCK_POOL *p_article_block_pool = NULL;
 static int article_block_shm_count;  
 static ARTICLE_BLOCK *p_article_block_free_list;  
77    
78  static SECTION_DATA *p_section_data_pool;  SECTION_LIST_POOL *p_section_list_pool = NULL;
 static int section_data_count;  
 static TRIE_NODE *p_trie_dict_section_data;  
79    
80  int section_data_pool_init(const char *filename, int article_block_count)  int article_block_init(const char *filename, int block_count)
81  {  {
82          int shmid;          int shmid;
83          int proj_id;          int proj_id;
# Line 55  int section_data_pool_init(const char *f Line 85  int section_data_pool_init(const char *f
85          size_t size;          size_t size;
86          void *p_shm;          void *p_shm;
87          int i;          int i;
88          int article_block_count_in_shm;          int block_count_in_shm;
89          ARTICLE_BLOCK *p_article_block_in_shm;          ARTICLE_BLOCK *p_block_in_shm;
90          ARTICLE_BLOCK **pp_article_block_next;          ARTICLE_BLOCK **pp_block_next;
91    
92          if (p_article_block_shm_pool != NULL ||          if (p_article_block_pool != NULL)
                 p_article_block_free_list != NULL ||  
                 p_section_data_pool != NULL ||  
                 p_trie_dict_section_data != NULL)  
93          {          {
94                  log_error("section_data_pool already initialized\n");                  log_error("article_block_pool already initialized\n");
95                  return -1;                  return -1;
96          }          }
97    
98          if (article_block_count > ARTICLE_BLOCK_PER_SHM * ARTICLE_BLOCK_SHM_COUNT_LIMIT)          if (block_count <= 0 || block_count > ARTICLE_BLOCK_PER_POOL)
99          {          {
100                  log_error("article_block_count exceed limit %d\n", ARTICLE_BLOCK_PER_SHM * ARTICLE_BLOCK_SHM_COUNT_LIMIT);                  log_error("article_block_count exceed limit %d\n", ARTICLE_BLOCK_PER_POOL);
101                  return -2;                  return -2;
102          }          }
103    
104          p_article_block_shm_pool = calloc((size_t)article_block_count / ARTICLE_BLOCK_PER_SHM + 1, sizeof(ARTICLE_BLOCK_SHM));          // Allocate shared memory
105          if (p_article_block_shm_pool == NULL)          proj_id = ARTICLE_BLOCK_SHM_COUNT_LIMIT; // keep different from proj_id used to create block shm
106            key = ftok(filename, proj_id);
107            if (key == -1)
108          {          {
109                  log_error("calloc(%d ARTICLE_BLOCK_SHM) OOM\n", article_block_count / ARTICLE_BLOCK_PER_SHM + 1);                  log_error("ftok(%s, %d) error (%d)\n", filename, proj_id, errno);
110                  return -2;                  return -3;
111          }          }
112    
113          p_section_data_pool = calloc(BBS_max_section, sizeof(SECTION_DATA));          size = sizeof(ARTICLE_BLOCK_POOL);
114          if (p_section_data_pool == NULL)          shmid = shmget(key, size, IPC_CREAT | IPC_EXCL | 0600);
115            if (shmid == -1)
116          {          {
117                  log_error("calloc(%d SECTION_DATA) OOM\n", BBS_max_section);                  log_error("shmget(article_block_pool_shm, size = %d) error (%d)\n", size, errno);
118                  return -2;                  return -3;
119          }          }
120          section_data_count = 0;          p_shm = shmat(shmid, NULL, 0);
121            if (p_shm == (void *)-1)
         p_trie_dict_section_data = trie_dict_create();  
         if (p_trie_dict_section_data == NULL)  
122          {          {
123                  log_error("trie_dict_create() OOM\n", BBS_max_section);                  log_error("shmat(shmid = %d) error (%d)\n", shmid, errno);
124                  return -2;                  return -3;
125          }          }
126    
127          // Allocate shared memory          p_article_block_pool = p_shm;
128          article_block_shm_count = 0;          p_article_block_pool->shmid = shmid;
129          pp_article_block_next = &p_article_block_free_list;  
130            p_article_block_pool->shm_count = 0;
131            pp_block_next = &(p_article_block_pool->p_block_free_list);
132    
133          while (article_block_count > 0)          while (block_count > 0)
134          {          {
135                  article_block_count_in_shm =                  block_count_in_shm = MIN(block_count, ARTICLE_BLOCK_PER_SHM);
136                          (article_block_count < ARTICLE_BLOCK_PER_SHM ? article_block_count : ARTICLE_BLOCK_PER_SHM);                  block_count -= block_count_in_shm;
                 article_block_count -= article_block_count_in_shm;  
137    
138                  proj_id = getpid() + article_block_shm_count;                  proj_id = p_article_block_pool->shm_count;
139                  key = ftok(filename, proj_id);                  key = ftok(filename, proj_id);
140                  if (key == -1)                  if (key == -1)
141                  {                  {
142                          log_error("ftok(%s, %d) error (%d)\n", filename, proj_id, errno);                          log_error("ftok(%s, %d) error (%d)\n", filename, proj_id, errno);
143                          section_data_pool_cleanup();                          article_block_cleanup();
144                          return -3;                          return -3;
145                  }                  }
146    
147                  size = sizeof(shmid) + sizeof(ARTICLE_BLOCK) * (size_t)article_block_count_in_shm;                  size = sizeof(ARTICLE_BLOCK) * (size_t)block_count_in_shm;
148                  shmid = shmget(key, size, IPC_CREAT | IPC_EXCL | 0600);                  shmid = shmget(key, size, IPC_CREAT | IPC_EXCL | 0600);
149                  if (shmid == -1)                  if (shmid == -1)
150                  {                  {
151                          log_error("shmget(shm_index = %d, size = %d) error (%d)\n", article_block_shm_count, size, errno);                          log_error("shmget(shm_index = %d, size = %d) error (%d)\n", p_article_block_pool->shm_count, size, errno);
152                          section_data_pool_cleanup();                          article_block_cleanup();
153                          return -3;                          return -3;
154                  }                  }
155                  p_shm = shmat(shmid, NULL, 0);                  p_shm = shmat(shmid, NULL, 0);
156                  if (p_shm == (void *)-1)                  if (p_shm == (void *)-1)
157                  {                  {
158                          log_error("shmat(shmid = %d) error (%d)\n", shmid, errno);                          log_error("shmat(shmid = %d) error (%d)\n", shmid, errno);
159                          section_data_pool_cleanup();                          article_block_cleanup();
160                          return -3;                          return -3;
161                  }                  }
162    
163                  (p_article_block_shm_pool + article_block_shm_count)->shmid = shmid;                  (p_article_block_pool->shm_pool + p_article_block_pool->shm_count)->shmid = shmid;
164                  (p_article_block_shm_pool + article_block_shm_count)->p_shm = p_shm;                  (p_article_block_pool->shm_pool + p_article_block_pool->shm_count)->p_shm = p_shm;
165                  article_block_shm_count++;                  p_article_block_pool->shm_count++;
166    
167                  p_article_block_in_shm = p_shm;                  p_block_in_shm = p_shm;
168                  *pp_article_block_next = p_article_block_in_shm;                  *pp_block_next = p_block_in_shm;
169    
170                  for (i = 0; i < article_block_count_in_shm; i++)                  for (i = 0; i < block_count_in_shm; i++)
171                  {                  {
172                          if (i < article_block_count_in_shm - 1)                          if (i < block_count_in_shm - 1)
173                          {                          {
174                                  (p_article_block_in_shm + i)->p_next_block = (p_article_block_in_shm + i + 1);                                  (p_block_in_shm + i)->p_next_block = (p_block_in_shm + i + 1);
175                          }                          }
176                          else                          else
177                          {                          {
178                                  (p_article_block_in_shm + i)->p_next_block = NULL;                                  (p_block_in_shm + i)->p_next_block = NULL;
179                                  pp_article_block_next = &((p_article_block_in_shm + i)->p_next_block);                                  pp_block_next = &((p_block_in_shm + i)->p_next_block);
180                          }                          }
181                  }                  }
182          }          }
183    
184            p_article_block_pool->block_count = 0;
185    
186          return 0;          return 0;
187  }  }
188    
189  void section_data_pool_cleanup(void)  void article_block_cleanup(void)
190  {  {
191          int i;          int shmid;
192    
193            if (p_article_block_pool == NULL)
194            {
195                    return;
196            }
197    
198            for (int i = 0; i < p_article_block_pool->shm_count; i++)
199            {
200                    if (shmdt((p_article_block_pool->shm_pool + i)->p_shm) == -1)
201                    {
202                            log_error("shmdt(shmid = %d) error (%d)\n", (p_article_block_pool->shm_pool + i)->shmid, errno);
203                    }
204    
205                    if (shmctl((p_article_block_pool->shm_pool + i)->shmid, IPC_RMID, NULL) == -1)
206                    {
207                            log_error("shmctl(shmid = %d, IPC_RMID) error (%d)\n", (p_article_block_pool->shm_pool + i)->shmid, errno);
208                    }
209            }
210    
211            shmid = p_article_block_pool->shmid;
212    
213          if (p_trie_dict_section_data != NULL)          if (shmdt(p_article_block_pool) == -1)
214          {          {
215                  trie_dict_destroy(p_trie_dict_section_data);                  log_error("shmdt(shmid = %d) error (%d)\n", shmid, errno);
                 p_trie_dict_section_data = NULL;  
                 section_data_count = 0;  
216          }          }
217    
218          if (p_section_data_pool != NULL)          if (shmctl(shmid, IPC_RMID, NULL) == -1)
219          {          {
220                  free(p_section_data_pool);                  log_error("shmctl(shmid = %d, IPC_RMID) error (%d)\n", shmid, errno);
                 p_section_data_pool = NULL;  
221          }          }
222    
223          if (p_article_block_free_list != NULL)          p_article_block_pool = NULL;
224    }
225    
226    int set_article_block_shm_readonly(void)
227    {
228            int shmid;
229            void *p_shm;
230            int i;
231    
232            if (p_article_block_pool == NULL)
233          {          {
234                  p_article_block_free_list = NULL;                  log_error("article_block_pool not initialized\n");
235                    return -1;
236          }          }
237    
238          if (p_article_block_shm_pool != NULL)          for (i = 0; i < p_article_block_pool->shm_count; i++)
239          {          {
240                  for (i = 0; i < article_block_shm_count; i++)                  shmid = (p_article_block_pool->shm_pool + i)->shmid;
241    
242                    // Remap shared memory in read-only mode
243                    p_shm = shmat(shmid, (p_article_block_pool->shm_pool + i)->p_shm, SHM_RDONLY | SHM_REMAP);
244                    if (p_shm == (void *)-1)
245                  {                  {
246                          if (shmdt((p_article_block_shm_pool + i)->p_shm) == -1)                          log_error("shmat(article_block_pool shmid = %d) error (%d)\n", shmid, errno);
247                          {                          return -2;
248                                  log_error("shmdt(shmid = %d) error (%d)\n", (p_article_block_shm_pool + i)->shmid, errno);                  }
249                          }          }
250    
251                          if (shmctl((p_article_block_shm_pool + i)->shmid, IPC_RMID, NULL) == -1)          return 0;
252                          {  }
253                                  log_error("shmctl(shmid = %d, IPC_RMID) error (%d)\n", (p_article_block_shm_pool + i)->shmid, errno);  
254                          }  int detach_article_block_shm(void)
255    {
256            int shmid;
257    
258            if (p_article_block_pool == NULL)
259            {
260                    return -1;
261            }
262    
263            for (int i = 0; i < p_article_block_pool->shm_count; i++)
264            {
265                    if ((p_article_block_pool->shm_pool + i)->p_shm != NULL && shmdt((p_article_block_pool->shm_pool + i)->p_shm) == -1)
266                    {
267                            log_error("shmdt(shmid = %d) error (%d)\n", (p_article_block_pool->shm_pool + i)->shmid, errno);
268                            return -2;
269                  }                  }
270            }
271    
272            shmid = p_article_block_pool->shmid;
273    
274                  p_article_block_shm_pool = NULL;          if (shmdt(p_article_block_pool) == -1)
275                  article_block_shm_count = 0;          {
276                    log_error("shmdt(shmid = %d) error (%d)\n", shmid, errno);
277                    return -3;
278          }          }
279    
280            p_article_block_pool = NULL;
281    
282            return 0;
283  }  }
284    
285  inline static ARTICLE_BLOCK *pop_free_article_block(void)  inline static ARTICLE_BLOCK *pop_free_article_block(void)
286  {  {
287          ARTICLE_BLOCK *p_article_block = NULL;          ARTICLE_BLOCK *p_block = NULL;
288    
289          if (p_article_block_free_list != NULL)          if (p_article_block_pool->p_block_free_list != NULL)
290          {          {
291                  p_article_block = p_article_block_free_list;                  p_block = p_article_block_pool->p_block_free_list;
292                  p_article_block_free_list = p_article_block_free_list->p_next_block;                  p_article_block_pool->p_block_free_list = p_block->p_next_block;
293                    p_block->p_next_block = NULL;
294                    p_block->article_count = 0;
295          }          }
296    
297          return p_article_block;          return p_block;
298  }  }
299    
300  inline static void push_free_article_block(ARTICLE_BLOCK *p_article_block)  inline static void push_free_article_block(ARTICLE_BLOCK *p_block)
301  {  {
302          p_article_block->p_next_block = p_article_block_free_list;          p_block->p_next_block = p_article_block_pool->p_block_free_list;
303          p_article_block_free_list = p_article_block;          p_article_block_pool->p_block_free_list = p_block;
304  }  }
305    
306  SECTION_DATA *section_data_create(const char *sname, const char *stitle, const char *master_name)  int article_block_reset(void)
307  {  {
308          SECTION_DATA *p_section;          ARTICLE_BLOCK *p_block;
         int index;  
309    
310          if (p_section_data_pool == NULL || p_trie_dict_section_data == NULL)          if (p_article_block_pool == NULL)
311          {          {
312                  log_error("section_data not initialized\n");                  log_error("article_block_pool not initialized\n");
313                    return -1;
314            }
315    
316            while (p_article_block_pool->block_count > 0)
317            {
318                    p_article_block_pool->block_count--;
319                    p_block = p_article_block_pool->p_block[p_article_block_pool->block_count];
320                    push_free_article_block(p_block);
321            }
322    
323            return 0;
324    }
325    
326    ARTICLE *article_block_find_by_aid(int32_t aid)
327    {
328            ARTICLE_BLOCK *p_block;
329            int left;
330            int right;
331            int mid;
332    
333            if (p_article_block_pool == NULL)
334            {
335                    log_error("article_block_pool not initialized\n");
336                  return NULL;                  return NULL;
337          }          }
338    
339          if (section_data_count >= BBS_max_section)          if (p_article_block_pool->block_count == 0) // empty
340          {          {
                 log_error("section_data_count exceed limit %d\n", BBS_max_section);  
341                  return NULL;                  return NULL;
342          }          }
343    
344          index = section_data_count;          left = 0;
345          p_section = p_section_data_pool + index;          right = p_article_block_pool->block_count;
346    
347          strncpy(p_section->sname, sname, sizeof(p_section->sname - 1));          // aid in the range [ head aid of blocks[left], tail aid of blocks[right - 1] ]
348          p_section->sname[sizeof(p_section->sname - 1)] = '\0';          while (left < right - 1)
349            {
350                    // get block offset no less than mid value of left and right block offsets
351                    mid = (left + right) / 2 + (right - left) % 2;
352    
353          strncpy(p_section->stitle, stitle, sizeof(p_section->stitle - 1));                  if (mid >= p_article_block_pool->block_count)
354          p_section->stitle[sizeof(p_section->stitle - 1)] = '\0';                  {
355                            log_error("block(mid = %d) is out of boundary\n", mid);
356                            return NULL;
357                    }
358    
359          strncpy(p_section->master_name, master_name, sizeof(p_section->master_name - 1));                  if (aid < p_article_block_pool->p_block[mid]->articles[0].aid)
360          p_section->master_name[sizeof(p_section->master_name - 1)] = '\0';                  {
361                            right = mid;
362                    }
363                    else
364                    {
365                            left = mid;
366                    }
367            }
368    
369          p_section->p_head_block = NULL;          p_block = p_article_block_pool->p_block[left];
370          p_section->p_tail_block = NULL;  
371          p_section->block_count = 0;          left = 0;
372          p_section->article_count = 0;          right = p_block->article_count - 1;
         p_section->delete_count = 0;  
373    
374          if (trie_dict_set(p_trie_dict_section_data, sname, index) != 1)          // aid in the range [ aid of articles[left], aid of articles[right] ]
375            while (left < right)
376          {          {
377                  log_error("trie_dict_set(section_data, %s, %d) error\n", sname, index);                  mid = (left + right) / 2;
378                  return NULL;  
379                    if (aid <= p_block->articles[mid].aid)
380                    {
381                            right = mid;
382                    }
383                    else
384                    {
385                            left = mid + 1;
386                    }
387          }          }
388    
389          section_data_count++;          if (aid != p_block->articles[left].aid) // not found
390            {
391                    return NULL;
392            }
393    
394          return p_section;          return (p_block->articles + left); // found
395  }  }
396    
397  int section_data_free_block(SECTION_DATA *p_section)  ARTICLE *article_block_find_by_index(int index)
398  {  {
399          ARTICLE_BLOCK *p_block;          ARTICLE_BLOCK *p_block;
400    
401          if (p_section == NULL)          if (p_article_block_pool == NULL)
402            {
403                    log_error("article_block_pool not initialized\n");
404                    return NULL;
405            }
406    
407            if (index < 0 || index / ARTICLE_PER_BLOCK >= p_article_block_pool->block_count)
408            {
409                    log_error("article_block_find_by_index(%d) is out of boundary of block [0, %d)\n", index, p_article_block_pool->block_count);
410                    return NULL;
411            }
412    
413            p_block = p_article_block_pool->p_block[index / ARTICLE_PER_BLOCK];
414    
415            if (index % ARTICLE_PER_BLOCK >= p_block->article_count)
416            {
417                    log_error("article_block_find_by_index(%d) is out of boundary of article [0, %d)\n", index, p_block->article_count);
418                    return NULL;
419            }
420    
421            return (p_block->articles + (index % ARTICLE_PER_BLOCK));
422    }
423    
424    extern int section_list_init(const char *filename)
425    {
426            int semid;
427            int shmid;
428            int proj_id;
429            key_t key;
430            size_t size;
431            void *p_shm;
432            union semun arg;
433            int i;
434    
435            if (p_section_list_pool != NULL)
436            {
437                    section_list_cleanup();
438            }
439    
440            proj_id = (int)(time(NULL) % getpid());
441            key = ftok(filename, proj_id);
442            if (key == -1)
443          {          {
444                  log_error("section_data_free_block() NULL pointer error\n");                  log_error("ftok(%s, %d) error (%d)\n", filename, proj_id, errno);
445                    return -3;
446            }
447    
448            // Allocate shared memory
449            size = sizeof(SECTION_LIST_POOL);
450            shmid = shmget(key, size, IPC_CREAT | IPC_EXCL | 0600);
451            if (shmid == -1)
452            {
453                    log_error("shmget(section_list_pool_shm, size = %d) error (%d)\n", size, errno);
454                    return -3;
455            }
456            p_shm = shmat(shmid, NULL, 0);
457            if (p_shm == (void *)-1)
458            {
459                    log_error("shmat(shmid = %d) error (%d)\n", shmid, errno);
460                    return -3;
461            }
462    
463            p_section_list_pool = p_shm;
464            p_section_list_pool->shmid = shmid;
465            p_section_list_pool->section_count = 0;
466    
467            // Allocate semaphore as section locks
468            size = 2 * (BBS_max_section + 1); // r_sem and w_sem per section, the last pair for all sections
469            semid = semget(key, (int)size, IPC_CREAT | IPC_EXCL | 0600);
470            if (semid == -1)
471            {
472                    log_error("semget(section_list_pool_sem, size = %d) error (%d)\n", size, errno);
473                    return -3;
474            }
475    
476            // Initialize sem value to 0
477            arg.val = 0;
478            for (i = 0; i < size; i++)
479            {
480                    if (semctl(semid, i, SETVAL, arg) == -1)
481                    {
482                            log_error("semctl(section_list_pool_sem, SETVAL) error (%d)\n", errno);
483                            return -3;
484                    }
485            }
486    
487            p_section_list_pool->semid = semid;
488    
489            p_section_list_pool->p_trie_dict_section_by_name = trie_dict_create();
490            if (p_section_list_pool->p_trie_dict_section_by_name == NULL)
491            {
492                    log_error("trie_dict_create() OOM\n", BBS_max_section);
493                    return -2;
494            }
495    
496            p_section_list_pool->p_trie_dict_section_by_sid = trie_dict_create();
497            if (p_section_list_pool->p_trie_dict_section_by_sid == NULL)
498            {
499                    log_error("trie_dict_create() OOM\n", BBS_max_section);
500                    return -2;
501            }
502    
503            return 0;
504    }
505    
506    void section_list_cleanup(void)
507    {
508            int shmid;
509    
510            if (p_section_list_pool == NULL)
511            {
512                    return;
513            }
514    
515            if (p_section_list_pool->p_trie_dict_section_by_name != NULL)
516            {
517                    trie_dict_destroy(p_section_list_pool->p_trie_dict_section_by_name);
518                    p_section_list_pool->p_trie_dict_section_by_name = NULL;
519            }
520    
521            if (p_section_list_pool->p_trie_dict_section_by_sid != NULL)
522            {
523                    trie_dict_destroy(p_section_list_pool->p_trie_dict_section_by_sid);
524                    p_section_list_pool->p_trie_dict_section_by_sid = NULL;
525            }
526    
527            shmid = p_section_list_pool->shmid;
528    
529            if (semctl(p_section_list_pool->semid, 0, IPC_RMID) == -1)
530            {
531                    log_error("semctl(semid = %d, IPC_RMID) error (%d)\n", p_section_list_pool->semid, errno);
532            }
533    
534            if (shmdt(p_section_list_pool) == -1)
535            {
536                    log_error("shmdt(shmid = %d) error (%d)\n", shmid, errno);
537            }
538    
539            if (shmctl(shmid, IPC_RMID, NULL) == -1)
540            {
541                    log_error("shmctl(shmid = %d, IPC_RMID) error (%d)\n", shmid, errno);
542            }
543    
544            p_section_list_pool = NULL;
545    }
546    
547    int set_section_list_shm_readonly(void)
548    {
549            int shmid;
550            void *p_shm;
551    
552            if (p_section_list_pool == NULL)
553            {
554                    log_error("p_section_list_pool not initialized\n");
555                  return -1;                  return -1;
556          }          }
557    
558          if (p_section_data_pool == NULL)          shmid = p_section_list_pool->shmid;
559    
560            // Remap shared memory in read-only mode
561            p_shm = shmat(shmid, p_section_list_pool, SHM_RDONLY | SHM_REMAP);
562            if (p_shm == (void *)-1)
563            {
564                    log_error("shmat(section_list_pool shmid = %d) error (%d)\n", shmid, errno);
565                    return -3;
566            }
567    
568            p_section_list_pool = p_shm;
569    
570            return 0;
571    }
572    
573    int detach_section_list_shm(void)
574    {
575            if (p_section_list_pool != NULL && shmdt(p_section_list_pool) == -1)
576          {          {
577                  log_error("section_data not initialized\n");                  log_error("shmdt(section_list_pool) error (%d)\n", errno);
578                  return -1;                  return -1;
579          }          }
580    
581          while (p_section->p_head_block != NULL)          p_section_list_pool = NULL;
582    
583            return 0;
584    }
585    
586    inline static void sid_to_str(int32_t sid, char *p_sid_str)
587    {
588            uint32_t u_sid;
589            int i;
590    
591            u_sid = (uint32_t)sid;
592            for (i = 0; i < SID_STR_LEN - 1; i++)
593          {          {
594                  p_block = p_section->p_head_block;                  p_sid_str[i] = (char)(u_sid % 255 + 1);
595                  p_section->p_head_block = p_block->p_next_block;                  u_sid /= 255;
                 push_free_article_block(p_block);  
596          }          }
597            p_sid_str[i] = '\0';
598    }
599    
600          p_section->p_tail_block = NULL;  SECTION_LIST *section_list_create(int32_t sid, const char *sname, const char *stitle, const char *master_list)
601          p_section->block_count = 0;  {
602          p_section->article_count = 0;          SECTION_LIST *p_section;
603          p_section->delete_count = 0;          char sid_str[SID_STR_LEN];
604    
605            if (p_section_list_pool == NULL)
606            {
607                    log_error("session_list_pool not initialized\n");
608                    return NULL;
609            }
610    
611            if (p_section_list_pool->section_count >= BBS_max_section)
612            {
613                    log_error("section_count reach limit %d >= %d\n", p_section_list_pool->section_count, BBS_max_section);
614                    return NULL;
615            }
616    
617            sid_to_str(sid, sid_str);
618    
619            p_section = p_section_list_pool->sections + p_section_list_pool->section_count;
620    
621            p_section->sid = sid;
622            p_section->ex_menu_tm = 0;
623    
624            strncpy(p_section->sname, sname, sizeof(p_section->sname) - 1);
625            p_section->sname[sizeof(p_section->sname) - 1] = '\0';
626    
627            strncpy(p_section->stitle, stitle, sizeof(p_section->stitle) - 1);
628            p_section->stitle[sizeof(p_section->stitle) - 1] = '\0';
629    
630            strncpy(p_section->master_list, master_list, sizeof(p_section->master_list) - 1);
631            p_section->master_list[sizeof(p_section->master_list) - 1] = '\0';
632    
633            if (trie_dict_set(p_section_list_pool->p_trie_dict_section_by_name, sname, p_section_list_pool->section_count) != 1)
634            {
635                    log_error("trie_dict_set(section, %s, %d) error\n", sname, p_section_list_pool->section_count);
636                    return NULL;
637            }
638    
639            if (trie_dict_set(p_section_list_pool->p_trie_dict_section_by_sid, sid_str, p_section_list_pool->section_count) != 1)
640            {
641                    log_error("trie_dict_set(section, %d, %d) error\n", sid, p_section_list_pool->section_count);
642                    return NULL;
643            }
644    
645            section_list_reset_articles(p_section);
646    
647            p_section_list_pool->section_count++;
648    
649            return p_section;
650    }
651    
652    int section_list_update(SECTION_LIST *p_section, const char *sname, const char *stitle, const char *master_list)
653    {
654            if (p_section == NULL || sname == NULL || stitle == NULL || master_list == NULL)
655            {
656                    log_error("NULL pointer error\n");
657                    return -1;
658            }
659    
660            strncpy(p_section->sname, sname, sizeof(p_section->sname) - 1);
661            p_section->sname[sizeof(p_section->sname) - 1] = '\0';
662    
663            strncpy(p_section->stitle, stitle, sizeof(p_section->stitle) - 1);
664            p_section->stitle[sizeof(p_section->stitle) - 1] = '\0';
665    
666            strncpy(p_section->master_list, master_list, sizeof(p_section->master_list) - 1);
667            p_section->master_list[sizeof(p_section->master_list) - 1] = '\0';
668    
669            if (trie_dict_set(p_section_list_pool->p_trie_dict_section_by_name, sname, p_section_list_pool->section_count) != 1)
670            {
671                    log_error("trie_dict_set(section, %s, %d) error\n", sname, p_section_list_pool->section_count);
672                    return -2;
673            }
674    
675          return 0;          return 0;
676  }  }
677    
678  SECTION_DATA *section_data_find_by_name(const char *sname)  void section_list_reset_articles(SECTION_LIST *p_section)
679    {
680            p_section->article_count = 0;
681            p_section->topic_count = 0;
682            p_section->visible_article_count = 0;
683            p_section->visible_topic_count = 0;
684            p_section->p_article_head = NULL;
685            p_section->p_article_tail = NULL;
686    
687            p_section->page_count = 0;
688            p_section->last_page_visible_article_count = 0;
689    
690            p_section->ontop_article_count = 0;
691    }
692    
693    SECTION_LIST *section_list_find_by_name(const char *sname)
694  {  {
695          int64_t index;          int64_t index;
696            int ret;
697    
698          if (p_section_data_pool == NULL || p_trie_dict_section_data == NULL)          if (p_section_list_pool == NULL)
699          {          {
700                  log_error("section_data not initialized\n");                  log_error("section_list not initialized\n");
701                  return NULL;                  return NULL;
702          }          }
703    
704          if (trie_dict_get(p_trie_dict_section_data, sname, &index) != 1)          ret = trie_dict_get(p_section_list_pool->p_trie_dict_section_by_name, sname, &index);
705            if (ret < 0)
706            {
707                    log_error("trie_dict_get(section, %s) error\n", sname);
708                    return NULL;
709            }
710            else if (ret == 0)
711          {          {
                 log_error("trie_dict_get(section_data, %s) error\n", sname);  
712                  return NULL;                  return NULL;
713          }          }
714    
715          return (p_section_data_pool + index);          return (p_section_list_pool->sections + index);
716  }  }
717    
718  int section_data_append_article(SECTION_DATA *p_section, const ARTICLE *p_article)  SECTION_LIST *section_list_find_by_sid(int32_t sid)
719    {
720            int64_t index;
721            int ret;
722            char sid_str[SID_STR_LEN];
723    
724            if (p_section_list_pool == NULL)
725            {
726                    log_error("section_list not initialized\n");
727                    return NULL;
728            }
729    
730            sid_to_str(sid, sid_str);
731    
732            ret = trie_dict_get(p_section_list_pool->p_trie_dict_section_by_sid, sid_str, &index);
733            if (ret < 0)
734            {
735                    log_error("trie_dict_get(section, %d) error\n", sid);
736                    return NULL;
737            }
738            else if (ret == 0)
739            {
740                    return NULL;
741            }
742    
743            return (p_section_list_pool->sections + index);
744    }
745    
746    int section_list_append_article(SECTION_LIST *p_section, const ARTICLE *p_article_src)
747  {  {
748          ARTICLE_BLOCK *p_block;          ARTICLE_BLOCK *p_block;
749          int32_t last_aid = 0;          int32_t last_aid = 0;
750            ARTICLE *p_article;
751          ARTICLE *p_topic_head;          ARTICLE *p_topic_head;
752          ARTICLE *p_topic_tail;          ARTICLE *p_topic_tail;
753    
754          if (p_section == NULL || p_article == NULL)          if (p_section == NULL || p_article_src == NULL)
755          {          {
756                  log_error("section_data_append_article() NULL pointer error\n");                  log_error("NULL pointer error\n");
757                  return -1;                  return -1;
758          }          }
759    
760          if (p_section_data_pool == NULL)          if (p_article_block_pool == NULL)
761          {          {
762                  log_error("section_data not initialized\n");                  log_error("article_block_pool not initialized\n");
763                  return -1;                  return -1;
764          }          }
765    
766          if (p_section->p_tail_block == NULL || p_section->p_tail_block->article_count >= BBS_article_limit_per_block)          if (p_section->sid != p_article_src->sid)
767          {          {
768                  if (p_section->block_count >= BBS_article_block_limit_per_section)                  log_error("section_list_append_article() error: section sid %d != article sid %d\n", p_section->sid, p_article_src->sid);
769                  {                  return -2;
770                          log_error("section block count %d reach limit\n", p_section->block_count);          }
                         return -2;  
                 }  
771    
772            if (p_section->article_count >= BBS_article_limit_per_section)
773            {
774                    log_error("section_list_append_article() error: article_count reach limit in section %d\n", p_section->sid);
775                    return -2;
776            }
777    
778            if (p_article_block_pool->block_count == 0 ||
779                    p_article_block_pool->p_block[p_article_block_pool->block_count - 1]->article_count >= ARTICLE_PER_BLOCK)
780            {
781                  if ((p_block = pop_free_article_block()) == NULL)                  if ((p_block = pop_free_article_block()) == NULL)
782                  {                  {
783                          log_error("pop_free_article_block() error\n");                          log_error("pop_free_article_block() error\n");
784                          return -2;                          return -2;
785                  }                  }
786    
787                  p_block->article_count = 0;                  if (p_article_block_pool->block_count > 0)
                 p_block->p_next_block = NULL;  
   
                 if (p_section->p_tail_block == NULL)  
                 {  
                         p_section->p_head_block = p_block;  
                         last_aid = 0;  
                 }  
                 else  
788                  {                  {
789                          p_section->p_tail_block->p_next_block = p_block;                          last_aid = p_article_block_pool->p_block[p_article_block_pool->block_count - 1]->articles[ARTICLE_PER_BLOCK - 1].aid;
                         last_aid = p_section->p_tail_block->articles[BBS_article_limit_per_block - 1].aid;  
790                  }                  }
791                  p_section->p_tail_block = p_block;  
792                  p_section->p_block[p_section->block_count] = p_block;                  p_article_block_pool->p_block[p_article_block_pool->block_count] = p_block;
793                  p_section->block_count++;                  p_article_block_pool->block_count++;
794          }          }
795          else          else
796          {          {
797                  p_block = p_section->p_tail_block;                  p_block = p_article_block_pool->p_block[p_article_block_pool->block_count - 1];
798                  last_aid = p_block->articles[p_block->article_count - 1].aid;                  last_aid = p_block->articles[p_block->article_count - 1].aid;
799          }          }
800    
801          // AID of articles should be strictly ascending          // AID of articles should be strictly ascending
802          if (p_article->aid <= last_aid)          if (p_article_src->aid <= last_aid)
803          {          {
804                  log_error("section_data_append_article(aid=%d) error: last_aid=%d\n", p_article->aid, last_aid);                  log_error("section_list_append_article(aid=%d) error: last_aid=%d\n", p_article_src->aid, last_aid);
805                  return -3;                  return -3;
806          }          }
807    
808          if (p_block->article_count == 0)          p_article = (p_block->articles + p_block->article_count);
809            p_block->article_count++;
810            p_section->article_count++;
811    
812            // Copy article data
813            *p_article = *p_article_src;
814    
815            if (p_article->visible)
816          {          {
817                  p_section->block_head_aid[p_section->block_count - 1] = p_article->aid;                  p_section->visible_article_count++;
818          }          }
819    
820            // Link appended article as tail node of topic bi-directional list
821          if (p_article->tid != 0)          if (p_article->tid != 0)
822          {          {
823                  p_topic_head = section_data_find_article_by_aid(p_section, p_article->tid);                  p_topic_head = article_block_find_by_aid(p_article->tid);
824                  if (p_topic_head == NULL)                  if (p_topic_head == NULL)
825                  {                  {
826                          log_error("search head of topic (aid=%d) error\n", p_article->tid);                          log_error("search head of topic (aid=%d) error\n", p_article->tid);
827                          return -4;                          return -4;
828                  }                  }
829    
830                  p_topic_tail = section_data_find_article_by_aid(p_section, p_topic_head->prior_aid);                  p_topic_tail = p_topic_head->p_topic_prior;
831                  if (p_topic_tail == NULL)                  if (p_topic_tail == NULL)
832                  {                  {
833                          log_error("search tail of topic (aid=%d) error\n", p_topic_head->prior_aid);                          log_error("tail of topic (aid=%d) is NULL\n", p_article->tid);
834                          return -4;                          return -4;
835                  }                  }
836          }          }
837          else          else
838          {          {
839                  p_topic_head = &(p_block->articles[p_block->article_count]);                  p_section->topic_count++;
840                  p_topic_tail = p_topic_head;  
841                    if (p_article->visible)
842                    {
843                            p_section->visible_topic_count++;
844                    }
845    
846                    p_topic_head = p_article;
847                    p_topic_tail = p_article;
848          }          }
849    
850          // Copy article data          p_article->p_topic_prior = p_topic_tail;
851          p_block->articles[p_block->article_count] = *p_article;          p_article->p_topic_next = p_topic_head;
852            p_topic_head->p_topic_prior = p_article;
853            p_topic_tail->p_topic_next = p_article;
854    
855            // Link appended article as tail node of article bi-directional list
856            if (p_section->p_article_head == NULL)
857            {
858                    p_section->p_article_head = p_article;
859                    p_section->p_article_tail = p_article;
860            }
861            p_article->p_prior = p_section->p_article_tail;
862            p_article->p_next = p_section->p_article_head;
863            p_section->p_article_head->p_prior = p_article;
864            p_section->p_article_tail->p_next = p_article;
865            p_section->p_article_tail = p_article;
866    
867          // Link appended article as tail node of topic bi-directional list;          // Update page
868          p_block->articles[p_block->article_count].prior_aid = p_topic_tail->aid;          if ((p_article->visible && p_section->last_page_visible_article_count % BBS_article_limit_per_page == 0) ||
869          p_block->articles[p_block->article_count].next_aid = p_topic_head->aid;                  p_section->article_count == 1)
870          p_topic_head->prior_aid = p_article->aid;          {
871          p_topic_tail->next_aid = p_article->aid;                  p_section->p_page_first_article[p_section->page_count] = p_article;
872                    p_section->page_count++;
873                    p_section->last_page_visible_article_count = 0;
874            }
875    
876          p_block->article_count++;          if (p_article->visible)
877          p_section->article_count++;          {
878                    p_section->last_page_visible_article_count++;
879            }
880    
881            if (p_article->ontop && section_list_update_article_ontop(p_section, p_article) < 0)
882            {
883                    log_error("section_list_update_article_ontop(sid=%d, aid=%d) error\n",
884                                      p_section->sid, p_article->aid);
885                    return -5;
886            }
887    
888          return 0;          return 0;
889  }  }
890    
891  ARTICLE *section_data_find_article_by_aid(SECTION_DATA *p_section, int32_t aid)  int section_list_set_article_visible(SECTION_LIST *p_section, int32_t aid, int8_t visible)
892    {
893            ARTICLE *p_article;
894            ARTICLE *p_reply;
895            int affected_count = 0;
896    
897            if (p_section == NULL)
898            {
899                    log_error("NULL pointer error\n");
900                    return -1;
901            }
902    
903            p_article = article_block_find_by_aid(aid);
904            if (p_article == NULL)
905            {
906                    return -1; // Not found
907            }
908    
909            if (p_section->sid != p_article->sid)
910            {
911                    log_error("Inconsistent section sid %d != article sid %d\n", p_section->sid, p_article->sid);
912                    return -2;
913            }
914    
915            if (p_article->visible == visible)
916            {
917                    return 0; // Already set
918            }
919    
920            if (visible == 0) // 1 -> 0
921            {
922                    p_section->visible_article_count--;
923    
924                    if (p_article->tid == 0)
925                    {
926                            p_section->visible_topic_count--;
927    
928                            // Set related visible replies to invisible
929                            for (p_reply = p_article->p_topic_next; p_reply->tid != 0; p_reply = p_reply->p_topic_next)
930                            {
931                                    if (p_reply->tid != aid)
932                                    {
933                                            log_error("Inconsistent tid = %d found in reply %d of topic %d\n", p_reply->tid, p_reply->aid, aid);
934                                            continue;
935                                    }
936    
937                                    if (p_reply->visible == 1)
938                                    {
939                                            p_reply->visible = 0;
940                                            p_section->visible_article_count--;
941                                            affected_count++;
942                                    }
943                            }
944                    }
945            }
946            else // 0 -> 1
947            {
948                    p_section->visible_article_count++;
949    
950                    if (p_article->tid == 0)
951                    {
952                            p_section->visible_topic_count++;
953                    }
954            }
955    
956            p_article->visible = visible;
957            affected_count++;
958    
959            return affected_count;
960    }
961    
962    int section_list_update_article_ontop(SECTION_LIST *p_section, ARTICLE *p_article)
963    {
964            int i;
965    
966            if (p_section == NULL || p_article == NULL)
967            {
968                    log_error("NULL pointer error\n");
969                    return -1;
970            }
971    
972            if (p_section->sid != p_article->sid)
973            {
974                    log_error("Inconsistent section sid %d != article sid %d\n", p_section->sid, p_article->sid);
975                    return -2;
976            }
977    
978            if (p_article->ontop)
979            {
980                    for (i = 0; i < p_section->ontop_article_count; i++)
981                    {
982                            if (p_section->p_ontop_articles[i]->aid == p_article->aid)
983                            {
984                                    log_error("Inconsistent state found: article %d already ontop in section %d\n", p_article->aid, p_section->sid);
985                                    return 0;
986                            }
987                            else if (p_section->p_ontop_articles[i]->aid > p_article->aid)
988                            {
989                                    break;
990                            }
991                    }
992    
993                    // Remove the oldest one if the array of ontop articles is full
994                    if (p_section->ontop_article_count >= BBS_ontop_article_limit_per_section)
995                    {
996                            if (i == 0) // p_article is the oldest one
997                            {
998                                    return 0;
999                            }
1000                            memmove((void *)(p_section->p_ontop_articles),
1001                                            (void *)(p_section->p_ontop_articles + 1),
1002                                            sizeof(ARTICLE *) * (size_t)(i - 1));
1003                            p_section->ontop_article_count--;
1004                            i--;
1005                    }
1006                    else
1007                    {
1008                            memmove((void *)(p_section->p_ontop_articles + i + 1),
1009                                            (void *)(p_section->p_ontop_articles + i),
1010                                            sizeof(ARTICLE *) * (size_t)(p_section->ontop_article_count - i));
1011                    }
1012    
1013                    p_section->p_ontop_articles[i] = p_article;
1014                    p_section->ontop_article_count++;
1015    
1016                    // TODO: debug
1017            }
1018            else // ontop == 0
1019            {
1020                    for (i = 0; i < p_section->ontop_article_count; i++)
1021                    {
1022                            if (p_section->p_ontop_articles[i]->aid == p_article->aid)
1023                            {
1024                                    break;
1025                            }
1026                    }
1027                    if (i == p_section->ontop_article_count) // not found
1028                    {
1029                            log_error("Inconsistent state found: article %d not ontop in section %d\n", p_article->aid, p_section->sid);
1030                            return 0;
1031                    }
1032    
1033                    memmove((void *)(p_section->p_ontop_articles + i),
1034                                    (void *)(p_section->p_ontop_articles + i + 1),
1035                                    sizeof(ARTICLE *) * (size_t)(p_section->ontop_article_count - i - 1));
1036                    p_section->ontop_article_count--;
1037            }
1038    
1039            return 0;
1040    }
1041    
1042    int section_list_page_count_with_ontop(SECTION_LIST *p_section)
1043    {
1044            int page_count;
1045    
1046            if (p_section == NULL)
1047            {
1048                    log_error("NULL pointer error\n");
1049                    return -1;
1050            }
1051    
1052            page_count = p_section->page_count - (p_section->last_page_visible_article_count > 0 ? 1 : 0) +
1053                                     (p_section->last_page_visible_article_count + p_section->ontop_article_count) / BBS_article_limit_per_page +
1054                                     ((p_section->last_page_visible_article_count + p_section->ontop_article_count) % BBS_article_limit_per_page == 0 ? 0 : 1);
1055    
1056            return page_count;
1057    }
1058    
1059    int section_list_page_article_count_with_ontop(SECTION_LIST *p_section, int32_t page_id)
1060    {
1061            if (p_section == NULL)
1062            {
1063                    log_error("NULL pointer error\n");
1064                    return -1;
1065            }
1066    
1067            if (page_id < p_section->page_count - 1)
1068            {
1069                    return BBS_article_limit_per_page;
1070            }
1071            else // if (page_id >= p_section->page_count - 1)
1072            {
1073                    return MAX(0, (p_section->last_page_visible_article_count + p_section->ontop_article_count -
1074                                               BBS_article_limit_per_page * (page_id - p_section->page_count + 1)));
1075            }
1076    }
1077    
1078    ARTICLE *section_list_find_article_with_offset(SECTION_LIST *p_section, int32_t aid, int32_t *p_page, int32_t *p_offset, ARTICLE **pp_next)
1079  {  {
1080          ARTICLE *p_article;          ARTICLE *p_article;
         ARTICLE_BLOCK *p_block;  
1081          int left;          int left;
1082          int right;          int right;
1083          int mid;          int mid;
1084    
1085            *p_page = -1;
1086            *p_offset = -1;
1087            *pp_next = NULL;
1088    
1089          if (p_section == NULL)          if (p_section == NULL)
1090          {          {
1091                  log_error("section_data_find_article_by_aid() NULL pointer error\n");                  log_error("NULL pointer error\n");
1092                  return NULL;                  return NULL;
1093          }          }
1094    
1095          if (p_section->block_count == 0) // empty section          if (p_section->article_count == 0) // empty
1096          {          {
1097                    *p_page = 0;
1098                    *p_offset = 0;
1099                  return NULL;                  return NULL;
1100          }          }
1101    
1102          left = 0;          left = 0;
1103          right = p_section->block_count;          right = p_section->page_count;
1104    
1105          // aid in the range [ head aid of blocks[left], tail aid of blocks[right - 1] ]          // aid in the range [ head aid of pages[left], tail aid of pages[right - 1] ]
1106          while (left < right - 1)          while (left < right - 1)
1107          {          {
1108                  // get block offset no less than mid value of left and right block offsets                  // get page id no less than mid value of left page id and right page id
1109                  mid = (left + right) / 2 + (right - left) % 2;                  mid = (left + right) / 2 + (right - left) % 2;
1110                    
1111                  if (mid >= BBS_article_block_limit_per_section)                  if (mid >= p_section->page_count)
1112                  {                  {
1113                          log_error("block_m(%d) is out of boundary\n", mid);                          log_error("page id (mid = %d) is out of boundary\n", mid);
1114                          return NULL;                          return NULL;
1115                  }                  }
1116    
1117                  if (aid < p_section->block_head_aid[mid])                  if (aid < p_section->p_page_first_article[mid]->aid)
1118                  {                  {
1119                          right = mid;                          right = mid;
1120                  }                  }
# Line 461  ARTICLE *section_data_find_article_by_ai Line 1124  ARTICLE *section_data_find_article_by_ai
1124                  }                  }
1125          }          }
1126    
1127          p_block = p_section->p_block[left];          *p_page = left;
1128    
1129            p_article = p_section->p_page_first_article[*p_page];
1130    
1131            // p_section->p_page_first_article[*p_page]->aid <= aid < p_section->p_page_first_article[*p_page + 1]->aid
1132            right = (*p_page == MAX(0, p_section->page_count - 1) ? INT32_MAX : p_section->p_page_first_article[*p_page + 1]->aid);
1133    
1134            // left will be the offset of article found or offset to insert
1135          left = 0;          left = 0;
         right = p_block->article_count - 1;  
1136    
1137          // aid in the range [ aid of articles[left], aid of articles[right] ]          while (aid > p_article->aid)
         while (left < right)  
1138          {          {
1139                  mid = (left + right) / 2;                  p_article = p_article->p_next;
1140                    left++;
1141    
1142                  if (aid <= p_block->articles[mid].aid)                  if (aid == p_article->aid)
1143                  {                  {
1144                          right = mid;                          *pp_next = p_article->p_next;
1145                            break;
1146                  }                  }
1147                  else  
1148                    // over last article in the page
1149                    if (p_article == p_section->p_article_head || p_article->aid >= right)
1150                  {                  {
1151                          left = mid + 1;                          *pp_next = (p_article == p_section->p_article_head ? p_section->p_article_head : p_section->p_page_first_article[*p_page + 1]);
1152                            *p_offset = left;
1153                            return NULL; // not found
1154                  }                  }
1155          }          }
1156    
1157          p_article = &(p_block->articles[left]);          if (aid < p_article->aid)
1158            {
1159                    *pp_next = p_article;
1160                    p_article = NULL; // not found
1161            }
1162            else // aid == p_article->aid
1163            {
1164                    *pp_next = p_article->p_next;
1165            }
1166    
1167            *p_offset = left;
1168    
1169          return p_article;          return p_article;
1170  }  }
1171    
1172  ARTICLE *section_data_find_article_by_index(SECTION_DATA *p_section, int index)  int section_list_calculate_page(SECTION_LIST *p_section, int32_t start_aid)
1173  {  {
1174          ARTICLE *p_article;          ARTICLE *p_article;
1175          ARTICLE_BLOCK *p_block;          ARTICLE *p_next;
1176            int32_t page;
1177            int32_t offset;
1178            int visible_article_count;
1179            int page_head_set;
1180    
1181          if (p_section == NULL)          if (p_section == NULL)
1182          {          {
1183                  log_error("section_data_find_article_by_index() NULL pointer error\n");                  log_error("NULL pointer error\n");
1184                  return NULL;                  return -1;
1185          }          }
1186    
1187          if (index < 0 || index >= p_section->article_count)          if (p_section->article_count == 0) // empty
1188          {          {
1189                  log_error("section_data_find_article_by_index(%d) is out of boundary [0, %d)\n", index, p_section->article_count);                  p_section->page_count = 0;
1190                  return NULL;                  p_section->last_page_visible_article_count = 0;
1191    
1192                    return 0;
1193          }          }
1194    
1195          p_block = p_section->p_block[index / BBS_article_limit_per_block];          if (start_aid > 0)
1196          p_article = &(p_block->articles[index % BBS_article_limit_per_block]);          {
1197                    p_article = article_block_find_by_aid(start_aid);
1198                    if (p_article == NULL)
1199                    {
1200                            return -1; // Not found
1201                    }
1202    
1203          return p_article;                  if (p_section->sid != p_article->sid)
1204                    {
1205                            log_error("section_list_calculate_page() error: section sid %d != start article sid %d\n", p_section->sid, p_article->sid);
1206                            return -2;
1207                    }
1208    
1209                    p_article = section_list_find_article_with_offset(p_section, start_aid, &page, &offset, &p_next);
1210                    if (p_article == NULL)
1211                    {
1212                            if (page < 0)
1213                            {
1214                                    return -1;
1215                            }
1216                            log_error("section_list_calculate_page() aid = %d not found in section sid = %d\n",
1217                                              start_aid, p_section->sid);
1218                            return -2;
1219                    }
1220    
1221                    if (offset > 0)
1222                    {
1223                            p_article = p_section->p_page_first_article[page];
1224                    }
1225            }
1226            else
1227            {
1228                    p_article = p_section->p_article_head;
1229                    page = 0;
1230                    offset = 0;
1231            }
1232    
1233            visible_article_count = 0;
1234            page_head_set = 0;
1235    
1236            do
1237            {
1238                    if (!page_head_set && visible_article_count == 0)
1239                    {
1240                            p_section->p_page_first_article[page] = p_article;
1241                            page_head_set = 1;
1242                    }
1243    
1244                    if (p_article->visible)
1245                    {
1246                            visible_article_count++;
1247                    }
1248    
1249                    p_article = p_article->p_next;
1250    
1251                    // skip remaining invisible articles
1252                    while (p_article->visible == 0 && p_article != p_section->p_article_head)
1253                    {
1254                            p_article = p_article->p_next;
1255                    }
1256    
1257                    if (visible_article_count >= BBS_article_limit_per_page && p_article != p_section->p_article_head)
1258                    {
1259                            page++;
1260                            visible_article_count = 0;
1261                            page_head_set = 0;
1262    
1263                            if (page >= BBS_article_limit_per_section / BBS_article_limit_per_page && p_article != p_section->p_article_head)
1264                            {
1265                                    log_error("Count of page exceed limit in section %d\n", p_section->sid);
1266                                    break;
1267                            }
1268                    }
1269            } while (p_article != p_section->p_article_head);
1270    
1271            p_section->page_count = page + (visible_article_count > 0 ? 1 : 0);
1272            p_section->last_page_visible_article_count = visible_article_count;
1273    
1274            return 0;
1275    }
1276    
1277    int32_t article_block_last_aid(void)
1278    {
1279            ARTICLE_BLOCK *p_block = p_article_block_pool->p_block[p_article_block_pool->block_count - 1];
1280            int32_t last_aid = p_block->articles[p_block->article_count - 1].aid;
1281    
1282            return last_aid;
1283    }
1284    
1285    int article_block_article_count(void)
1286    {
1287            int ret;
1288    
1289            if (p_article_block_pool == NULL || p_article_block_pool->block_count <= 0)
1290            {
1291                    return -1;
1292            }
1293    
1294            ret = (p_article_block_pool->block_count - 1) * ARTICLE_PER_BLOCK +
1295                      p_article_block_pool->p_block[p_article_block_pool->block_count - 1]->article_count;
1296    
1297            return ret;
1298  }  }
1299    
1300  int section_data_mark_del_article(SECTION_DATA *p_section, int32_t aid)  int article_count_of_topic(int32_t aid)
1301  {  {
1302          ARTICLE *p_article;          ARTICLE *p_article;
1303            int article_count;
1304    
1305            p_article = article_block_find_by_aid(aid);
1306            if (p_article == NULL)
1307            {
1308                    return 0; // Not found
1309            }
1310    
1311            article_count = 0;
1312    
1313            do
1314            {
1315                    if (p_article->tid != 0 && p_article->tid != aid)
1316                    {
1317                            log_error("article_count_of_topic(%d) error: article %d not linked to the topic\n", aid, p_article->aid);
1318                            break;
1319                    }
1320    
1321                    article_count++;
1322                    p_article = p_article->p_topic_next;
1323            } while (p_article->aid != aid);
1324    
1325            return article_count;
1326    }
1327    
1328    int section_list_move_topic(SECTION_LIST *p_section_src, SECTION_LIST *p_section_dest, int32_t aid)
1329    {
1330            ARTICLE *p_article;
1331            ARTICLE *p_next;
1332            int32_t page;
1333            int32_t offset;
1334            int32_t move_article_count;
1335            int32_t dest_article_count_old;
1336            int32_t last_unaffected_aid_src;
1337            int32_t first_inserted_aid_dest;
1338            int move_counter;
1339    
1340            if (p_section_src == NULL || p_section_dest == NULL)
1341            {
1342                    log_error("NULL pointer error\n");
1343                    return -1;
1344            }
1345    
1346            if (p_section_src->sid == p_section_dest->sid)
1347            {
1348                    log_error("section_list_move_topic() src and dest section are the same\n");
1349                    return -1;
1350            }
1351    
1352            if ((p_article = article_block_find_by_aid(aid)) == NULL)
1353            {
1354                    log_error("article_block_find_by_aid(aid = %d) error: article not found\n", aid);
1355                    return -2;
1356            }
1357    
1358            if (p_section_src->sid != p_article->sid)
1359            {
1360                    log_error("section_list_move_topic() error: src section sid %d != article %d sid %d\n",
1361                                      p_section_src->sid, p_article->aid, p_article->sid);
1362                    return -2;
1363            }
1364    
1365            if (p_article->tid != 0)
1366            {
1367                    log_error("section_list_move_topic(aid = %d) error: article is not head of topic, tid = %d\n", aid, p_article->tid);
1368                    return -2;
1369            }
1370    
1371            last_unaffected_aid_src = (p_article == p_section_src->p_article_head ? 0 : p_article->p_prior->aid);
1372    
1373            move_article_count = article_count_of_topic(aid);
1374            if (move_article_count <= 0)
1375            {
1376                    log_error("article_count_of_topic(aid = %d) <= 0\n", aid);
1377                    return -2;
1378            }
1379    
1380            if (p_section_dest->article_count + move_article_count > BBS_article_limit_per_section)
1381            {
1382                    log_error("section_list_move_topic() error: article_count %d reach limit in section %d\n",
1383                                      p_section_dest->article_count + move_article_count, p_section_dest->sid);
1384                    return -3;
1385            }
1386    
1387            dest_article_count_old = p_section_dest->article_count;
1388            move_counter = 0;
1389            first_inserted_aid_dest = p_article->aid;
1390    
1391            do
1392            {
1393                    if (p_section_src->sid != p_article->sid)
1394                    {
1395                            log_error("section_list_move_topic() warning: src section sid %d != article %d sid %d\n",
1396                                              p_section_src->sid, p_article->aid, p_article->sid);
1397                            p_article = p_article->p_topic_next;
1398                            continue;
1399                    }
1400    
1401                    // Remove from bi-directional article list of src section
1402                    if (p_section_src->p_article_head == p_article)
1403                    {
1404                            p_section_src->p_article_head = p_article->p_next;
1405                    }
1406                    if (p_section_src->p_article_tail == p_article)
1407                    {
1408                            p_section_src->p_article_tail = p_article->p_prior;
1409                    }
1410                    if (p_section_src->p_article_head == p_article) // || p_section_src->p_article_tail == p_article
1411                    {
1412                            p_section_src->p_article_head = NULL;
1413                            p_section_src->p_article_tail = NULL;
1414                    }
1415    
1416                    p_article->p_prior->p_next = p_article->p_next;
1417                    p_article->p_next->p_prior = p_article->p_prior;
1418    
1419                    // Update sid of article
1420                    p_article->sid = p_section_dest->sid;
1421    
1422                    if (section_list_find_article_with_offset(p_section_dest, p_article->aid, &page, &offset, &p_next) != NULL)
1423                    {
1424                            log_error("section_list_move_topic() warning: article %d already in section %d\n", p_article->aid, p_section_dest->sid);
1425                            p_article = p_article->p_topic_next;
1426                            continue;
1427                    }
1428    
1429                    // Insert into bi-directional article list of dest section
1430                    if (p_next == NULL) // empty section
1431                    {
1432                            p_section_dest->p_article_head = p_article;
1433                            p_section_dest->p_article_tail = p_article;
1434                            p_article->p_prior = p_article;
1435                            p_article->p_next = p_article;
1436                    }
1437                    else
1438                    {
1439                            if (p_section_dest->p_article_head == p_next)
1440                            {
1441                                    if (p_article->aid < p_next->aid)
1442                                    {
1443                                            p_section_dest->p_article_head = p_article;
1444                                    }
1445                                    else // p_article->aid > p_next->aid
1446                                    {
1447                                            p_section_dest->p_article_tail = p_article;
1448                                    }
1449                            }
1450    
1451                            p_article->p_prior = p_next->p_prior;
1452                            p_article->p_next = p_next;
1453                            p_next->p_prior->p_next = p_article;
1454                            p_next->p_prior = p_article;
1455                    }
1456    
1457                    // Update article / topic counter of src / desc section
1458                    p_section_src->article_count--;
1459                    p_section_dest->article_count++;
1460                    if (p_article->tid == 0)
1461                    {
1462                            p_section_src->topic_count--;
1463                            p_section_dest->topic_count++;
1464                    }
1465    
1466                    // Update visible article / topic counter of src / desc section
1467                    if (p_article->visible)
1468                    {
1469                            p_section_src->visible_article_count--;
1470                            p_section_dest->visible_article_count++;
1471                            if (p_article->tid == 0)
1472                            {
1473                                    p_section_src->visible_topic_count--;
1474                                    p_section_dest->visible_topic_count++;
1475                            }
1476                    }
1477    
1478                    // Update page for empty dest section
1479                    if (p_section_dest->article_count == 1)
1480                    {
1481                            p_section_dest->p_page_first_article[0] = p_article;
1482                            p_section_dest->page_count = 1;
1483                            p_section_dest->last_page_visible_article_count = (p_article->visible ? 1 : 0);
1484                    }
1485    
1486                    p_article = p_article->p_topic_next;
1487    
1488                    move_counter++;
1489                    if (move_counter % CALCULATE_PAGE_THRESHOLD == 0)
1490                    {
1491                            // Re-calculate pages of desc section
1492                            if (section_list_calculate_page(p_section_dest, first_inserted_aid_dest) < 0)
1493                            {
1494                                    log_error("section_list_calculate_page(dest section = %d, aid = %d) error\n",
1495                                                      p_section_dest->sid, first_inserted_aid_dest);
1496                            }
1497    
1498                            first_inserted_aid_dest = p_article->aid;
1499                    }
1500            } while (p_article->aid != aid);
1501    
1502            if (p_section_dest->article_count - dest_article_count_old != move_article_count)
1503            {
1504                    log_error("section_list_move_topic() warning: count of moved articles %d != %d\n",
1505                                      p_section_dest->article_count - dest_article_count_old, move_article_count);
1506            }
1507    
1508            // Re-calculate pages of src section
1509            if (section_list_calculate_page(p_section_src, last_unaffected_aid_src) < 0)
1510            {
1511                    log_error("section_list_calculate_page(src section = %d, aid = %d) error at aid = %d\n",
1512                                      p_section_src->sid, last_unaffected_aid_src, aid);
1513            }
1514    
1515            if (move_counter % CALCULATE_PAGE_THRESHOLD != 0)
1516            {
1517                    // Re-calculate pages of desc section
1518                    if (section_list_calculate_page(p_section_dest, first_inserted_aid_dest) < 0)
1519                    {
1520                            log_error("section_list_calculate_page(dest section = %d, aid = %d) error\n",
1521                                              p_section_dest->sid, first_inserted_aid_dest);
1522                    }
1523            }
1524    
1525            return move_article_count;
1526    }
1527    
1528    int get_section_index(SECTION_LIST *p_section)
1529    {
1530            int index;
1531    
1532            if (p_section_list_pool == NULL)
1533            {
1534                    log_error("get_section_index() error: uninitialized\n");
1535                    return -1;
1536            }
1537    
1538          if (p_section == NULL)          if (p_section == NULL)
1539          {          {
1540                  log_error("section_data_mark_del_article() NULL pointer error\n");                  index = BBS_max_section;
1541            }
1542            else
1543            {
1544                    index = (int)(p_section - p_section_list_pool->sections);
1545                    if (index < 0 || index >= BBS_max_section)
1546                    {
1547                            log_error("get_section_index(%d) error: index out of range\n", index);
1548                            return -2;
1549                    }
1550            }
1551    
1552            return index;
1553    }
1554    
1555    int section_list_try_rd_lock(SECTION_LIST *p_section, int wait_sec)
1556    {
1557            int index;
1558            struct sembuf sops[4];
1559            struct timespec timeout;
1560            int ret;
1561    
1562            index = get_section_index(p_section);
1563            if (index < 0)
1564            {
1565                  return -2;                  return -2;
1566          }          }
1567    
1568          p_article = section_data_find_article_by_aid(p_section, aid);          sops[0].sem_num = (unsigned short)(index * 2 + 1); // w_sem of section index
1569          if (p_article == NULL)          sops[0].sem_op = 0;                                                                // wait until unlocked
1570            sops[0].sem_flg = 0;
1571    
1572            sops[1].sem_num = (unsigned short)(index * 2); // r_sem of section index
1573            sops[1].sem_op = 1;                                                        // lock
1574            sops[1].sem_flg = SEM_UNDO;                                        // undo on terminate
1575    
1576            // Read lock on any specific section will also acquire single read lock on "all section"
1577            // so that write lock on all section only need to acquire single write on on "all section"
1578            // rather than to acquire multiple write locks on all the available sections.
1579            if (index != BBS_max_section)
1580          {          {
1581                  return -1; // Not found                  sops[2].sem_num = BBS_max_section * 2 + 1; // w_sem of all section
1582                    sops[2].sem_op = 0;                                                // wait until unlocked
1583                    sops[2].sem_flg = 0;
1584    
1585                    sops[3].sem_num = BBS_max_section * 2; // r_sem of all section
1586                    sops[3].sem_op = 1;                                        // lock
1587                    sops[3].sem_flg = SEM_UNDO;                        // undo on terminate
1588          }          }
1589    
1590          if (p_article->visible == 0)          timeout.tv_sec = wait_sec;
1591            timeout.tv_nsec = 0;
1592    
1593            ret = semtimedop(p_section_list_pool->semid, sops, (index == BBS_max_section ? 2 : 4), &timeout);
1594            if (ret == -1 && errno != EAGAIN && errno != EINTR)
1595          {          {
1596                  return 0; // Already deleted                  log_error("semtimedop(index = %d, lock read) error %d\n", index, errno);
1597          }          }
1598    
1599          p_article->visible = 0;          return ret;
1600          p_section->delete_count++;  }
1601    
1602    int section_list_try_rw_lock(SECTION_LIST *p_section, int wait_sec)
1603    {
1604            int index;
1605            struct sembuf sops[3];
1606            struct timespec timeout;
1607            int ret;
1608    
1609            index = get_section_index(p_section);
1610            if (index < 0)
1611            {
1612                    return -2;
1613            }
1614    
1615            sops[0].sem_num = (unsigned short)(index * 2 + 1); // w_sem of section index
1616            sops[0].sem_op = 0;                                                                // wait until unlocked
1617            sops[0].sem_flg = 0;
1618    
1619            sops[1].sem_num = (unsigned short)(index * 2 + 1); // w_sem of section index
1620            sops[1].sem_op = 1;                                                                // lock
1621            sops[1].sem_flg = SEM_UNDO;                                                // undo on terminate
1622    
1623            sops[2].sem_num = (unsigned short)(index * 2); // r_sem of section index
1624            sops[2].sem_op = 0;                                                        // wait until unlocked
1625            sops[2].sem_flg = 0;
1626    
1627            timeout.tv_sec = wait_sec;
1628            timeout.tv_nsec = 0;
1629    
1630            ret = semtimedop(p_section_list_pool->semid, sops, 3, &timeout);
1631            if (ret == -1 && errno != EAGAIN && errno != EINTR)
1632            {
1633                    log_error("semtimedop(index = %d, lock write) error %d\n", index, errno);
1634            }
1635    
1636            return ret;
1637    }
1638    
1639    int section_list_rd_unlock(SECTION_LIST *p_section)
1640    {
1641            int index;
1642            struct sembuf sops[2];
1643            int ret;
1644    
1645            index = get_section_index(p_section);
1646            if (index < 0)
1647            {
1648                    return -2;
1649            }
1650    
1651            sops[0].sem_num = (unsigned short)(index * 2); // r_sem of section index
1652            sops[0].sem_op = -1;                                               // unlock
1653            sops[0].sem_flg = IPC_NOWAIT | SEM_UNDO;           // no wait
1654    
1655            if (index != BBS_max_section)
1656            {
1657                    sops[1].sem_num = BBS_max_section * 2;   // r_sem of all section
1658                    sops[1].sem_op = -1;                                     // unlock
1659                    sops[1].sem_flg = IPC_NOWAIT | SEM_UNDO; // no wait
1660            }
1661    
1662            ret = semop(p_section_list_pool->semid, sops, (index == BBS_max_section ? 1 : 2));
1663            if (ret == -1 && errno != EAGAIN && errno != EINTR)
1664            {
1665                    log_error("semop(index = %d, unlock read) error %d\n", index, errno);
1666            }
1667    
1668            return ret;
1669    }
1670    
1671    int section_list_rw_unlock(SECTION_LIST *p_section)
1672    {
1673            int index;
1674            struct sembuf sops[1];
1675            int ret;
1676    
1677            index = get_section_index(p_section);
1678            if (index < 0)
1679            {
1680                    return -2;
1681            }
1682    
1683            sops[0].sem_num = (unsigned short)(index * 2 + 1); // w_sem of section index
1684            sops[0].sem_op = -1;                                                       // unlock
1685            sops[0].sem_flg = IPC_NOWAIT | SEM_UNDO;                   // no wait
1686    
1687            ret = semop(p_section_list_pool->semid, sops, 1);
1688            if (ret == -1 && errno != EAGAIN && errno != EINTR)
1689            {
1690                    log_error("semop(index = %d, unlock write) error %d\n", index, errno);
1691            }
1692    
1693            return ret;
1694    }
1695    
1696    int section_list_rd_lock(SECTION_LIST *p_section)
1697    {
1698            int timer = 0;
1699            int sid = (p_section == NULL ? 0 : p_section->sid);
1700            int ret = -1;
1701    
1702            while (!SYS_server_exit)
1703            {
1704                    ret = section_list_try_rd_lock(p_section, SECTION_TRY_LOCK_WAIT_TIME);
1705                    if (ret == 0) // success
1706                    {
1707                            break;
1708                    }
1709                    else if (errno == EAGAIN || errno == EINTR) // retry
1710                    {
1711                            timer++;
1712                            if (timer % SECTION_TRY_LOCK_TIMES == 0)
1713                            {
1714                                    log_error("section_list_try_rd_lock() tried %d times on section %d\n", sid, timer);
1715                            }
1716                    }
1717                    else // failed
1718                    {
1719                            log_error("section_list_try_rd_lock() failed on section %d\n", sid);
1720                            break;
1721                    }
1722            }
1723    
1724            return ret;
1725    }
1726    
1727    int section_list_rw_lock(SECTION_LIST *p_section)
1728    {
1729            int timer = 0;
1730            int sid = (p_section == NULL ? 0 : p_section->sid);
1731            int ret = -1;
1732    
1733            while (!SYS_server_exit)
1734            {
1735                    ret = section_list_try_rw_lock(p_section, SECTION_TRY_LOCK_WAIT_TIME);
1736                    if (ret == 0) // success
1737                    {
1738                            break;
1739                    }
1740                    else if (errno == EAGAIN || errno == EINTR) // retry
1741                    {
1742                            timer++;
1743                            if (timer % SECTION_TRY_LOCK_TIMES == 0)
1744                            {
1745                                    log_error("section_list_try_rw_lock() tried %d times on section %d\n", sid, timer);
1746                            }
1747                    }
1748                    else // failed
1749                    {
1750                            log_error("section_list_try_rw_lock() failed on section %d\n", sid);
1751                            break;
1752                    }
1753            }
1754    
1755          return 1;          return ret;
1756  }  }

Legend:
Removed lines/characters  
Changed lines/characters
  Added lines/characters
webmaster@leafok.com
 ViewVC Help
Powered by ViewVC 1.3.0-beta1