/[LeafOK_CVS]/lbbs/src/section_list.c
ViewVC logotype

Diff of /lbbs/src/section_list.c

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

Revision 1.3 by sysadm, Wed May 21 06:17:52 2025 UTC Revision 1.41 by sysadm, Tue Oct 14 00:57:06 2025 UTC
# Line 14  Line 14 
14   *                                                                         *   *                                                                         *
15   ***************************************************************************/   ***************************************************************************/
16    
 #include "section_list.h"  
17  #include "log.h"  #include "log.h"
18  #include "io.h"  #include "section_list.h"
19  #include "trie_dict.h"  #include "trie_dict.h"
20    #include <errno.h>
21    #include <signal.h>
22  #include <stdio.h>  #include <stdio.h>
23    #include <stdlib.h>
24  #include <string.h>  #include <string.h>
 #include <signal.h>  
25  #include <unistd.h>  #include <unistd.h>
 #include <stdlib.h>  
 #include <errno.h>  
 #include <sys/shm.h>  
26  #include <sys/ipc.h>  #include <sys/ipc.h>
27    #include <sys/param.h>
28    #include <sys/sem.h>
29    #include <sys/shm.h>
30    
31  // ARTICLE_BLOCK_PER_SHM * ARTICLE_BLOCK_SHM_COUNT_LIMIT should be  #ifdef _SEM_SEMUN_UNDEFINED
32  // no less than BBS_article_block_limit_per_section * BBS_max_section,  union semun
33  // in order to allocate enough memory for blocks  {
34  #define ARTICLE_BLOCK_PER_SHM 50 // sizeof(ARTICLE_BLOCK) * ARTICLE_BLOCK_PER_SHM is the size of each shm segment to allocate          int val;                           /* Value for SETVAL */
35  #define ARTICLE_BLOCK_SHM_COUNT_LIMIT 256 // limited by length (8-bit) of proj_id in ftok(path, proj_id)          struct semid_ds *buf;  /* Buffer for IPC_STAT, IPC_SET */
36            unsigned short *array; /* Array for GETALL, SETALL */
37            struct seminfo *__buf; /* Buffer for IPC_INFO
38                                                              (Linux-specific) */
39    };
40    #endif // #ifdef _SEM_SEMUN_UNDEFINED
41    
42  struct article_block_shm_t  #define SECTION_TRY_LOCK_WAIT_TIME 1 // second
43    #define SECTION_TRY_LOCK_TIMES 10
44    
45    #define ARTICLE_BLOCK_PER_SHM 1000               // sizeof(ARTICLE_BLOCK) * ARTICLE_BLOCK_PER_SHM is the size of each shm segment to allocate
46    #define ARTICLE_BLOCK_SHM_COUNT_LIMIT 80 // limited by length (8-bit) of proj_id in ftok(path, proj_id)
47    #define ARTICLE_BLOCK_PER_POOL (ARTICLE_BLOCK_PER_SHM * ARTICLE_BLOCK_SHM_COUNT_LIMIT)
48    
49    #define CALCULATE_PAGE_THRESHOLD 100 // Adjust to tune performance of moving topic between sections
50    
51    #define SID_STR_LEN 5 // 32-bit + NULL
52    
53    struct article_block_t
54    {
55            ARTICLE articles[ARTICLE_PER_BLOCK];
56            int article_count;
57            struct article_block_t *p_next_block;
58    };
59    typedef struct article_block_t ARTICLE_BLOCK;
60    
61    struct article_block_pool_t
62  {  {
63          int shmid;          int shmid;
64          void *p_shm;          struct
65            {
66                    int shmid;
67                    void *p_shm;
68            } shm_pool[ARTICLE_BLOCK_SHM_COUNT_LIMIT];
69            int shm_count;
70            ARTICLE_BLOCK *p_block_free_list;
71            ARTICLE_BLOCK *p_block[ARTICLE_BLOCK_PER_POOL];
72            int block_count;
73  };  };
74  typedef struct article_block_shm_t ARTICLE_BLOCK_SHM;  typedef struct article_block_pool_t ARTICLE_BLOCK_POOL;
75    
76  static ARTICLE_BLOCK_SHM *p_article_block_shm_pool;  static ARTICLE_BLOCK_POOL *p_article_block_pool = NULL;
 static int article_block_shm_count;  
 static ARTICLE_BLOCK *p_article_block_free_list;  
77    
78  static SECTION_DATA *p_section_data_pool;  SECTION_LIST_POOL *p_section_list_pool = NULL;
 static int section_data_count;  
 static TRIE_NODE *p_trie_dict_section_data;  
79    
80  int section_data_pool_init(const char *filename, int article_block_count)  int article_block_init(const char *filename, int block_count)
81  {  {
82          int shmid;          int shmid;
83          int proj_id;          int proj_id;
# Line 56  int section_data_pool_init(const char *f Line 85  int section_data_pool_init(const char *f
85          size_t size;          size_t size;
86          void *p_shm;          void *p_shm;
87          int i;          int i;
88          int article_block_count_in_shm;          int block_count_in_shm;
89          ARTICLE_BLOCK *p_article_block_in_shm;          ARTICLE_BLOCK *p_block_in_shm;
90          ARTICLE_BLOCK **pp_article_block_next;          ARTICLE_BLOCK **pp_block_next;
91    
92          if (p_article_block_shm_pool != NULL ||          if (p_article_block_pool != NULL)
                 p_article_block_free_list != NULL ||  
                 p_section_data_pool != NULL ||  
                 p_trie_dict_section_data != NULL)  
93          {          {
94                  log_error("section_data_pool already initialized\n");                  log_error("article_block_pool already initialized\n");
95                  return -1;                  return -1;
96          }          }
97    
98          if (article_block_count > ARTICLE_BLOCK_PER_SHM * ARTICLE_BLOCK_SHM_COUNT_LIMIT)          if (block_count <= 0 || block_count > ARTICLE_BLOCK_PER_POOL)
99          {          {
100                  log_error("article_block_count exceed limit %d\n", ARTICLE_BLOCK_PER_SHM * ARTICLE_BLOCK_SHM_COUNT_LIMIT);                  log_error("article_block_count exceed limit %d\n", ARTICLE_BLOCK_PER_POOL);
101                  return -2;                  return -2;
102          }          }
103    
104          p_article_block_shm_pool = calloc((size_t)article_block_count / ARTICLE_BLOCK_PER_SHM + 1, sizeof(ARTICLE_BLOCK_SHM));          // Allocate shared memory
105          if (p_article_block_shm_pool == NULL)          proj_id = ARTICLE_BLOCK_SHM_COUNT_LIMIT; // keep different from proj_id used to create block shm
106            key = ftok(filename, proj_id);
107            if (key == -1)
108          {          {
109                  log_error("calloc(%d ARTICLE_BLOCK_SHM) OOM\n", article_block_count / ARTICLE_BLOCK_PER_SHM + 1);                  log_error("ftok(%s, %d) error (%d)\n", filename, proj_id, errno);
110                  return -2;                  return -3;
111          }          }
112    
113          p_section_data_pool = calloc(BBS_max_section, sizeof(SECTION_DATA));          size = sizeof(ARTICLE_BLOCK_POOL);
114          if (p_section_data_pool == NULL)          shmid = shmget(key, size, IPC_CREAT | IPC_EXCL | 0600);
115            if (shmid == -1)
116          {          {
117                  log_error("calloc(%d SECTION_DATA) OOM\n", BBS_max_section);                  log_error("shmget(article_block_pool_shm, size = %d) error (%d)\n", size, errno);
118                  return -2;                  return -3;
119          }          }
120          section_data_count = 0;          p_shm = shmat(shmid, NULL, 0);
121            if (p_shm == (void *)-1)
         p_trie_dict_section_data = trie_dict_create();  
         if (p_trie_dict_section_data == NULL)  
122          {          {
123                  log_error("trie_dict_create() OOM\n", BBS_max_section);                  log_error("shmat(shmid = %d) error (%d)\n", shmid, errno);
124                  return -2;                  return -3;
125          }          }
126    
127          // Allocate shared memory          p_article_block_pool = p_shm;
128          article_block_shm_count = 0;          p_article_block_pool->shmid = shmid;
129          pp_article_block_next = &p_article_block_free_list;  
130            p_article_block_pool->shm_count = 0;
131            pp_block_next = &(p_article_block_pool->p_block_free_list);
132    
133          while (article_block_count > 0)          while (block_count > 0)
134          {          {
135                  article_block_count_in_shm =                  block_count_in_shm = MIN(block_count, ARTICLE_BLOCK_PER_SHM);
136                          (article_block_count < ARTICLE_BLOCK_PER_SHM ? article_block_count : ARTICLE_BLOCK_PER_SHM);                  block_count -= block_count_in_shm;
                 article_block_count -= article_block_count_in_shm;  
137    
138                  proj_id = getpid() + article_block_shm_count;                  proj_id = p_article_block_pool->shm_count;
139                  key = ftok(filename, proj_id);                  key = ftok(filename, proj_id);
140                  if (key == -1)                  if (key == -1)
141                  {                  {
142                          log_error("ftok(%s, %d) error (%d)\n", filename, proj_id, errno);                          log_error("ftok(%s, %d) error (%d)\n", filename, proj_id, errno);
143                          section_data_pool_cleanup();                          article_block_cleanup();
144                          return -3;                          return -3;
145                  }                  }
146    
147                  size = sizeof(shmid) + sizeof(ARTICLE_BLOCK) * (size_t)article_block_count_in_shm;                  size = sizeof(ARTICLE_BLOCK) * (size_t)block_count_in_shm;
148                  shmid = shmget(key, size, IPC_CREAT | IPC_EXCL | 0600);                  shmid = shmget(key, size, IPC_CREAT | IPC_EXCL | 0600);
149                  if (shmid == -1)                  if (shmid == -1)
150                  {                  {
151                          log_error("shmget(shm_index = %d, size = %d) error (%d)\n", article_block_shm_count, size, errno);                          log_error("shmget(shm_index = %d, size = %d) error (%d)\n", p_article_block_pool->shm_count, size, errno);
152                          section_data_pool_cleanup();                          article_block_cleanup();
153                          return -3;                          return -3;
154                  }                  }
155                  p_shm = shmat(shmid, NULL, 0);                  p_shm = shmat(shmid, NULL, 0);
156                  if (p_shm == (void *)-1)                  if (p_shm == (void *)-1)
157                  {                  {
158                          log_error("shmat(shmid = %d) error (%d)\n", shmid, errno);                          log_error("shmat(shmid = %d) error (%d)\n", shmid, errno);
159                          section_data_pool_cleanup();                          article_block_cleanup();
160                          return -3;                          return -3;
161                  }                  }
162    
163                  (p_article_block_shm_pool + article_block_shm_count)->shmid = shmid;                  (p_article_block_pool->shm_pool + p_article_block_pool->shm_count)->shmid = shmid;
164                  (p_article_block_shm_pool + article_block_shm_count)->p_shm = p_shm;                  (p_article_block_pool->shm_pool + p_article_block_pool->shm_count)->p_shm = p_shm;
165                  article_block_shm_count++;                  p_article_block_pool->shm_count++;
166    
167                  p_article_block_in_shm = p_shm;                  p_block_in_shm = p_shm;
168                  *pp_article_block_next = p_article_block_in_shm;                  *pp_block_next = p_block_in_shm;
169    
170                  for (i = 0; i < article_block_count_in_shm; i++)                  for (i = 0; i < block_count_in_shm; i++)
171                  {                  {
172                          if (i < article_block_count_in_shm - 1)                          if (i < block_count_in_shm - 1)
173                          {                          {
174                                  (p_article_block_in_shm + i)->p_next_block = (p_article_block_in_shm + i + 1);                                  (p_block_in_shm + i)->p_next_block = (p_block_in_shm + i + 1);
175                          }                          }
176                          else                          else
177                          {                          {
178                                  (p_article_block_in_shm + i)->p_next_block = NULL;                                  (p_block_in_shm + i)->p_next_block = NULL;
179                                  pp_article_block_next = &((p_article_block_in_shm + i)->p_next_block);                                  pp_block_next = &((p_block_in_shm + i)->p_next_block);
180                          }                          }
181                  }                  }
182          }          }
183    
184            p_article_block_pool->block_count = 0;
185    
186          return 0;          return 0;
187  }  }
188    
189  void section_data_pool_cleanup(void)  void article_block_cleanup(void)
190  {  {
191          int i;          int shmid;
192    
193            if (p_article_block_pool == NULL)
194            {
195                    return;
196            }
197    
198            for (int i = 0; i < p_article_block_pool->shm_count; i++)
199            {
200                    if (shmdt((p_article_block_pool->shm_pool + i)->p_shm) == -1)
201                    {
202                            log_error("shmdt(shmid = %d) error (%d)\n", (p_article_block_pool->shm_pool + i)->shmid, errno);
203                    }
204    
205                    if (shmctl((p_article_block_pool->shm_pool + i)->shmid, IPC_RMID, NULL) == -1)
206                    {
207                            log_error("shmctl(shmid = %d, IPC_RMID) error (%d)\n", (p_article_block_pool->shm_pool + i)->shmid, errno);
208                    }
209            }
210    
211          if (p_trie_dict_section_data != NULL)          shmid = p_article_block_pool->shmid;
212    
213            if (shmdt(p_article_block_pool) == -1)
214          {          {
215                  trie_dict_destroy(p_trie_dict_section_data);                  log_error("shmdt(shmid = %d) error (%d)\n", shmid, errno);
                 p_trie_dict_section_data = NULL;  
                 section_data_count = 0;  
216          }          }
217    
218          if (p_section_data_pool != NULL)          if (shmctl(shmid, IPC_RMID, NULL) == -1)
219          {          {
220                  free(p_section_data_pool);                  log_error("shmctl(shmid = %d, IPC_RMID) error (%d)\n", shmid, errno);
                 p_section_data_pool = NULL;  
221          }          }
222    
223          if (p_article_block_free_list != NULL)          p_article_block_pool = NULL;
224    }
225    
226    int set_article_block_shm_readonly(void)
227    {
228            int shmid;
229            void *p_shm;
230            int i;
231    
232            if (p_article_block_pool == NULL)
233          {          {
234                  p_article_block_free_list = NULL;                  log_error("article_block_pool not initialized\n");
235                    return -1;
236          }          }
237    
238          if (p_article_block_shm_pool != NULL)          for (i = 0; i < p_article_block_pool->shm_count; i++)
239          {          {
240                  for (i = 0; i < article_block_shm_count; i++)                  shmid = (p_article_block_pool->shm_pool + i)->shmid;
241    
242                    // Remap shared memory in read-only mode
243                    p_shm = shmat(shmid, (p_article_block_pool->shm_pool + i)->p_shm, SHM_RDONLY | SHM_REMAP);
244                    if (p_shm == (void *)-1)
245                  {                  {
246                          if (shmdt((p_article_block_shm_pool + i)->p_shm) == -1)                          log_error("shmat(article_block_pool shmid = %d) error (%d)\n", shmid, errno);
247                          {                          return -2;
248                                  log_error("shmdt(shmid = %d) error (%d)\n", (p_article_block_shm_pool + i)->shmid, errno);                  }
249                          }          }
250    
251                          if (shmctl((p_article_block_shm_pool + i)->shmid, IPC_RMID, NULL) == -1)          return 0;
252                          {  }
253                                  log_error("shmctl(shmid = %d, IPC_RMID) error (%d)\n", (p_article_block_shm_pool + i)->shmid, errno);  
254                          }  int detach_article_block_shm(void)
255    {
256            int shmid;
257    
258            if (p_article_block_pool == NULL)
259            {
260                    return -1;
261            }
262    
263            for (int i = 0; i < p_article_block_pool->shm_count; i++)
264            {
265                    if ((p_article_block_pool->shm_pool + i)->p_shm != NULL && shmdt((p_article_block_pool->shm_pool + i)->p_shm) == -1)
266                    {
267                            log_error("shmdt(shmid = %d) error (%d)\n", (p_article_block_pool->shm_pool + i)->shmid, errno);
268                            return -2;
269                  }                  }
270            }
271    
272                  p_article_block_shm_pool = NULL;          shmid = p_article_block_pool->shmid;
273                  article_block_shm_count = 0;  
274            if (shmdt(p_article_block_pool) == -1)
275            {
276                    log_error("shmdt(shmid = %d) error (%d)\n", shmid, errno);
277                    return -3;
278          }          }
279    
280            p_article_block_pool = NULL;
281    
282            return 0;
283  }  }
284    
285  inline static ARTICLE_BLOCK *pop_free_article_block(void)  inline static ARTICLE_BLOCK *pop_free_article_block(void)
286  {  {
287          ARTICLE_BLOCK *p_article_block = NULL;          ARTICLE_BLOCK *p_block = NULL;
288    
289          if (p_article_block_free_list != NULL)          if (p_article_block_pool->p_block_free_list != NULL)
290          {          {
291                  p_article_block = p_article_block_free_list;                  p_block = p_article_block_pool->p_block_free_list;
292                  p_article_block_free_list = p_article_block_free_list->p_next_block;                  p_article_block_pool->p_block_free_list = p_block->p_next_block;
293                    p_block->p_next_block = NULL;
294                    p_block->article_count = 0;
295          }          }
296    
297          return p_article_block;          return p_block;
298  }  }
299    
300  inline static void push_free_article_block(ARTICLE_BLOCK *p_article_block)  inline static void push_free_article_block(ARTICLE_BLOCK *p_block)
301  {  {
302          p_article_block->p_next_block = p_article_block_free_list;          p_block->p_next_block = p_article_block_pool->p_block_free_list;
303          p_article_block_free_list = p_article_block;          p_article_block_pool->p_block_free_list = p_block;
304  }  }
305    
306  SECTION_DATA *section_data_create(const char *sname, const char *stitle, const char *master_name)  int article_block_reset(void)
307  {  {
308          SECTION_DATA *p_section;          ARTICLE_BLOCK *p_block;
309          int index;  
310            if (p_article_block_pool == NULL)
311            {
312                    log_error("article_block_pool not initialized\n");
313                    return -1;
314            }
315    
316          if (p_section_data_pool == NULL || p_trie_dict_section_data == NULL)          while (p_article_block_pool->block_count > 0)
317          {          {
318                  log_error("section_data not initialized\n");                  p_article_block_pool->block_count--;
319                    p_block = p_article_block_pool->p_block[p_article_block_pool->block_count];
320                    push_free_article_block(p_block);
321            }
322    
323            return 0;
324    }
325    
326    ARTICLE *article_block_find_by_aid(int32_t aid)
327    {
328            ARTICLE_BLOCK *p_block;
329            int left;
330            int right;
331            int mid;
332    
333            if (p_article_block_pool == NULL)
334            {
335                    log_error("article_block_pool not initialized\n");
336                  return NULL;                  return NULL;
337          }          }
338    
339          if (section_data_count >= BBS_max_section)          if (p_article_block_pool->block_count == 0) // empty
340          {          {
                 log_error("section_data_count exceed limit %d\n", BBS_max_section);  
341                  return NULL;                  return NULL;
342          }          }
343    
344          index = section_data_count;          left = 0;
345          p_section = p_section_data_pool + index;          right = p_article_block_pool->block_count;
346    
347          strncpy(p_section->sname, sname, sizeof(p_section->sname - 1));          // aid in the range [ head aid of blocks[left], tail aid of blocks[right - 1] ]
348          p_section->sname[sizeof(p_section->sname - 1)] = '\0';          while (left < right - 1)
349            {
350                    // get block offset no less than mid value of left and right block offsets
351                    mid = (left + right) / 2 + (right - left) % 2;
352    
353                    if (mid >= p_article_block_pool->block_count)
354                    {
355                            log_error("block(mid = %d) is out of boundary\n", mid);
356                            return NULL;
357                    }
358    
359          strncpy(p_section->stitle, stitle, sizeof(p_section->stitle - 1));                  if (aid < p_article_block_pool->p_block[mid]->articles[0].aid)
360          p_section->stitle[sizeof(p_section->stitle - 1)] = '\0';                  {
361                            right = mid;
362                    }
363                    else
364                    {
365                            left = mid;
366                    }
367            }
368    
369          strncpy(p_section->master_name, master_name, sizeof(p_section->master_name - 1));          p_block = p_article_block_pool->p_block[left];
         p_section->master_name[sizeof(p_section->master_name - 1)] = '\0';  
370    
371          p_section->p_head_block = NULL;          left = 0;
372          p_section->p_tail_block = NULL;          right = p_block->article_count - 1;
         p_section->block_count = 0;  
         p_section->article_count = 0;  
         p_section->delete_count = 0;  
373    
374          if (trie_dict_set(p_trie_dict_section_data, sname, index) != 1)          // aid in the range [ aid of articles[left], aid of articles[right] ]
375            while (left < right)
376          {          {
377                  log_error("trie_dict_set(section_data, %s, %d) error\n", sname, index);                  mid = (left + right) / 2;
378                  return NULL;  
379                    if (aid <= p_block->articles[mid].aid)
380                    {
381                            right = mid;
382                    }
383                    else
384                    {
385                            left = mid + 1;
386                    }
387          }          }
388    
389          section_data_count++;          if (aid != p_block->articles[left].aid) // not found
390            {
391                    return NULL;
392            }
393    
394          return p_section;          return (p_block->articles + left); // found
395  }  }
396    
397  int section_data_free_block(SECTION_DATA *p_section)  ARTICLE *article_block_find_by_index(int index)
398  {  {
399          ARTICLE_BLOCK *p_block;          ARTICLE_BLOCK *p_block;
400    
401          if (p_section == NULL)          if (p_article_block_pool == NULL)
402            {
403                    log_error("article_block_pool not initialized\n");
404                    return NULL;
405            }
406    
407            if (index < 0 || index / ARTICLE_PER_BLOCK >= p_article_block_pool->block_count)
408            {
409                    log_error("article_block_find_by_index(%d) is out of boundary of block [0, %d)\n", index, p_article_block_pool->block_count);
410                    return NULL;
411            }
412    
413            p_block = p_article_block_pool->p_block[index / ARTICLE_PER_BLOCK];
414    
415            if (index % ARTICLE_PER_BLOCK >= p_block->article_count)
416            {
417                    log_error("article_block_find_by_index(%d) is out of boundary of article [0, %d)\n", index, p_block->article_count);
418                    return NULL;
419            }
420    
421            return (p_block->articles + (index % ARTICLE_PER_BLOCK));
422    }
423    
424    extern int section_list_init(const char *filename)
425    {
426            int semid;
427            int shmid;
428            int proj_id;
429            key_t key;
430            size_t size;
431            void *p_shm;
432            union semun arg;
433            int i;
434    
435            if (p_section_list_pool != NULL)
436            {
437                    section_list_cleanup();
438            }
439    
440            proj_id = (int)(time(NULL) % getpid());
441            key = ftok(filename, proj_id);
442            if (key == -1)
443            {
444                    log_error("ftok(%s, %d) error (%d)\n", filename, proj_id, errno);
445                    return -3;
446            }
447    
448            // Allocate shared memory
449            size = sizeof(SECTION_LIST_POOL);
450            shmid = shmget(key, size, IPC_CREAT | IPC_EXCL | 0600);
451            if (shmid == -1)
452            {
453                    log_error("shmget(section_list_pool_shm, size = %d) error (%d)\n", size, errno);
454                    return -3;
455            }
456            p_shm = shmat(shmid, NULL, 0);
457            if (p_shm == (void *)-1)
458            {
459                    log_error("shmat(shmid = %d) error (%d)\n", shmid, errno);
460                    return -3;
461            }
462    
463            p_section_list_pool = p_shm;
464            p_section_list_pool->shmid = shmid;
465            p_section_list_pool->section_count = 0;
466    
467            // Allocate semaphore as section locks
468            size = 2 * (BBS_max_section + 1); // r_sem and w_sem per section, the last pair for all sections
469            semid = semget(key, (int)size, IPC_CREAT | IPC_EXCL | 0600);
470            if (semid == -1)
471            {
472                    log_error("semget(section_list_pool_sem, size = %d) error (%d)\n", size, errno);
473                    return -3;
474            }
475    
476            // Initialize sem value to 0
477            arg.val = 0;
478            for (i = 0; i < size; i++)
479            {
480                    if (semctl(semid, i, SETVAL, arg) == -1)
481                    {
482                            log_error("semctl(section_list_pool_sem, SETVAL) error (%d)\n", errno);
483                            return -3;
484                    }
485            }
486    
487            p_section_list_pool->semid = semid;
488    
489            p_section_list_pool->p_trie_dict_section_by_name = trie_dict_create();
490            if (p_section_list_pool->p_trie_dict_section_by_name == NULL)
491            {
492                    log_error("trie_dict_create() OOM\n", BBS_max_section);
493                    return -2;
494            }
495    
496            p_section_list_pool->p_trie_dict_section_by_sid = trie_dict_create();
497            if (p_section_list_pool->p_trie_dict_section_by_sid == NULL)
498            {
499                    log_error("trie_dict_create() OOM\n", BBS_max_section);
500                    return -2;
501            }
502    
503            return 0;
504    }
505    
506    void section_list_cleanup(void)
507    {
508            int shmid;
509    
510            if (p_section_list_pool == NULL)
511            {
512                    return;
513            }
514    
515            if (p_section_list_pool->p_trie_dict_section_by_name != NULL)
516            {
517                    trie_dict_destroy(p_section_list_pool->p_trie_dict_section_by_name);
518                    p_section_list_pool->p_trie_dict_section_by_name = NULL;
519            }
520    
521            if (p_section_list_pool->p_trie_dict_section_by_sid != NULL)
522            {
523                    trie_dict_destroy(p_section_list_pool->p_trie_dict_section_by_sid);
524                    p_section_list_pool->p_trie_dict_section_by_sid = NULL;
525            }
526    
527            shmid = p_section_list_pool->shmid;
528    
529            if (semctl(p_section_list_pool->semid, 0, IPC_RMID) == -1)
530            {
531                    log_error("semctl(semid = %d, IPC_RMID) error (%d)\n", p_section_list_pool->semid, errno);
532            }
533    
534            if (shmdt(p_section_list_pool) == -1)
535            {
536                    log_error("shmdt(shmid = %d) error (%d)\n", shmid, errno);
537            }
538    
539            if (shmctl(shmid, IPC_RMID, NULL) == -1)
540            {
541                    log_error("shmctl(shmid = %d, IPC_RMID) error (%d)\n", shmid, errno);
542            }
543    
544            p_section_list_pool = NULL;
545    }
546    
547    int set_section_list_shm_readonly(void)
548    {
549            int shmid;
550            void *p_shm;
551    
552            if (p_section_list_pool == NULL)
553          {          {
554                  log_error("section_data_free_block() NULL pointer error\n");                  log_error("p_section_list_pool not initialized\n");
555                  return -1;                  return -1;
556          }          }
557    
558          if (p_section_data_pool == NULL)          shmid = p_section_list_pool->shmid;
559    
560            // Remap shared memory in read-only mode
561            p_shm = shmat(shmid, p_section_list_pool, SHM_RDONLY | SHM_REMAP);
562            if (p_shm == (void *)-1)
563          {          {
564                  log_error("section_data not initialized\n");                  log_error("shmat(section_list_pool shmid = %d) error (%d)\n", shmid, errno);
565                    return -3;
566            }
567    
568            p_section_list_pool = p_shm;
569    
570            return 0;
571    }
572    
573    int detach_section_list_shm(void)
574    {
575            if (p_section_list_pool != NULL && shmdt(p_section_list_pool) == -1)
576            {
577                    log_error("shmdt(section_list_pool) error (%d)\n", errno);
578                  return -1;                  return -1;
579          }          }
580    
581          while (p_section->p_head_block != NULL)          p_section_list_pool = NULL;
582    
583            return 0;
584    }
585    
586    inline static void sid_to_str(int32_t sid, char *p_sid_str)
587    {
588            uint32_t u_sid;
589            int i;
590    
591            u_sid = (uint32_t)sid;
592            for (i = 0; i < SID_STR_LEN - 1; i++)
593          {          {
594                  p_block = p_section->p_head_block;                  p_sid_str[i] = (char)(u_sid % 255 + 1);
595                  p_section->p_head_block = p_block->p_next_block;                  u_sid /= 255;
                 push_free_article_block(p_block);  
596          }          }
597            p_sid_str[i] = '\0';
598    }
599    
600    SECTION_LIST *section_list_create(int32_t sid, const char *sname, const char *stitle, const char *master_list)
601    {
602            SECTION_LIST *p_section;
603            char sid_str[SID_STR_LEN];
604    
605            if (p_section_list_pool == NULL)
606            {
607                    log_error("session_list_pool not initialized\n");
608                    return NULL;
609            }
610    
611            if (p_section_list_pool->section_count >= BBS_max_section)
612            {
613                    log_error("section_count reach limit %d >= %d\n", p_section_list_pool->section_count, BBS_max_section);
614                    return NULL;
615            }
616    
617            sid_to_str(sid, sid_str);
618    
619          p_section->p_tail_block = NULL;          p_section = p_section_list_pool->sections + p_section_list_pool->section_count;
620          p_section->block_count = 0;  
621            p_section->sid = sid;
622            p_section->ex_menu_tm = 0;
623    
624            strncpy(p_section->sname, sname, sizeof(p_section->sname) - 1);
625            p_section->sname[sizeof(p_section->sname) - 1] = '\0';
626    
627            strncpy(p_section->stitle, stitle, sizeof(p_section->stitle) - 1);
628            p_section->stitle[sizeof(p_section->stitle) - 1] = '\0';
629    
630            strncpy(p_section->master_list, master_list, sizeof(p_section->master_list) - 1);
631            p_section->master_list[sizeof(p_section->master_list) - 1] = '\0';
632    
633            if (trie_dict_set(p_section_list_pool->p_trie_dict_section_by_name, sname, p_section_list_pool->section_count) != 1)
634            {
635                    log_error("trie_dict_set(section, %s, %d) error\n", sname, p_section_list_pool->section_count);
636                    return NULL;
637            }
638    
639            if (trie_dict_set(p_section_list_pool->p_trie_dict_section_by_sid, sid_str, p_section_list_pool->section_count) != 1)
640            {
641                    log_error("trie_dict_set(section, %d, %d) error\n", sid, p_section_list_pool->section_count);
642                    return NULL;
643            }
644    
645            section_list_reset_articles(p_section);
646    
647            p_section_list_pool->section_count++;
648    
649            return p_section;
650    }
651    
652    void section_list_reset_articles(SECTION_LIST *p_section)
653    {
654          p_section->article_count = 0;          p_section->article_count = 0;
655          p_section->delete_count = 0;          p_section->topic_count = 0;
656            p_section->visible_article_count = 0;
657            p_section->visible_topic_count = 0;
658            p_section->p_article_head = NULL;
659            p_section->p_article_tail = NULL;
660    
661          return 0;          p_section->page_count = 0;
662            p_section->last_page_visible_article_count = 0;
663    
664            p_section->ontop_article_count = 0;
665    }
666    
667    SECTION_LIST *section_list_find_by_name(const char *sname)
668    {
669            int64_t index;
670            int ret;
671    
672            if (p_section_list_pool == NULL)
673            {
674                    log_error("section_list not initialized\n");
675                    return NULL;
676            }
677    
678            ret = trie_dict_get(p_section_list_pool->p_trie_dict_section_by_name, sname, &index);
679            if (ret < 0)
680            {
681                    log_error("trie_dict_get(section, %s) error\n", sname);
682                    return NULL;
683            }
684            else if (ret == 0)
685            {
686                    return NULL;
687            }
688    
689            return (p_section_list_pool->sections + index);
690  }  }
691    
692  SECTION_DATA *section_data_find_by_name(const char *sname)  SECTION_LIST *section_list_find_by_sid(int32_t sid)
693  {  {
694          int64_t index;          int64_t index;
695            int ret;
696            char sid_str[SID_STR_LEN];
697    
698          if (p_section_data_pool == NULL || p_trie_dict_section_data == NULL)          if (p_section_list_pool == NULL)
699          {          {
700                  log_error("section_data not initialized\n");                  log_error("section_list not initialized\n");
701                  return NULL;                  return NULL;
702          }          }
703    
704          if (trie_dict_get(p_trie_dict_section_data, sname, &index) != 1)          sid_to_str(sid, sid_str);
705    
706            ret = trie_dict_get(p_section_list_pool->p_trie_dict_section_by_sid, sid_str, &index);
707            if (ret < 0)
708            {
709                    log_error("trie_dict_get(section, %d) error\n", sid);
710                    return NULL;
711            }
712            else if (ret == 0)
713          {          {
                 log_error("trie_dict_get(section_data, %s) error\n", sname);  
714                  return NULL;                  return NULL;
715          }          }
716    
717          return (p_section_data_pool + index);          return (p_section_list_pool->sections + index);
718  }  }
719    
720  int section_data_append_article(SECTION_DATA *p_section, const ARTICLE *p_article)  int section_list_append_article(SECTION_LIST *p_section, const ARTICLE *p_article_src)
721  {  {
722          ARTICLE_BLOCK *p_block;          ARTICLE_BLOCK *p_block;
723          int32_t last_aid = 0;          int32_t last_aid = 0;
724            ARTICLE *p_article;
725          ARTICLE *p_topic_head;          ARTICLE *p_topic_head;
726          ARTICLE *p_topic_tail;          ARTICLE *p_topic_tail;
727    
728          if (p_section == NULL || p_article == NULL)          if (p_section == NULL || p_article_src == NULL)
729          {          {
730                  log_error("section_data_append_article() NULL pointer error\n");                  log_error("section_list_append_article() NULL pointer error\n");
731                  return -1;                  return -1;
732          }          }
733    
734          if (p_section_data_pool == NULL)          if (p_article_block_pool == NULL)
735          {          {
736                  log_error("section_data not initialized\n");                  log_error("article_block_pool not initialized\n");
737                  return -1;                  return -1;
738          }          }
739    
740          if (p_section->p_tail_block == NULL || p_section->p_tail_block->article_count >= BBS_article_limit_per_block)          if (p_section->sid != p_article_src->sid)
741          {          {
742                  if (p_section->block_count >= BBS_article_block_limit_per_section)                  log_error("section_list_append_article() error: section sid %d != article sid %d\n", p_section->sid, p_article_src->sid);
743                  {                  return -2;
744                          log_error("section block count %d reach limit\n", p_section->block_count);          }
745                          return -2;  
746                  }          if (p_section->article_count >= BBS_article_limit_per_section)
747            {
748                    log_error("section_list_append_article() error: article_count reach limit in section %d\n", p_section->sid);
749                    return -2;
750            }
751    
752            if (p_article_block_pool->block_count == 0 ||
753                    p_article_block_pool->p_block[p_article_block_pool->block_count - 1]->article_count >= ARTICLE_PER_BLOCK)
754            {
755                  if ((p_block = pop_free_article_block()) == NULL)                  if ((p_block = pop_free_article_block()) == NULL)
756                  {                  {
757                          log_error("pop_free_article_block() error\n");                          log_error("pop_free_article_block() error\n");
758                          return -2;                          return -2;
759                  }                  }
760    
761                  p_block->article_count = 0;                  if (p_article_block_pool->block_count > 0)
                 p_block->p_next_block = NULL;  
   
                 if (p_section->p_tail_block == NULL)  
762                  {                  {
763                          p_section->p_head_block = p_block;                          last_aid = p_article_block_pool->p_block[p_article_block_pool->block_count - 1]->articles[ARTICLE_PER_BLOCK - 1].aid;
                         last_aid = 0;  
764                  }                  }
765                  else  
766                  {                  p_article_block_pool->p_block[p_article_block_pool->block_count] = p_block;
767                          p_section->p_tail_block->p_next_block = p_block;                  p_article_block_pool->block_count++;
                         last_aid = p_section->p_tail_block->articles[BBS_article_limit_per_block - 1].aid;  
                 }  
                 p_section->p_tail_block = p_block;  
                 p_section->p_block[p_section->block_count] = p_block;  
                 p_section->block_count++;  
768          }          }
769          else          else
770          {          {
771                  p_block = p_section->p_tail_block;                  p_block = p_article_block_pool->p_block[p_article_block_pool->block_count - 1];
772                  last_aid = p_block->articles[p_block->article_count - 1].aid;                  last_aid = p_block->articles[p_block->article_count - 1].aid;
773          }          }
774    
775          // AID of articles should be strictly ascending          // AID of articles should be strictly ascending
776          if (p_article->aid <= last_aid)          if (p_article_src->aid <= last_aid)
777          {          {
778                  log_error("section_data_append_article(aid=%d) error: last_aid=%d\n", p_article->aid, last_aid);                  log_error("section_list_append_article(aid=%d) error: last_aid=%d\n", p_article_src->aid, last_aid);
779                  return -3;                  return -3;
780          }          }
781    
782          if (p_block->article_count == 0)          p_article = (p_block->articles + p_block->article_count);
783            p_block->article_count++;
784            p_section->article_count++;
785    
786            // Copy article data
787            *p_article = *p_article_src;
788    
789            if (p_article->visible)
790          {          {
791                  p_section->block_head_aid[p_section->block_count - 1] = p_article->aid;                  p_section->visible_article_count++;
792          }          }
793    
794            // Link appended article as tail node of topic bi-directional list
795          if (p_article->tid != 0)          if (p_article->tid != 0)
796          {          {
797                  p_topic_head = section_data_find_article_by_aid(p_section, p_article->tid);                  p_topic_head = article_block_find_by_aid(p_article->tid);
798                  if (p_topic_head == NULL)                  if (p_topic_head == NULL)
799                  {                  {
800                          log_error("search head of topic (aid=%d) error\n", p_article->tid);                          log_error("search head of topic (aid=%d) error\n", p_article->tid);
801                          return -4;                          return -4;
802                  }                  }
803    
804                  p_topic_tail = section_data_find_article_by_aid(p_section, p_topic_head->prior_aid);                  p_topic_tail = p_topic_head->p_topic_prior;
805                  if (p_topic_tail == NULL)                  if (p_topic_tail == NULL)
806                  {                  {
807                          log_error("search tail of topic (aid=%d) error\n", p_topic_head->prior_aid);                          log_error("tail of topic (aid=%d) is NULL\n", p_article->tid);
808                          return -4;                          return -4;
809                  }                  }
810          }          }
811          else          else
812          {          {
813                  p_topic_head = &(p_block->articles[p_block->article_count]);                  p_section->topic_count++;
814                  p_topic_tail = p_topic_head;  
815                    if (p_article->visible)
816                    {
817                            p_section->visible_topic_count++;
818                    }
819    
820                    p_topic_head = p_article;
821                    p_topic_tail = p_article;
822          }          }
823    
824          // Copy article data          p_article->p_topic_prior = p_topic_tail;
825          p_block->articles[p_block->article_count] = *p_article;          p_article->p_topic_next = p_topic_head;
826            p_topic_head->p_topic_prior = p_article;
827            p_topic_tail->p_topic_next = p_article;
828    
829          // Link appended article as tail node of topic bi-directional list;          // Link appended article as tail node of article bi-directional list
830          p_block->articles[p_block->article_count].prior_aid = p_topic_tail->aid;          if (p_section->p_article_head == NULL)
831          p_block->articles[p_block->article_count].next_aid = p_topic_head->aid;          {
832          p_topic_head->prior_aid = p_article->aid;                  p_section->p_article_head = p_article;
833          p_topic_tail->next_aid = p_article->aid;                  p_section->p_article_tail = p_article;
834            }
835            p_article->p_prior = p_section->p_article_tail;
836            p_article->p_next = p_section->p_article_head;
837            p_section->p_article_head->p_prior = p_article;
838            p_section->p_article_tail->p_next = p_article;
839            p_section->p_article_tail = p_article;
840    
841          p_block->article_count++;          // Update page
842          p_section->article_count++;          if ((p_article->visible && p_section->last_page_visible_article_count % BBS_article_limit_per_page == 0) ||
843                    p_section->article_count == 1)
844            {
845                    p_section->p_page_first_article[p_section->page_count] = p_article;
846                    p_section->page_count++;
847                    p_section->last_page_visible_article_count = 0;
848            }
849    
850            if (p_article->visible)
851            {
852                    p_section->last_page_visible_article_count++;
853            }
854    
855            if (p_article->ontop && section_list_update_article_ontop(p_section, p_article) < 0)
856            {
857                    log_error("section_list_update_article_ontop(sid=%d, aid=%d) error\n",
858                                      p_section->sid, p_article->aid);
859                    return -5;
860            }
861    
862          return 0;          return 0;
863  }  }
864    
865  ARTICLE *section_data_find_article_by_aid(SECTION_DATA *p_section, int32_t aid)  int section_list_set_article_visible(SECTION_LIST *p_section, int32_t aid, int8_t visible)
866    {
867            ARTICLE *p_article;
868            ARTICLE *p_reply;
869            int affected_count = 0;
870    
871            if (p_section == NULL)
872            {
873                    log_error("NULL pointer error\n");
874                    return -1;
875            }
876    
877            p_article = article_block_find_by_aid(aid);
878            if (p_article == NULL)
879            {
880                    return -1; // Not found
881            }
882    
883            if (p_section->sid != p_article->sid)
884            {
885                    log_error("Inconsistent section sid %d != article sid %d\n", p_section->sid, p_article->sid);
886                    return -2;
887            }
888    
889            if (p_article->visible == visible)
890            {
891                    return 0; // Already set
892            }
893    
894            if (visible == 0) // 1 -> 0
895            {
896                    p_section->visible_article_count--;
897    
898                    if (p_article->tid == 0)
899                    {
900                            p_section->visible_topic_count--;
901    
902                            // Set related visible replies to invisible
903                            for (p_reply = p_article->p_topic_next; p_reply->tid != 0; p_reply = p_reply->p_topic_next)
904                            {
905                                    if (p_reply->tid != aid)
906                                    {
907                                            log_error("Inconsistent tid = %d found in reply %d of topic %d\n", p_reply->tid, p_reply->aid, aid);
908                                            continue;
909                                    }
910    
911                                    if (p_reply->visible == 1)
912                                    {
913                                            p_reply->visible = 0;
914                                            p_section->visible_article_count--;
915                                            affected_count++;
916                                    }
917                            }
918                    }
919            }
920            else // 0 -> 1
921            {
922                    p_section->visible_article_count++;
923    
924                    if (p_article->tid == 0)
925                    {
926                            p_section->visible_topic_count++;
927                    }
928            }
929    
930            p_article->visible = visible;
931            affected_count++;
932    
933            return affected_count;
934    }
935    
936    int section_list_update_article_ontop(SECTION_LIST *p_section, ARTICLE *p_article)
937    {
938            int i;
939    
940            if (p_section == NULL || p_article == NULL)
941            {
942                    log_error("NULL pointer error\n");
943                    return -1;
944            }
945    
946            if (p_section->sid != p_article->sid)
947            {
948                    log_error("Inconsistent section sid %d != article sid %d\n", p_section->sid, p_article->sid);
949                    return -2;
950            }
951    
952            if (p_article->ontop)
953            {
954                    for (i = 0; i < p_section->ontop_article_count; i++)
955                    {
956                            if (p_section->p_ontop_articles[i]->aid == p_article->aid)
957                            {
958                                    log_error("Inconsistent state found: article %d already ontop in section %d\n", p_article->aid, p_section->sid);
959                                    return 0;
960                            }
961                            else if (p_section->p_ontop_articles[i]->aid > p_article->aid)
962                            {
963                                    break;
964                            }
965                    }
966    
967                    // Remove the oldest one if the array of ontop articles is full
968                    if (p_section->ontop_article_count >= BBS_ontop_article_limit_per_section)
969                    {
970                            if (i == 0) // p_article is the oldest one
971                            {
972                                    return 0;
973                            }
974                            memmove((void *)(p_section->p_ontop_articles),
975                                            (void *)(p_section->p_ontop_articles + 1),
976                                            sizeof(ARTICLE *) * (size_t)(i - 1));
977                            p_section->ontop_article_count--;
978                            i--;
979                    }
980                    else
981                    {
982                            memmove((void *)(p_section->p_ontop_articles + i + 1),
983                                            (void *)(p_section->p_ontop_articles + i),
984                                            sizeof(ARTICLE *) * (size_t)(p_section->ontop_article_count - i));
985                    }
986    
987                    p_section->p_ontop_articles[i] = p_article;
988                    p_section->ontop_article_count++;
989    
990                    // TODO: debug
991            }
992            else // ontop == 0
993            {
994                    for (i = 0; i < p_section->ontop_article_count; i++)
995                    {
996                            if (p_section->p_ontop_articles[i]->aid == p_article->aid)
997                            {
998                                    break;
999                            }
1000                    }
1001                    if (i == p_section->ontop_article_count) // not found
1002                    {
1003                            log_error("Inconsistent state found: article %d not ontop in section %d\n", p_article->aid, p_section->sid);
1004                            return 0;
1005                    }
1006    
1007                    memmove((void *)(p_section->p_ontop_articles + i),
1008                                    (void *)(p_section->p_ontop_articles + i + 1),
1009                                    sizeof(ARTICLE *) * (size_t)(p_section->ontop_article_count - i - 1));
1010                    p_section->ontop_article_count--;
1011            }
1012    
1013            return 0;
1014    }
1015    
1016    int section_list_page_count_with_ontop(SECTION_LIST *p_section)
1017    {
1018            int page_count;
1019    
1020            if (p_section == NULL)
1021            {
1022                    log_error("NULL pointer error\n");
1023                    return -1;
1024            }
1025    
1026            page_count = p_section->page_count - (p_section->last_page_visible_article_count > 0 ? 1 : 0) +
1027                                     (p_section->last_page_visible_article_count + p_section->ontop_article_count) / BBS_article_limit_per_page +
1028                                     ((p_section->last_page_visible_article_count + p_section->ontop_article_count) % BBS_article_limit_per_page == 0 ? 0 : 1);
1029    
1030            return page_count;
1031    }
1032    
1033    int section_list_page_article_count_with_ontop(SECTION_LIST *p_section, int32_t page_id)
1034    {
1035            if (p_section == NULL)
1036            {
1037                    log_error("NULL pointer error\n");
1038                    return -1;
1039            }
1040    
1041            if (page_id < p_section->page_count - 1)
1042            {
1043                    return BBS_article_limit_per_page;
1044            }
1045            else // if (page_id >= p_section->page_count - 1)
1046            {
1047                    return MAX(0, (p_section->last_page_visible_article_count + p_section->ontop_article_count -
1048                                               BBS_article_limit_per_page * (page_id - p_section->page_count + 1)));
1049            }
1050    }
1051    
1052    ARTICLE *section_list_find_article_with_offset(SECTION_LIST *p_section, int32_t aid, int32_t *p_page, int32_t *p_offset, ARTICLE **pp_next)
1053  {  {
1054          ARTICLE *p_article;          ARTICLE *p_article;
         ARTICLE_BLOCK *p_block;  
1055          int left;          int left;
1056          int right;          int right;
1057          int mid;          int mid;
1058    
1059            *p_page = -1;
1060            *p_offset = -1;
1061            *pp_next = NULL;
1062    
1063          if (p_section == NULL)          if (p_section == NULL)
1064          {          {
1065                  log_error("section_data_find_article_by_aid() NULL pointer error\n");                  log_error("section_list_find_article_with_offset() NULL pointer error\n");
1066                  return NULL;                  return NULL;
1067          }          }
1068    
1069          if (p_section->block_count == 0) // empty section          if (p_section->article_count == 0) // empty
1070          {          {
1071                    *p_page = 0;
1072                    *p_offset = 0;
1073                  return NULL;                  return NULL;
1074          }          }
1075    
1076          left = 0;          left = 0;
1077          right = p_section->block_count;          right = p_section->page_count;
1078    
1079          // aid in the range [ head aid of blocks[left], tail aid of blocks[right - 1] ]          // aid in the range [ head aid of pages[left], tail aid of pages[right - 1] ]
1080          while (left < right - 1)          while (left < right - 1)
1081          {          {
1082                  // get block offset no less than mid value of left and right block offsets                  // get page id no less than mid value of left page id and right page id
1083                  mid = (left + right) / 2 + (right - left) % 2;                  mid = (left + right) / 2 + (right - left) % 2;
1084                    
1085                  if (mid >= BBS_article_block_limit_per_section)                  if (mid >= p_section->page_count)
1086                  {                  {
1087                          log_error("block_m(%d) is out of boundary\n", mid);                          log_error("page id (mid = %d) is out of boundary\n", mid);
1088                          return NULL;                          return NULL;
1089                  }                  }
1090    
1091                  if (aid < p_section->block_head_aid[mid])                  if (aid < p_section->p_page_first_article[mid]->aid)
1092                  {                  {
1093                          right = mid;                          right = mid;
1094                  }                  }
# Line 462  ARTICLE *section_data_find_article_by_ai Line 1098  ARTICLE *section_data_find_article_by_ai
1098                  }                  }
1099          }          }
1100    
1101          p_block = p_section->p_block[left];          *p_page = left;
1102    
1103            p_article = p_section->p_page_first_article[*p_page];
1104    
1105            // p_section->p_page_first_article[*p_page]->aid <= aid < p_section->p_page_first_article[*p_page + 1]->aid
1106            right = (*p_page == MAX(0, p_section->page_count - 1) ? INT32_MAX : p_section->p_page_first_article[*p_page + 1]->aid);
1107    
1108            // left will be the offset of article found or offset to insert
1109          left = 0;          left = 0;
         right = p_block->article_count - 1;  
1110    
1111          // aid in the range [ aid of articles[left], aid of articles[right] ]          while (aid > p_article->aid)
         while (left < right)  
1112          {          {
1113                  mid = (left + right) / 2;                  p_article = p_article->p_next;
1114                    left++;
1115    
1116                  if (aid <= p_block->articles[mid].aid)                  if (aid == p_article->aid)
1117                  {                  {
1118                          right = mid;                          *pp_next = p_article->p_next;
1119                            break;
1120                  }                  }
1121                  else  
1122                    // over last article in the page
1123                    if (p_article == p_section->p_article_head || p_article->aid >= right)
1124                  {                  {
1125                          left = mid + 1;                          *pp_next = (p_article == p_section->p_article_head ? p_section->p_article_head : p_section->p_page_first_article[*p_page + 1]);
1126                            *p_offset = left;
1127                            return NULL; // not found
1128                  }                  }
1129          }          }
1130    
1131          p_article = &(p_block->articles[left]);          if (aid < p_article->aid)
1132            {
1133                    *pp_next = p_article;
1134                    p_article = NULL; // not found
1135            }
1136            else // aid == p_article->aid
1137            {
1138                    *pp_next = p_article->p_next;
1139            }
1140    
1141            *p_offset = left;
1142    
1143          return p_article;          return p_article;
1144  }  }
1145    
1146  ARTICLE *section_data_find_article_by_index(SECTION_DATA *p_section, int index)  int section_list_calculate_page(SECTION_LIST *p_section, int32_t start_aid)
1147  {  {
1148          ARTICLE *p_article;          ARTICLE *p_article;
1149          ARTICLE_BLOCK *p_block;          ARTICLE *p_next;
1150            int32_t page;
1151            int32_t offset;
1152            int visible_article_count;
1153            int page_head_set;
1154    
1155          if (p_section == NULL)          if (p_section == NULL)
1156          {          {
1157                  log_error("section_data_find_article_by_index() NULL pointer error\n");                  log_error("section_list_calculate_page() NULL pointer error\n");
1158                  return NULL;                  return -1;
1159          }          }
1160    
1161          if (index < 0 || index >= p_section->article_count)          if (p_section->article_count == 0) // empty
1162          {          {
1163                  log_error("section_data_find_article_by_index(%d) is out of boundary [0, %d)\n", index, p_section->article_count);                  p_section->page_count = 0;
1164                  return NULL;                  p_section->last_page_visible_article_count = 0;
1165    
1166                    return 0;
1167          }          }
1168    
1169          p_block = p_section->p_block[index / BBS_article_limit_per_block];          if (start_aid > 0)
1170          p_article = &(p_block->articles[index % BBS_article_limit_per_block]);          {
1171                    p_article = article_block_find_by_aid(start_aid);
1172                    if (p_article == NULL)
1173                    {
1174                            return -1; // Not found
1175                    }
1176    
1177          return p_article;                  if (p_section->sid != p_article->sid)
1178                    {
1179                            log_error("section_list_calculate_page() error: section sid %d != start article sid %d\n", p_section->sid, p_article->sid);
1180                            return -2;
1181                    }
1182    
1183                    p_article = section_list_find_article_with_offset(p_section, start_aid, &page, &offset, &p_next);
1184                    if (p_article == NULL)
1185                    {
1186                            if (page < 0)
1187                            {
1188                                    return -1;
1189                            }
1190                            log_error("section_list_calculate_page() aid = %d not found in section sid = %d\n",
1191                                              start_aid, p_section->sid);
1192                            return -2;
1193                    }
1194    
1195                    if (offset > 0)
1196                    {
1197                            p_article = p_section->p_page_first_article[page];
1198                    }
1199            }
1200            else
1201            {
1202                    p_article = p_section->p_article_head;
1203                    page = 0;
1204                    offset = 0;
1205            }
1206    
1207            visible_article_count = 0;
1208            page_head_set = 0;
1209    
1210            do
1211            {
1212                    if (!page_head_set && visible_article_count == 0)
1213                    {
1214                            p_section->p_page_first_article[page] = p_article;
1215                            page_head_set = 1;
1216                    }
1217    
1218                    if (p_article->visible)
1219                    {
1220                            visible_article_count++;
1221                    }
1222    
1223                    p_article = p_article->p_next;
1224    
1225                    // skip remaining invisible articles
1226                    while (p_article->visible == 0 && p_article != p_section->p_article_head)
1227                    {
1228                            p_article = p_article->p_next;
1229                    }
1230    
1231                    if (visible_article_count >= BBS_article_limit_per_page && p_article != p_section->p_article_head)
1232                    {
1233                            page++;
1234                            visible_article_count = 0;
1235                            page_head_set = 0;
1236    
1237                            if (page >= BBS_article_limit_per_section / BBS_article_limit_per_page && p_article != p_section->p_article_head)
1238                            {
1239                                    log_error("Count of page exceed limit in section %d\n", p_section->sid);
1240                                    break;
1241                            }
1242                    }
1243            } while (p_article != p_section->p_article_head);
1244    
1245            p_section->page_count = page + (visible_article_count > 0 ? 1 : 0);
1246            p_section->last_page_visible_article_count = visible_article_count;
1247    
1248            return 0;
1249  }  }
1250    
1251  int section_data_mark_del_article(SECTION_DATA *p_section, int32_t aid)  int32_t article_block_last_aid(void)
1252    {
1253            ARTICLE_BLOCK *p_block = p_article_block_pool->p_block[p_article_block_pool->block_count - 1];
1254            int32_t last_aid = p_block->articles[p_block->article_count - 1].aid;
1255    
1256            return last_aid;
1257    }
1258    
1259    int article_block_article_count(void)
1260    {
1261            int ret;
1262    
1263            if (p_article_block_pool == NULL || p_article_block_pool->block_count <= 0)
1264            {
1265                    return -1;
1266            }
1267    
1268            ret = (p_article_block_pool->block_count - 1) * ARTICLE_PER_BLOCK +
1269                      p_article_block_pool->p_block[p_article_block_pool->block_count - 1]->article_count;
1270    
1271            return ret;
1272    }
1273    
1274    int article_count_of_topic(int32_t aid)
1275    {
1276            ARTICLE *p_article;
1277            int article_count;
1278    
1279            p_article = article_block_find_by_aid(aid);
1280            if (p_article == NULL)
1281            {
1282                    return 0; // Not found
1283            }
1284    
1285            article_count = 0;
1286    
1287            do
1288            {
1289                    if (p_article->tid != 0 && p_article->tid != aid)
1290                    {
1291                            log_error("article_count_of_topic(%d) error: article %d not linked to the topic\n", aid, p_article->aid);
1292                            break;
1293                    }
1294    
1295                    article_count++;
1296                    p_article = p_article->p_topic_next;
1297            } while (p_article->aid != aid);
1298    
1299            return article_count;
1300    }
1301    
1302    int section_list_move_topic(SECTION_LIST *p_section_src, SECTION_LIST *p_section_dest, int32_t aid)
1303  {  {
1304          ARTICLE *p_article;          ARTICLE *p_article;
1305            ARTICLE *p_next;
1306            int32_t page;
1307            int32_t offset;
1308            int32_t move_article_count;
1309            int32_t dest_article_count_old;
1310            int32_t last_unaffected_aid_src;
1311            int32_t first_inserted_aid_dest;
1312            int move_counter;
1313    
1314            if (p_section_src == NULL || p_section_dest == NULL)
1315            {
1316                    log_error("section_list_move_topic() NULL pointer error\n");
1317                    return -1;
1318            }
1319    
1320            if (p_section_src->sid == p_section_dest->sid)
1321            {
1322                    log_error("section_list_move_topic() src and dest section are the same\n");
1323                    return -1;
1324            }
1325    
1326            if ((p_article = article_block_find_by_aid(aid)) == NULL)
1327            {
1328                    log_error("article_block_find_by_aid(aid = %d) error: article not found\n", aid);
1329                    return -2;
1330            }
1331    
1332            if (p_section_src->sid != p_article->sid)
1333            {
1334                    log_error("section_list_move_topic() error: src section sid %d != article %d sid %d\n",
1335                                      p_section_src->sid, p_article->aid, p_article->sid);
1336                    return -2;
1337            }
1338    
1339            if (p_article->tid != 0)
1340            {
1341                    log_error("section_list_move_topic(aid = %d) error: article is not head of topic, tid = %d\n", aid, p_article->tid);
1342                    return -2;
1343            }
1344    
1345            last_unaffected_aid_src = (p_article == p_section_src->p_article_head ? 0 : p_article->p_prior->aid);
1346    
1347            move_article_count = article_count_of_topic(aid);
1348            if (move_article_count <= 0)
1349            {
1350                    log_error("article_count_of_topic(aid = %d) <= 0\n", aid);
1351                    return -2;
1352            }
1353    
1354            if (p_section_dest->article_count + move_article_count > BBS_article_limit_per_section)
1355            {
1356                    log_error("section_list_move_topic() error: article_count %d reach limit in section %d\n",
1357                                      p_section_dest->article_count + move_article_count, p_section_dest->sid);
1358                    return -3;
1359            }
1360    
1361            dest_article_count_old = p_section_dest->article_count;
1362            move_counter = 0;
1363            first_inserted_aid_dest = p_article->aid;
1364    
1365            do
1366            {
1367                    if (p_section_src->sid != p_article->sid)
1368                    {
1369                            log_error("section_list_move_topic() warning: src section sid %d != article %d sid %d\n",
1370                                              p_section_src->sid, p_article->aid, p_article->sid);
1371                            p_article = p_article->p_topic_next;
1372                            continue;
1373                    }
1374    
1375                    // Remove from bi-directional article list of src section
1376                    if (p_section_src->p_article_head == p_article)
1377                    {
1378                            p_section_src->p_article_head = p_article->p_next;
1379                    }
1380                    if (p_section_src->p_article_tail == p_article)
1381                    {
1382                            p_section_src->p_article_tail = p_article->p_prior;
1383                    }
1384                    if (p_section_src->p_article_head == p_article) // || p_section_src->p_article_tail == p_article
1385                    {
1386                            p_section_src->p_article_head = NULL;
1387                            p_section_src->p_article_tail = NULL;
1388                    }
1389    
1390                    p_article->p_prior->p_next = p_article->p_next;
1391                    p_article->p_next->p_prior = p_article->p_prior;
1392    
1393                    // Update sid of article
1394                    p_article->sid = p_section_dest->sid;
1395    
1396                    if (section_list_find_article_with_offset(p_section_dest, p_article->aid, &page, &offset, &p_next) != NULL)
1397                    {
1398                            log_error("section_list_move_topic() warning: article %d already in section %d\n", p_article->aid, p_section_dest->sid);
1399                            p_article = p_article->p_topic_next;
1400                            continue;
1401                    }
1402    
1403                    // Insert into bi-directional article list of dest section
1404                    if (p_next == NULL) // empty section
1405                    {
1406                            p_section_dest->p_article_head = p_article;
1407                            p_section_dest->p_article_tail = p_article;
1408                            p_article->p_prior = p_article;
1409                            p_article->p_next = p_article;
1410                    }
1411                    else
1412                    {
1413                            if (p_section_dest->p_article_head == p_next)
1414                            {
1415                                    if (p_article->aid < p_next->aid)
1416                                    {
1417                                            p_section_dest->p_article_head = p_article;
1418                                    }
1419                                    else // p_article->aid > p_next->aid
1420                                    {
1421                                            p_section_dest->p_article_tail = p_article;
1422                                    }
1423                            }
1424    
1425                            p_article->p_prior = p_next->p_prior;
1426                            p_article->p_next = p_next;
1427                            p_next->p_prior->p_next = p_article;
1428                            p_next->p_prior = p_article;
1429                    }
1430    
1431                    // Update article / topic counter of src / desc section
1432                    p_section_src->article_count--;
1433                    p_section_dest->article_count++;
1434                    if (p_article->tid == 0)
1435                    {
1436                            p_section_src->topic_count--;
1437                            p_section_dest->topic_count++;
1438                    }
1439    
1440                    // Update visible article / topic counter of src / desc section
1441                    if (p_article->visible)
1442                    {
1443                            p_section_src->visible_article_count--;
1444                            p_section_dest->visible_article_count++;
1445                            if (p_article->tid == 0)
1446                            {
1447                                    p_section_src->visible_topic_count--;
1448                                    p_section_dest->visible_topic_count++;
1449                            }
1450                    }
1451    
1452                    // Update page for empty dest section
1453                    if (p_section_dest->article_count == 1)
1454                    {
1455                            p_section_dest->p_page_first_article[0] = p_article;
1456                            p_section_dest->page_count = 1;
1457                            p_section_dest->last_page_visible_article_count = (p_article->visible ? 1 : 0);
1458                    }
1459    
1460                    p_article = p_article->p_topic_next;
1461    
1462                    move_counter++;
1463                    if (move_counter % CALCULATE_PAGE_THRESHOLD == 0)
1464                    {
1465                            // Re-calculate pages of desc section
1466                            if (section_list_calculate_page(p_section_dest, first_inserted_aid_dest) < 0)
1467                            {
1468                                    log_error("section_list_calculate_page(dest section = %d, aid = %d) error\n",
1469                                                      p_section_dest->sid, first_inserted_aid_dest);
1470                            }
1471    
1472                            first_inserted_aid_dest = p_article->aid;
1473                    }
1474            } while (p_article->aid != aid);
1475    
1476            if (p_section_dest->article_count - dest_article_count_old != move_article_count)
1477            {
1478                    log_error("section_list_move_topic() warning: count of moved articles %d != %d\n",
1479                                      p_section_dest->article_count - dest_article_count_old, move_article_count);
1480            }
1481    
1482            // Re-calculate pages of src section
1483            if (section_list_calculate_page(p_section_src, last_unaffected_aid_src) < 0)
1484            {
1485                    log_error("section_list_calculate_page(src section = %d, aid = %d) error at aid = %d\n",
1486                                      p_section_src->sid, last_unaffected_aid_src, aid);
1487            }
1488    
1489            if (move_counter % CALCULATE_PAGE_THRESHOLD != 0)
1490            {
1491                    // Re-calculate pages of desc section
1492                    if (section_list_calculate_page(p_section_dest, first_inserted_aid_dest) < 0)
1493                    {
1494                            log_error("section_list_calculate_page(dest section = %d, aid = %d) error\n",
1495                                              p_section_dest->sid, first_inserted_aid_dest);
1496                    }
1497            }
1498    
1499            return move_article_count;
1500    }
1501    
1502    int get_section_index(SECTION_LIST *p_section)
1503    {
1504            int index;
1505    
1506            if (p_section_list_pool == NULL)
1507            {
1508                    log_error("get_section_index() error: uninitialized\n");
1509                    return -1;
1510            }
1511    
1512          if (p_section == NULL)          if (p_section == NULL)
1513          {          {
1514                  log_error("section_data_mark_del_article() NULL pointer error\n");                  index = BBS_max_section;
1515            }
1516            else
1517            {
1518                    index = (int)(p_section - p_section_list_pool->sections);
1519                    if (index < 0 || index >= BBS_max_section)
1520                    {
1521                            log_error("get_section_index(%d) error: index out of range\n", index);
1522                            return -2;
1523                    }
1524            }
1525    
1526            return index;
1527    }
1528    
1529    int section_list_try_rd_lock(SECTION_LIST *p_section, int wait_sec)
1530    {
1531            int index;
1532            struct sembuf sops[4];
1533            struct timespec timeout;
1534            int ret;
1535    
1536            index = get_section_index(p_section);
1537            if (index < 0)
1538            {
1539                  return -2;                  return -2;
1540          }          }
1541    
1542          p_article = section_data_find_article_by_aid(p_section, aid);          sops[0].sem_num = (unsigned short)(index * 2 + 1); // w_sem of section index
1543          if (p_article == NULL)          sops[0].sem_op = 0;                                                                // wait until unlocked
1544            sops[0].sem_flg = 0;
1545    
1546            sops[1].sem_num = (unsigned short)(index * 2); // r_sem of section index
1547            sops[1].sem_op = 1;                                                        // lock
1548            sops[1].sem_flg = SEM_UNDO;                                        // undo on terminate
1549    
1550            // Read lock on any specific section will also acquire single read lock on "all section"
1551            // so that write lock on all section only need to acquire single write on on "all section"
1552            // rather than to acquire multiple write locks on all the available sections.
1553            if (index != BBS_max_section)
1554          {          {
1555                  return -1; // Not found                  sops[2].sem_num = BBS_max_section * 2 + 1; // w_sem of all section
1556                    sops[2].sem_op = 0;                                                // wait until unlocked
1557                    sops[2].sem_flg = 0;
1558    
1559                    sops[3].sem_num = BBS_max_section * 2; // r_sem of all section
1560                    sops[3].sem_op = 1;                                        // lock
1561                    sops[3].sem_flg = SEM_UNDO;                        // undo on terminate
1562            }
1563    
1564            timeout.tv_sec = wait_sec;
1565            timeout.tv_nsec = 0;
1566    
1567            ret = semtimedop(p_section_list_pool->semid, sops, (index == BBS_max_section ? 2 : 4), &timeout);
1568            if (ret == -1 && errno != EAGAIN && errno != EINTR)
1569            {
1570                    log_error("semtimedop(index = %d, lock read) error %d\n", index, errno);
1571            }
1572    
1573            return ret;
1574    }
1575    
1576    int section_list_try_rw_lock(SECTION_LIST *p_section, int wait_sec)
1577    {
1578            int index;
1579            struct sembuf sops[3];
1580            struct timespec timeout;
1581            int ret;
1582    
1583            index = get_section_index(p_section);
1584            if (index < 0)
1585            {
1586                    return -2;
1587          }          }
1588    
1589          if (p_article->visible == 0)          sops[0].sem_num = (unsigned short)(index * 2 + 1); // w_sem of section index
1590            sops[0].sem_op = 0;                                                                // wait until unlocked
1591            sops[0].sem_flg = 0;
1592    
1593            sops[1].sem_num = (unsigned short)(index * 2 + 1); // w_sem of section index
1594            sops[1].sem_op = 1;                                                                // lock
1595            sops[1].sem_flg = SEM_UNDO;                                                // undo on terminate
1596    
1597            sops[2].sem_num = (unsigned short)(index * 2); // r_sem of section index
1598            sops[2].sem_op = 0;                                                        // wait until unlocked
1599            sops[2].sem_flg = 0;
1600    
1601            timeout.tv_sec = wait_sec;
1602            timeout.tv_nsec = 0;
1603    
1604            ret = semtimedop(p_section_list_pool->semid, sops, 3, &timeout);
1605            if (ret == -1 && errno != EAGAIN && errno != EINTR)
1606            {
1607                    log_error("semtimedop(index = %d, lock write) error %d\n", index, errno);
1608            }
1609    
1610            return ret;
1611    }
1612    
1613    int section_list_rd_unlock(SECTION_LIST *p_section)
1614    {
1615            int index;
1616            struct sembuf sops[2];
1617            int ret;
1618    
1619            index = get_section_index(p_section);
1620            if (index < 0)
1621            {
1622                    return -2;
1623            }
1624    
1625            sops[0].sem_num = (unsigned short)(index * 2); // r_sem of section index
1626            sops[0].sem_op = -1;                                               // unlock
1627            sops[0].sem_flg = IPC_NOWAIT | SEM_UNDO;           // no wait
1628    
1629            if (index != BBS_max_section)
1630          {          {
1631                  return 0; // Already deleted                  sops[1].sem_num = BBS_max_section * 2;   // r_sem of all section
1632                    sops[1].sem_op = -1;                                     // unlock
1633                    sops[1].sem_flg = IPC_NOWAIT | SEM_UNDO; // no wait
1634          }          }
1635    
1636          p_article->visible = 0;          ret = semop(p_section_list_pool->semid, sops, (index == BBS_max_section ? 1 : 2));
1637          p_section->delete_count++;          if (ret == -1 && errno != EAGAIN && errno != EINTR)
1638            {
1639                    log_error("semop(index = %d, unlock read) error %d\n", index, errno);
1640            }
1641    
1642            return ret;
1643    }
1644    
1645    int section_list_rw_unlock(SECTION_LIST *p_section)
1646    {
1647            int index;
1648            struct sembuf sops[1];
1649            int ret;
1650    
1651            index = get_section_index(p_section);
1652            if (index < 0)
1653            {
1654                    return -2;
1655            }
1656    
1657            sops[0].sem_num = (unsigned short)(index * 2 + 1); // w_sem of section index
1658            sops[0].sem_op = -1;                                                       // unlock
1659            sops[0].sem_flg = IPC_NOWAIT | SEM_UNDO;                   // no wait
1660    
1661            ret = semop(p_section_list_pool->semid, sops, 1);
1662            if (ret == -1 && errno != EAGAIN && errno != EINTR)
1663            {
1664                    log_error("semop(index = %d, unlock write) error %d\n", index, errno);
1665            }
1666    
1667            return ret;
1668    }
1669    
1670    int section_list_rd_lock(SECTION_LIST *p_section)
1671    {
1672            int timer = 0;
1673            int sid = (p_section == NULL ? 0 : p_section->sid);
1674            int ret = -1;
1675    
1676            while (!SYS_server_exit)
1677            {
1678                    ret = section_list_try_rd_lock(p_section, SECTION_TRY_LOCK_WAIT_TIME);
1679                    if (ret == 0) // success
1680                    {
1681                            break;
1682                    }
1683                    else if (errno == EAGAIN || errno == EINTR) // retry
1684                    {
1685                            timer++;
1686                            if (timer % SECTION_TRY_LOCK_TIMES == 0)
1687                            {
1688                                    log_error("section_list_try_rd_lock() tried %d times on section %d\n", sid, timer);
1689                            }
1690                    }
1691                    else // failed
1692                    {
1693                            log_error("section_list_try_rd_lock() failed on section %d\n", sid);
1694                            break;
1695                    }
1696            }
1697    
1698            return ret;
1699    }
1700    
1701    int section_list_rw_lock(SECTION_LIST *p_section)
1702    {
1703            int timer = 0;
1704            int sid = (p_section == NULL ? 0 : p_section->sid);
1705            int ret = -1;
1706    
1707            while (!SYS_server_exit)
1708            {
1709                    ret = section_list_try_rw_lock(p_section, SECTION_TRY_LOCK_WAIT_TIME);
1710                    if (ret == 0) // success
1711                    {
1712                            break;
1713                    }
1714                    else if (errno == EAGAIN || errno == EINTR) // retry
1715                    {
1716                            timer++;
1717                            if (timer % SECTION_TRY_LOCK_TIMES == 0)
1718                            {
1719                                    log_error("section_list_try_rw_lock() tried %d times on section %d\n", sid, timer);
1720                            }
1721                    }
1722                    else // failed
1723                    {
1724                            log_error("section_list_try_rw_lock() failed on section %d\n", sid);
1725                            break;
1726                    }
1727            }
1728    
1729          return 1;          return ret;
1730  }  }

Legend:
Removed lines/characters  
Changed lines/characters
  Added lines/characters
webmaster@leafok.com
 ViewVC Help
Powered by ViewVC 1.3.0-beta1