/[LeafOK_CVS]/lbbs/src/section_list.c
ViewVC logotype

Diff of /lbbs/src/section_list.c

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

Revision 1.15 by sysadm, Sat May 24 03:41:34 2025 UTC Revision 1.20 by sysadm, Sun May 25 08:15:03 2025 UTC
# Line 14  Line 14 
14   *                                                                         *   *                                                                         *
15   ***************************************************************************/   ***************************************************************************/
16    
17    #define _GNU_SOURCE
18    
19  #include "section_list.h"  #include "section_list.h"
20  #include "log.h"  #include "log.h"
21  #include "trie_dict.h"  #include "trie_dict.h"
# Line 24  Line 26 
26  #include <stdlib.h>  #include <stdlib.h>
27  #include <errno.h>  #include <errno.h>
28  #include <sys/param.h>  #include <sys/param.h>
29    #include <sys/sem.h>
30  #include <sys/shm.h>  #include <sys/shm.h>
31  #include <sys/ipc.h>  #include <sys/ipc.h>
32    
33    #ifdef _SEM_SEMUN_UNDEFINED
34    union semun
35    {
36            int val;                           /* Value for SETVAL */
37            struct semid_ds *buf;  /* Buffer for IPC_STAT, IPC_SET */
38            unsigned short *array; /* Array for GETALL, SETALL */
39            struct seminfo *__buf; /* Buffer for IPC_INFO
40                                                              (Linux-specific) */
41    };
42    #endif // #ifdef _SEM_SEMUN_UNDEFINED
43    
44  #define ARTICLE_BLOCK_PER_SHM 400                 // sizeof(ARTICLE_BLOCK) * ARTICLE_BLOCK_PER_SHM is the size of each shm segment to allocate  #define ARTICLE_BLOCK_PER_SHM 400                 // sizeof(ARTICLE_BLOCK) * ARTICLE_BLOCK_PER_SHM is the size of each shm segment to allocate
45  #define ARTICLE_BLOCK_SHM_COUNT_LIMIT 256 // limited by length (8-bit) of proj_id in ftok(path, proj_id)  #define ARTICLE_BLOCK_SHM_COUNT_LIMIT 200 // limited by length (8-bit) of proj_id in ftok(path, proj_id)
46  #define ARTICLE_BLOCK_PER_POOL (ARTICLE_BLOCK_PER_SHM * ARTICLE_BLOCK_SHM_COUNT_LIMIT)  #define ARTICLE_BLOCK_PER_POOL (ARTICLE_BLOCK_PER_SHM * ARTICLE_BLOCK_SHM_COUNT_LIMIT)
47    
48  #define CALCULATE_PAGE_THRESHOLD 100 // Adjust to tune performance of move topic  #define CALCULATE_PAGE_THRESHOLD 100 // Adjust to tune performance of move topic
# Line 60  struct article_block_pool_t Line 74  struct article_block_pool_t
74  };  };
75  typedef struct article_block_pool_t ARTICLE_BLOCK_POOL;  typedef struct article_block_pool_t ARTICLE_BLOCK_POOL;
76    
77    static int article_block_pool_shmid;
78  static ARTICLE_BLOCK_POOL *p_article_block_pool = NULL;  static ARTICLE_BLOCK_POOL *p_article_block_pool = NULL;
79    
80    static int section_list_pool_semid;
81  static int section_list_pool_shmid;  static int section_list_pool_shmid;
82  static SECTION_LIST *p_section_list_pool = NULL;  static SECTION_LIST *p_section_list_pool = NULL;
83    
84  static int section_list_count = 0;  static int section_list_count = 0;
85  static TRIE_NODE *p_trie_dict_section_by_name = NULL;  static TRIE_NODE *p_trie_dict_section_by_name = NULL;
86  static TRIE_NODE *p_trie_dict_section_by_sid = NULL;  static TRIE_NODE *p_trie_dict_section_by_sid = NULL;
# Line 92  int article_block_init(const char *filen Line 109  int article_block_init(const char *filen
109                  return -2;                  return -2;
110          }          }
111    
112          p_article_block_pool = calloc(1, sizeof(ARTICLE_BLOCK_POOL));          // Allocate shared memory
113          if (p_article_block_pool == NULL)          proj_id = ARTICLE_BLOCK_SHM_COUNT_LIMIT; // keep different from proj_id used to create block shm
114            key = ftok(filename, proj_id);
115            if (key == -1)
116          {          {
117                  log_error("calloc(ARTICLE_BLOCK_POOL) OOM\n");                  log_error("ftok(%s, %d) error (%d)\n", filename, proj_id, errno);
118                  return -2;                  return -3;
119          }          }
120    
121          // Allocate shared memory          size = sizeof(ARTICLE_BLOCK_POOL);
122            shmid = shmget(key, size, IPC_CREAT | IPC_EXCL | 0600);
123            if (shmid == -1)
124            {
125                    log_error("shmget(article_block_pool_shm, size = %d) error (%d)\n", size, errno);
126                    return -3;
127            }
128            p_shm = shmat(shmid, NULL, 0);
129            if (p_shm == (void *)-1)
130            {
131                    log_error("shmat(shmid = %d) error (%d)\n", shmid, errno);
132                    return -3;
133            }
134    
135            article_block_pool_shmid = shmid;
136            p_article_block_pool = p_shm;
137    
138          p_article_block_pool->shm_count = 0;          p_article_block_pool->shm_count = 0;
139          pp_block_next = &(p_article_block_pool->p_block_free_list);          pp_block_next = &(p_article_block_pool->p_block_free_list);
140    
# Line 108  int article_block_init(const char *filen Line 143  int article_block_init(const char *filen
143                  block_count_in_shm = MIN(block_count, ARTICLE_BLOCK_PER_SHM);                  block_count_in_shm = MIN(block_count, ARTICLE_BLOCK_PER_SHM);
144                  block_count -= block_count_in_shm;                  block_count -= block_count_in_shm;
145    
146                  proj_id = getpid() + p_article_block_pool->shm_count;                  proj_id = p_article_block_pool->shm_count;
147                  key = ftok(filename, proj_id);                  key = ftok(filename, proj_id);
148                  if (key == -1)                  if (key == -1)
149                  {                  {
# Line 117  int article_block_init(const char *filen Line 152  int article_block_init(const char *filen
152                          return -3;                          return -3;
153                  }                  }
154    
155                  size = sizeof(shmid) + sizeof(ARTICLE_BLOCK) * (size_t)block_count_in_shm;                  size = sizeof(ARTICLE_BLOCK) * (size_t)block_count_in_shm;
156                  shmid = shmget(key, size, IPC_CREAT | IPC_EXCL | 0600);                  shmid = shmget(key, size, IPC_CREAT | IPC_EXCL | 0600);
157                  if (shmid == -1)                  if (shmid == -1)
158                  {                  {
# Line 161  int article_block_init(const char *filen Line 196  int article_block_init(const char *filen
196    
197  void article_block_cleanup(void)  void article_block_cleanup(void)
198  {  {
199          if (p_article_block_pool != NULL)          if (p_article_block_pool == NULL)
200          {          {
201                  for (int i = 0; i < p_article_block_pool->shm_count; i++)                  return;
202            }
203    
204            for (int i = 0; i < p_article_block_pool->shm_count; i++)
205            {
206                    if (shmdt((p_article_block_pool->shm_pool + i)->p_shm) == -1)
207                  {                  {
208                          if (shmdt((p_article_block_pool->shm_pool + i)->p_shm) == -1)                          log_error("shmdt(shmid = %d) error (%d)\n", (p_article_block_pool->shm_pool + i)->shmid, errno);
209                          {                  }
                                 log_error("shmdt(shmid = %d) error (%d)\n", (p_article_block_pool->shm_pool + i)->shmid, errno);  
                         }  
210    
211                          if (shmctl((p_article_block_pool->shm_pool + i)->shmid, IPC_RMID, NULL) == -1)                  if (shmctl((p_article_block_pool->shm_pool + i)->shmid, IPC_RMID, NULL) == -1)
212                          {                  {
213                                  log_error("shmctl(shmid = %d, IPC_RMID) error (%d)\n", (p_article_block_pool->shm_pool + i)->shmid, errno);                          log_error("shmctl(shmid = %d, IPC_RMID) error (%d)\n", (p_article_block_pool->shm_pool + i)->shmid, errno);
                         }  
214                  }                  }
215            }
216    
217                  free(p_article_block_pool);          if (shmdt(p_article_block_pool) == -1)
218                  p_article_block_pool = NULL;          {
219                    log_error("shmdt(shmid = %d) error (%d)\n", article_block_pool_shmid, errno);
220          }          }
221    
222            if (shmctl(article_block_pool_shmid, IPC_RMID, NULL) == -1)
223            {
224                    log_error("shmctl(shmid = %d, IPC_RMID) error (%d)\n", article_block_pool_shmid, errno);
225            }
226    
227            p_article_block_pool = NULL;
228  }  }
229    
230  inline static ARTICLE_BLOCK *pop_free_article_block(void)  inline static ARTICLE_BLOCK *pop_free_article_block(void)
# Line 315  ARTICLE *article_block_find_by_index(int Line 361  ARTICLE *article_block_find_by_index(int
361          return (p_block->articles + (index % ARTICLE_PER_BLOCK));          return (p_block->articles + (index % ARTICLE_PER_BLOCK));
362  }  }
363    
364  extern int section_list_pool_init(const char *filename)  extern int section_list_init(const char *filename)
365  {  {
366            int semid;
367          int shmid;          int shmid;
368          int proj_id;          int proj_id;
369          key_t key;          key_t key;
370          size_t size;          size_t size;
371          void *p_shm;          void *p_shm;
372            union semun arg;
373            int i;
374    
375          if (p_section_list_pool == NULL || p_trie_dict_section_by_name == NULL || p_trie_dict_section_by_sid == NULL)          if (p_section_list_pool == NULL || p_trie_dict_section_by_name == NULL || p_trie_dict_section_by_sid == NULL)
376          {          {
377                  section_list_pool_cleanup();                  section_list_cleanup();
         }  
   
         p_section_list_pool = calloc(BBS_max_section, sizeof(SECTION_LIST));  
         if (p_section_list_pool == NULL)  
         {  
                 log_error("calloc(%d SECTION_LIST) OOM\n", BBS_max_section);  
                 return -1;  
378          }          }
379    
380          proj_id = (int)(time(NULL) % getpid());          proj_id = (int)(time(NULL) % getpid());
# Line 343  extern int section_list_pool_init(const Line 385  extern int section_list_pool_init(const
385                  return -3;                  return -3;
386          }          }
387    
388          size = sizeof(shmid) + sizeof(SECTION_LIST) * BBS_max_section;          size = 2 * (BBS_max_section + 1); // r_sem and w_sem per section, the last pair for all sections
389            semid = semget(key, (int)size, IPC_CREAT | IPC_EXCL | 0600);
390            if (semid == -1)
391            {
392                    log_error("semget(section_list_pool_sem, size = %d) error (%d)\n", size, errno);
393                    return -3;
394            }
395    
396            // Initialize sem value to 0
397            arg.val = 0;
398            for (i = 0; i < size; i++)
399            {
400                    if (semctl(semid, i, SETVAL, arg) == -1)
401                    {
402                            log_error("semctl(section_list_pool_sem, SETVAL) error (%d)\n", errno);
403                            return -3;
404                    }
405            }
406    
407            section_list_pool_semid = semid;
408    
409            size = sizeof(SECTION_LIST) * BBS_max_section;
410          shmid = shmget(key, size, IPC_CREAT | IPC_EXCL | 0600);          shmid = shmget(key, size, IPC_CREAT | IPC_EXCL | 0600);
411          if (shmid == -1)          if (shmid == -1)
412          {          {
413                  log_error("shmget(section_list_pool, size = %d) error (%d)\n", size, errno);                  log_error("shmget(section_list_pool_shm, size = %d) error (%d)\n", size, errno);
414                  return -3;                  return -3;
415          }          }
416          p_shm = shmat(shmid, NULL, 0);          p_shm = shmat(shmid, NULL, 0);
# Line 433  SECTION_LIST *section_list_create(int32_ Line 496  SECTION_LIST *section_list_create(int32_
496          if (trie_dict_set(p_trie_dict_section_by_sid, sid_str, section_list_count) != 1)          if (trie_dict_set(p_trie_dict_section_by_sid, sid_str, section_list_count) != 1)
497          {          {
498                  log_error("trie_dict_set(section, %d, %d) error\n", sid, section_list_count);                  log_error("trie_dict_set(section, %d, %d) error\n", sid, section_list_count);
                 log_std("Debug %x %x %x %x\n", sid_str[0], sid_str[1], sid_str[2], sid_str[3]);  
499                  return NULL;                  return NULL;
500          }          }
501    
# Line 457  void section_list_reset_articles(SECTION Line 519  void section_list_reset_articles(SECTION
519          p_section->last_page_visible_article_count = 0;          p_section->last_page_visible_article_count = 0;
520  }  }
521    
522  void section_list_pool_cleanup(void)  void section_list_cleanup(void)
523  {  {
524          if (p_trie_dict_section_by_name != NULL)          if (p_trie_dict_section_by_name != NULL)
525          {          {
# Line 483  void section_list_pool_cleanup(void) Line 545  void section_list_pool_cleanup(void)
545                  {                  {
546                          log_error("shmctl(shmid = %d, IPC_RMID) error (%d)\n", section_list_pool_shmid, errno);                          log_error("shmctl(shmid = %d, IPC_RMID) error (%d)\n", section_list_pool_shmid, errno);
547                  }                  }
548    
549                    if (semctl(section_list_pool_semid, 0, IPC_RMID) == -1)
550                    {
551                            log_error("semctl(semid = %d, IPC_RMID) error (%d)\n", section_list_pool_semid, errno);
552                    }
553          }          }
554    
555          section_list_count = 0;          section_list_count = 0;
# Line 1156  int section_list_move_topic(SECTION_LIST Line 1223  int section_list_move_topic(SECTION_LIST
1223    
1224          return move_article_count;          return move_article_count;
1225  }  }
1226    
1227    int get_section_index(SECTION_LIST *p_section)
1228    {
1229            int index;
1230    
1231            if (p_section_list_pool == NULL)
1232            {
1233                    log_error("get_section_index() error: uninitialized\n");
1234                    return -1;
1235            }
1236    
1237            if (p_section == NULL)
1238            {
1239                    index = BBS_max_section;
1240            }
1241            else
1242            {
1243                    index = (int)(p_section - p_section_list_pool);
1244                    if (index < 0 || index >= BBS_max_section)
1245                    {
1246                            log_error("get_section_index(%d) error: index out of range\n", index);
1247                            return -2;
1248                    }
1249            }
1250    
1251            return index;
1252    }
1253    
1254    int section_list_try_rd_lock(SECTION_LIST *p_section, int wait_sec)
1255    {
1256            int index;
1257            struct sembuf sops[4];
1258            struct timespec timeout;
1259            int ret;
1260    
1261            index = get_section_index(p_section);
1262            if (index < 0)
1263            {
1264                    return -2;
1265            }
1266    
1267            sops[0].sem_num = (unsigned short)(index * 2 + 1); // w_sem of section index
1268            sops[0].sem_op = 0;                                                                // wait until unlocked
1269            sops[0].sem_flg = 0;
1270    
1271            sops[1].sem_num = (unsigned short)(index * 2); // r_sem of section index
1272            sops[1].sem_op = 1;                                                        // lock
1273            sops[1].sem_flg = SEM_UNDO;                                        // undo on terminate
1274    
1275            // Read lock on any specific section will also acquire single read lock on "all section"
1276            // so that write lock on all section only need to acquire single write on on "all section"
1277            // rather than to acquire multiple write locks on all the available sections.
1278            if (index == BBS_max_section)
1279            {
1280                    sops[2].sem_num = BBS_max_section * 2 + 1; // w_sem of all section
1281                    sops[2].sem_op = 0;                                                // wait until unlocked
1282                    sops[2].sem_flg = 0;
1283    
1284                    sops[3].sem_num = BBS_max_section * 2; // r_sem of all section
1285                    sops[3].sem_op = 1;                                        // lock
1286                    sops[3].sem_flg = SEM_UNDO;                        // undo on terminate
1287            }
1288    
1289            timeout.tv_sec = wait_sec;
1290            timeout.tv_nsec = 0;
1291    
1292            ret = semtimedop(section_list_pool_semid, sops, (index == BBS_max_section ? 4 : 2), &timeout);
1293            if (ret == -1 && errno != EAGAIN && errno != EINTR)
1294            {
1295                    log_error("semtimedop(index = %d, lock read) error %d\n", index, errno);
1296            }
1297    
1298            return ret;
1299    }
1300    
1301    int section_list_try_rw_lock(SECTION_LIST *p_section, int wait_sec)
1302    {
1303            int index;
1304            struct sembuf sops[3];
1305            struct timespec timeout;
1306            int ret;
1307    
1308            index = get_section_index(p_section);
1309            if (index < 0)
1310            {
1311                    return -2;
1312            }
1313    
1314            sops[0].sem_num = (unsigned short)(index * 2 + 1); // w_sem of section index
1315            sops[0].sem_op = 0;                                                                // wait until unlocked
1316            sops[0].sem_flg = 0;
1317    
1318            sops[1].sem_num = (unsigned short)(index * 2 + 1); // w_sem of section index
1319            sops[1].sem_op = 1;                                                                // lock
1320            sops[1].sem_flg = SEM_UNDO;                                                // undo on terminate
1321    
1322            sops[2].sem_num = (unsigned short)(index * 2); // r_sem of section index
1323            sops[2].sem_op = 0;                                                        // wait until unlocked
1324            sops[2].sem_flg = 0;
1325    
1326            timeout.tv_sec = wait_sec;
1327            timeout.tv_nsec = 0;
1328    
1329            ret = semtimedop(section_list_pool_semid, sops, 3, &timeout);
1330            if (ret == -1 && errno != EAGAIN && errno != EINTR)
1331            {
1332                    log_error("semtimedop(index = %d, lock write) error %d\n", index, errno);
1333            }
1334    
1335            return ret;
1336    }
1337    
1338    int section_list_rd_unlock(SECTION_LIST *p_section)
1339    {
1340            int index;
1341            struct sembuf sops[2];
1342            int ret;
1343    
1344            index = get_section_index(p_section);
1345            if (index < 0)
1346            {
1347                    return -2;
1348            }
1349    
1350            sops[0].sem_num = (unsigned short)(index * 2); // r_sem of section index
1351            sops[0].sem_op = -1;                                               // unlock
1352            sops[0].sem_flg = IPC_NOWAIT | SEM_UNDO;           // no wait
1353    
1354            // The same reason as section_list_try_rd_lock()
1355            if (index == BBS_max_section)
1356            {
1357                    sops[1].sem_num = BBS_max_section * 2;   // r_sem of all section
1358                    sops[1].sem_op = -1;                                     // unlock
1359                    sops[1].sem_flg = IPC_NOWAIT | SEM_UNDO; // no wait
1360            }
1361    
1362            ret = semop(section_list_pool_semid, sops, (index == BBS_max_section ? 2 : 1));
1363            if (ret == -1 && errno != EAGAIN && errno != EINTR)
1364            {
1365                    log_error("semop(index = %d, unlock read) error %d\n", index, errno);
1366            }
1367    
1368            return ret;
1369    }
1370    
1371    int section_list_rw_unlock(SECTION_LIST *p_section)
1372    {
1373            int index;
1374            struct sembuf sops[1];
1375            int ret;
1376    
1377            index = get_section_index(p_section);
1378            if (index < 0)
1379            {
1380                    return -2;
1381            }
1382    
1383            sops[0].sem_num = (unsigned short)(index * 2 + 1); // w_sem of section index
1384            sops[0].sem_op = -1;                                                       // unlock
1385            sops[0].sem_flg = IPC_NOWAIT | SEM_UNDO;                   // no wait
1386    
1387            ret = semop(section_list_pool_semid, sops, 1);
1388            if (ret == -1 && errno != EAGAIN && errno != EINTR)
1389            {
1390                    log_error("semop(index = %d, unlock write) error %d\n", index, errno);
1391            }
1392    
1393            return ret;
1394    }

Legend:
Removed lines/characters  
Changed lines/characters
  Added lines/characters
webmaster@leafok.com
 ViewVC Help
Powered by ViewVC 1.3.0-beta1