/[LeafOK_CVS]/lbbs/src/section_list_loader.c
ViewVC logotype

Diff of /lbbs/src/section_list_loader.c

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

Revision 1.8 by sysadm, Wed May 28 07:30:23 2025 UTC Revision 1.21 by sysadm, Sun Jun 15 02:24:45 2025 UTC
# Line 15  Line 15 
15   ***************************************************************************/   ***************************************************************************/
16    
17  #include "section_list_loader.h"  #include "section_list_loader.h"
18    #include "article_cache.h"
19    #include "bbs.h"
20  #include "log.h"  #include "log.h"
21  #include "database.h"  #include "database.h"
22  #include "menu.h"  #include "menu.h"
# Line 29  Line 31 
31  #define _POSIX_C_SOURCE 200809L  #define _POSIX_C_SOURCE 200809L
32  #include <string.h>  #include <string.h>
33    
 #define SECTION_LIST_LOAD_INTERVAL 10 // second  
   
34  int section_list_loader_pid;  int section_list_loader_pid;
35  int last_article_op_log_mid;  int last_article_op_log_mid;
36    
# Line 158  int load_section_config_from_db(void) Line 158  int load_section_config_from_db(void)
158          return ret;          return ret;
159  }  }
160    
161  int append_articles_from_db(int32_t start_aid, int global_lock)  int append_articles_from_db(int32_t start_aid, int global_lock, int article_count_limit)
162  {  {
163          MYSQL *db;          MYSQL *db;
164          MYSQL_RES *rs;          MYSQL_RES *rs;
# Line 168  int append_articles_from_db(int32_t star Line 168  int append_articles_from_db(int32_t star
168          ARTICLE *p_topic;          ARTICLE *p_topic;
169          SECTION_LIST *p_section = NULL;          SECTION_LIST *p_section = NULL;
170          int32_t last_sid = 0;          int32_t last_sid = 0;
171            char sub_ip[IP_ADDR_LEN];
172            int article_count = 0;
173          int ret = 0;          int ret = 0;
174          int i;          int i;
175    
# Line 179  int append_articles_from_db(int32_t star Line 181  int append_articles_from_db(int32_t star
181          }          }
182    
183          snprintf(sql, sizeof(sql),          snprintf(sql, sizeof(sql),
184                           "SELECT AID, TID, SID, CID, UID, visible, excerption, ontop, `lock`, "                           "SELECT bbs.AID, TID, SID, bbs.CID, UID, visible, excerption, ontop, `lock`, "
185                           "transship, username, nickname, title, UNIX_TIMESTAMP(sub_dt) AS sub_dt "                           "transship, username, nickname, title, UNIX_TIMESTAMP(sub_dt) AS sub_dt, "
186                           "FROM bbs WHERE AID >= %d ORDER BY AID",                           "sub_ip, bbs_content.content "
187                           start_aid);                           "FROM bbs INNER JOIN bbs_content ON bbs.CID = bbs_content.CID "
188                             "WHERE bbs.AID >= %d ORDER BY bbs.AID LIMIT %d",
189                             start_aid, article_count_limit);
190    
191          if (mysql_query(db, sql) != 0)          if (mysql_query(db, sql) != 0)
192          {          {
# Line 232  int append_articles_from_db(int32_t star Line 236  int append_articles_from_db(int32_t star
236    
237                  article.sub_dt = atol(row[i++]);                  article.sub_dt = atol(row[i++]);
238    
239                    strncpy(sub_ip, row[i++], sizeof(sub_ip) - 1);
240                    sub_ip[sizeof(sub_ip) - 1] = '\0';
241                    ip_mask(sub_ip, 1, '*');
242    
243                  // release lock of last section if different from current one                  // release lock of last section if different from current one
244                  if (!global_lock && article.sid != last_sid && last_sid != 0)                  if (!global_lock && article.sid != last_sid && last_sid != 0)
245                  {                  {
246                          if ((ret = section_list_rw_unlock(p_section)) < 0)                          if ((ret = section_list_rw_unlock(p_section)) < 0)
247                          {                          {
248                                  log_error("section_list_rw_unlock(sid = %d) error\n", p_section->sid);                                  log_error("section_list_rw_unlock(sid=%d) error\n", p_section->sid);
249                                  break;                                  break;
250                          }                          }
251                  }                  }
# Line 266  int append_articles_from_db(int32_t star Line 274  int append_articles_from_db(int32_t star
274                  {                  {
275                          if ((ret = section_list_rw_lock(p_section)) < 0)                          if ((ret = section_list_rw_lock(p_section)) < 0)
276                          {                          {
277                                  log_error("section_list_rw_lock(sid = 0) error\n");                                  log_error("section_list_rw_lock(sid=0) error\n");
278                                  break;                                  break;
279                          }                          }
280                  }                  }
# Line 276  int append_articles_from_db(int32_t star Line 284  int append_articles_from_db(int32_t star
284    
285                  if (section_list_append_article(p_section, &article) < 0)                  if (section_list_append_article(p_section, &article) < 0)
286                  {                  {
287                          log_error("section_list_append_article(sid = %d, aid = %d) error\n",                          log_error("section_list_append_article(sid=%d, aid=%d) error\n",
288                                            p_section->sid, article.aid);                                            p_section->sid, article.aid);
289                          ret = -3;                          ret = -3;
290                          break;                          break;
291                  }                  }
292    
293                    article_count++;
294    
295                    if (article_cache_generate(VAR_ARTICLE_CACHE_DIR, &article, p_section, row[i++], sub_ip, 0) < 0)
296                    {
297                            log_error("article_cache_generate(aid=%d, cid=%d) error\n", article.aid, article.cid);
298                            ret = -4;
299                            break;
300                    }
301          }          }
302    
303          // release lock of last section          // release lock of last section
# Line 288  int append_articles_from_db(int32_t star Line 305  int append_articles_from_db(int32_t star
305          {          {
306                  if ((ret = section_list_rw_unlock(p_section)) < 0)                  if ((ret = section_list_rw_unlock(p_section)) < 0)
307                  {                  {
308                          log_error("section_list_rw_unlock(sid = %d) error\n", p_section->sid);                          log_error("section_list_rw_unlock(sid=%d) error\n", p_section->sid);
309                  }                  }
310          }          }
311    
# Line 297  int append_articles_from_db(int32_t star Line 314  int append_articles_from_db(int32_t star
314          {          {
315                  if ((ret = section_list_rw_unlock(NULL)) < 0)                  if ((ret = section_list_rw_unlock(NULL)) < 0)
316                  {                  {
317                          log_error("section_list_rw_unlock(sid = 0) error\n");                          log_error("section_list_rw_unlock(sid=0) error\n");
318                  }                  }
319          }          }
320    
# Line 306  cleanup: Line 323  cleanup:
323    
324          mysql_close(db);          mysql_close(db);
325    
326          return ret;          return (ret < 0 ? ret : article_count);
327  }  }
328    
329  int set_last_article_op_log_from_db(void)  int set_last_article_op_log_from_db(void)
# Line 349  int set_last_article_op_log_from_db(void Line 366  int set_last_article_op_log_from_db(void
366          return last_article_op_log_mid;          return last_article_op_log_mid;
367  }  }
368    
369  int apply_article_op_log_from_db(void)  int apply_article_op_log_from_db(int op_count_limit)
370  {  {
371          MYSQL *db;          MYSQL *db;
372          MYSQL_RES *rs, *rs2;          MYSQL_RES *rs, *rs2;
# Line 358  int apply_article_op_log_from_db(void) Line 375  int apply_article_op_log_from_db(void)
375          ARTICLE *p_article;          ARTICLE *p_article;
376          SECTION_LIST *p_section = NULL;          SECTION_LIST *p_section = NULL;
377          SECTION_LIST *p_section_dest;          SECTION_LIST *p_section_dest;
378            char sub_ip[IP_ADDR_LEN];
379          int32_t last_sid = 0;          int32_t last_sid = 0;
380          int32_t sid_dest;          int32_t sid_dest;
381            int op_count = 0;
382          int ret = 0;          int ret = 0;
383    
384          db = db_open();          db = db_open();
# Line 371  int apply_article_op_log_from_db(void) Line 390  int apply_article_op_log_from_db(void)
390    
391          snprintf(sql, sizeof(sql),          snprintf(sql, sizeof(sql),
392                           "SELECT MID, AID, type FROM bbs_article_op "                           "SELECT MID, AID, type FROM bbs_article_op "
393                           "WHERE MID > %d AND type NOT IN ('A', 'M') ORDER BY MID",                           "WHERE MID > %d AND type NOT IN ('A') "
394                           last_article_op_log_mid);                           "ORDER BY MID LIMIT %d",
395                             last_article_op_log_mid, op_count_limit);
396    
397          if (mysql_query(db, sql) != 0)          if (mysql_query(db, sql) != 0)
398          {          {
# Line 430  int apply_article_op_log_from_db(void) Line 450  int apply_article_op_log_from_db(void)
450                          break;                          break;
451                  case 'D': // Delete article                  case 'D': // Delete article
452                  case 'X': // Delete article by Admin                  case 'X': // Delete article by Admin
453                          p_article->visible = 0;                          if (section_list_set_article_visible(p_section, atoi(row[1]), 0) < 0)
                         if (p_article->tid == 0)  
454                          {                          {
455                                  // Set articles in the topic to be invisible                                  log_error("section_list_set_article_visible(sid=%d, aid=%d, visible=0) error\n", p_section->sid, atoi(row[1]));
456                                  do                          }
457                                  {                          if (section_list_calculate_page(p_section, atoi(row[1])) < 0)
458                                          p_article = p_article->p_topic_next;                          {
459                                          p_article->visible = 0;                                  log_error("section_list_calculate_page(aid=%d) error\n", atoi(row[1]));
                                 } while (p_article->tid != 0);  
460                          }                          }
461                          break;                          break;
462                  case 'S': // Restore article                  case 'S': // Restore article
463                          p_article->visible = 1;                          if (section_list_set_article_visible(p_section, atoi(row[1]), 1) < 0)
464                            {
465                                    log_error("section_list_set_article_visible(sid=%d, aid=%d, visible=1) error\n", p_section->sid, atoi(row[1]));
466                            }
467                            if (section_list_calculate_page(p_section, atoi(row[1])) < 0)
468                            {
469                                    log_error("section_list_calculate_page(aid=%d) error\n", atoi(row[1]));
470                            }
471                          break;                          break;
472                  case 'L': // Lock article                  case 'L': // Lock article
473                          p_article->lock = 1;                          p_article->lock = 1;
# Line 451  int apply_article_op_log_from_db(void) Line 476  int apply_article_op_log_from_db(void)
476                          p_article->lock = 0;                          p_article->lock = 0;
477                          break;                          break;
478                  case 'M': // Modify article                  case 'M': // Modify article
479                          log_error("Operation type=M should not be found\n");                          snprintf(sql, sizeof(sql),
480                                             "SELECT bbs.CID, sub_ip, bbs_content.content "
481                                             "FROM bbs INNER JOIN bbs_content ON bbs.CID = bbs_content.CID "
482                                             "WHERE bbs.AID = %d",
483                                             p_article->aid);
484    
485                            if (mysql_query(db, sql) != 0)
486                            {
487                                    log_error("Query article error: %s\n", mysql_error(db));
488                                    ret = -3;
489                                    break;
490                            }
491                            if ((rs2 = mysql_use_result(db)) == NULL)
492                            {
493                                    log_error("Get article data failed\n");
494                                    ret = -3;
495                                    break;
496                            }
497                            if ((row2 = mysql_fetch_row(rs2)))
498                            {
499                                    p_article->cid = atoi(row2[0]);
500    
501                                    strncpy(sub_ip, row2[1], sizeof(sub_ip) - 1);
502                                    sub_ip[sizeof(sub_ip) - 1] = '\0';
503                                    ip_mask(sub_ip, 1, '*');
504    
505                                    if (article_cache_generate(VAR_ARTICLE_CACHE_DIR, p_article, p_section, row2[2], sub_ip, 0) < 0)
506                                    {
507                                            log_error("article_cache_generate(aid=%d, cid=%d) error\n", p_article->aid, p_article->cid);
508                                            ret = -4;
509                                    }
510                            }
511                            else
512                            {
513                                    p_article->cid = 0;
514                                    ret = -4;
515                            }
516                            mysql_free_result(rs2);
517    
518                            p_article->excerption = 0; // Set excerption = 0 implicitly in case of rare condition
519                          break;                          break;
520                  case 'T': // Move article                  case 'T': // Move article
521                          snprintf(sql, sizeof(sql),                          snprintf(sql, sizeof(sql),
# Line 536  int apply_article_op_log_from_db(void) Line 600  int apply_article_op_log_from_db(void)
600    
601                  // Update MID with last successfully proceeded article_op_log                  // Update MID with last successfully proceeded article_op_log
602                  last_article_op_log_mid = atoi(row[0]);                  last_article_op_log_mid = atoi(row[0]);
603    
604                    op_count++;
605          }          }
606    
607          // release lock of last section          // release lock of last section
# Line 551  int apply_article_op_log_from_db(void) Line 617  int apply_article_op_log_from_db(void)
617    
618          mysql_close(db);          mysql_close(db);
619    
620          return ret;          return (ret < 0 ? ret : op_count);
621  }  }
622    
623  int section_list_loader_launch(void)  int section_list_loader_launch(void)
# Line 576  int section_list_loader_launch(void) Line 642  int section_list_loader_launch(void)
642          {          {
643                  SYS_child_process_count++;                  SYS_child_process_count++;
644                  section_list_loader_pid = pid;                  section_list_loader_pid = pid;
645                  log_std("Section list loader process (%d) start\n", pid);                  log_common("Section list loader process (pid = %d) start\n", pid);
646                  return 0;                  return 0;
647          }          }
648          else if (pid < 0) // Error          else if (pid < 0) // Error
# Line 612  int section_list_loader_launch(void) Line 678  int section_list_loader_launch(void)
678                  }                  }
679    
680                  // Load section articles                  // Load section articles
                 last_aid = article_block_last_aid();  
681                  article_count = article_block_article_count();                  article_count = article_block_article_count();
682    
683                  if ((ret = append_articles_from_db(last_aid + 1, 0)) < 0)                  do
684                  {                  {
685                          log_error("append_articles_from_db(%d, 0) error\n", last_aid + 1);                          last_aid = article_block_last_aid();
686    
687                          if (ret == ERR_UNKNOWN_SECTION)                          if ((ret = append_articles_from_db(last_aid + 1, 0, LOAD_ARTICLE_COUNT_LIMIT)) < 0)
688                          {                          {
689                                  SYS_section_list_reload = 1; // Force reload section_list                                  log_error("append_articles_from_db(%d, 0, %d) error\n", last_aid + 1, LOAD_ARTICLE_COUNT_LIMIT);
690    
691                                    if (ret == ERR_UNKNOWN_SECTION)
692                                    {
693                                            SYS_section_list_reload = 1; // Force reload section_list
694                                    }
695                          }                          }
696                  }                  } while (ret == LOAD_ARTICLE_COUNT_LIMIT);
697    
698                  load_count = article_block_article_count() - article_count;                  load_count = article_block_article_count() - article_count;
   
699                  if (load_count > 0)                  if (load_count > 0)
700                  {                  {
701                          log_std("Incrementally load %d articles, last_aid = %d\n", load_count, article_block_last_aid());                          log_common("Incrementally load %d articles, last_aid = %d\n", load_count, article_block_last_aid());
702                  }                  }
703    
704                  if (SYS_section_list_reload)                  if (SYS_section_list_reload)
# Line 640  int section_list_loader_launch(void) Line 709  int section_list_loader_launch(void)
709                  // Load article_op log                  // Load article_op log
710                  last_mid = last_article_op_log_mid;                  last_mid = last_article_op_log_mid;
711    
712                  if ((ret = apply_article_op_log_from_db()) < 0)                  do
713                  {                  {
714                          log_error("apply_article_op_log_from_db() error\n");                          if ((ret = apply_article_op_log_from_db(LOAD_ARTICLE_COUNT_LIMIT)) < 0)
   
                         if (ret == ERR_UNKNOWN_SECTION)  
715                          {                          {
716                                  SYS_section_list_reload = 1; // Force reload section_list                                  log_error("apply_article_op_log_from_db() error\n");
717    
718                                    if (ret == ERR_UNKNOWN_SECTION)
719                                    {
720                                            SYS_section_list_reload = 1; // Force reload section_list
721                                    }
722                          }                          }
723                  }                  } while (ret == LOAD_ARTICLE_COUNT_LIMIT);
724    
725                  if (last_article_op_log_mid > last_mid)                  if (last_article_op_log_mid > last_mid)
726                  {                  {
727                          log_std("Proceeded %d article logs, last_mid = %d\n", last_article_op_log_mid - last_mid, last_article_op_log_mid);                          log_common("Proceeded %d article logs, last_mid = %d\n", last_article_op_log_mid - last_mid, last_article_op_log_mid);
728                  }                  }
729    
730                  if (SYS_section_list_reload)                  if (SYS_section_list_reload)
# Line 660  int section_list_loader_launch(void) Line 732  int section_list_loader_launch(void)
732                          continue;                          continue;
733                  }                  }
734    
735                  for (i = 0; i < SECTION_LIST_LOAD_INTERVAL && !SYS_server_exit && !SYS_section_list_reload; i++)                  for (i = 0; i < BBS_section_list_load_interval && !SYS_server_exit && !SYS_section_list_reload; i++)
736                  {                  {
737                          sleep(1);                          sleep(1);
738                  }                  }
# Line 673  int section_list_loader_launch(void) Line 745  int section_list_loader_launch(void)
745          detach_article_block_shm();          detach_article_block_shm();
746          detach_trie_dict_shm();          detach_trie_dict_shm();
747    
748          log_std("Section list loader process exit normally\n");          log_common("Section list loader process exit normally\n");
749          log_end();          log_end();
750    
751          section_list_loader_pid = 0;          section_list_loader_pid = 0;
# Line 700  int section_list_loader_reload(void) Line 772  int section_list_loader_reload(void)
772          return 0;          return 0;
773  }  }
774    
775  int query_section_articles(SECTION_LIST *p_section, int32_t page_id, ARTICLE *p_articles[], int32_t *p_article_count)  int query_section_articles(SECTION_LIST *p_section, int page_id, ARTICLE *p_articles[], int *p_article_count, int *p_page_count)
776  {  {
777          ARTICLE *p_article;          ARTICLE *p_article;
778          ARTICLE *p_next_page_first_article;          ARTICLE *p_next_page_first_article;
779          int ret = 0;          int ret = 0;
780    
781          if (p_section == NULL || p_articles == NULL || p_article_count == NULL)          if (p_section == NULL || p_articles == NULL || p_article_count == NULL || p_page_count == NULL)
782          {          {
783                  log_error("query_section_articles() NULL pointer error\n");                  log_error("query_section_articles() NULL pointer error\n");
784                  return -1;                  return -1;
# Line 719  int query_section_articles(SECTION_LIST Line 791  int query_section_articles(SECTION_LIST
791                  return -2;                  return -2;
792          }          }
793    
794          if (page_id < 0 || page_id >= p_section->page_count)          *p_page_count = p_section->page_count;
795    
796            if (p_section->visible_article_count == 0)
797            {
798                    *p_article_count = 0;
799            }
800            else if (page_id < 0 || page_id >= p_section->page_count)
801          {          {
802                  log_error("Invalid page_id=%d, not in range [0, %d)\n", page_id, p_section->page_count);                  log_error("Invalid page_id=%d, not in range [0, %d)\n", page_id, p_section->page_count);
803                  ret = -3;                  ret = -3;
# Line 757  int query_section_articles(SECTION_LIST Line 835  int query_section_articles(SECTION_LIST
835    
836          return ret;          return ret;
837  }  }
838    
839    int locate_article_in_section(SECTION_LIST *p_section, const ARTICLE *p_article_cur, int direction,
840                                                              int *p_page_id, int *p_visible_offset, int *p_article_count)
841    {
842            const ARTICLE *p_article = NULL;
843            ARTICLE *p_tmp;
844            int32_t aid = 0;
845            int page_id;
846            int offset;
847            int ret = 0;
848            int i;
849    
850            if (p_section == NULL || p_article_cur == NULL || p_page_id == NULL || p_visible_offset == NULL || p_article_count == NULL)
851            {
852                    log_error("locate_article_in_section() NULL pointer error\n");
853                    return -1;
854            }
855    
856            // acquire lock of section
857            if ((ret = section_list_rd_lock(p_section)) < 0)
858            {
859                    log_error("section_list_rd_lock(sid = %d) error\n", p_section->sid);
860                    return -2;
861            }
862    
863            if (direction == 0)
864            {
865                    aid = p_article_cur->aid;
866            }
867            else if (direction == 1)
868            {
869                    p_article = p_article_cur;
870                    do
871                    {
872                            p_article = p_article->p_topic_next;
873                    } while (p_article != p_article_cur && p_article->visible == 0);
874    
875                    aid = (p_article->aid > p_article_cur->aid ? p_article->aid : 0);
876            }
877            else if (direction == -1)
878            {
879                    p_article = p_article_cur;
880                    do
881                    {
882                            p_article = p_article->p_topic_prior;
883                    } while (p_article != p_article_cur && p_article->visible == 0);
884    
885                    aid = (p_article->aid < p_article_cur->aid ? p_article->aid : 0);
886            }
887    
888            p_article = NULL;
889    
890            if (aid > 0)
891            {
892                    p_article = section_list_find_article_with_offset(p_section, aid, &page_id, &offset, &p_tmp);
893                    if (p_article != NULL)
894                    {
895                            *p_article_count = (page_id == p_section->page_count - 1 ? p_section->last_page_visible_article_count : BBS_article_limit_per_page);
896    
897                            p_article = p_section->p_page_first_article[page_id];
898                            for (i = 0; i < *p_article_count;)
899                            {
900                                    if (p_article->visible)
901                                    {
902                                            if (p_article->aid == aid)
903                                            {
904                                                    *p_page_id = page_id;
905                                                    *p_visible_offset = i;
906                                                    break;
907                                            }
908                                            i++;
909                                            if (i >= *p_article_count)
910                                            {
911                                                    log_error("Visible article (aid=%d) not found in page %d\n", aid, page_id);
912                                                    p_article = NULL;
913                                            }
914                                    }
915                                    p_article = p_article->p_next;
916                            }
917                    }
918            }
919    
920            // release lock of section
921            if (section_list_rd_unlock(p_section) < 0)
922            {
923                    log_error("section_list_rd_unlock(sid = %d) error\n", p_section->sid);
924                    ret = -2;
925            }
926    
927            return (ret < 0 ? ret : (p_article == NULL ? 0 : 1));
928    }

Legend:
Removed lines/characters  
Changed lines/characters
  Added lines/characters
webmaster@leafok.com
 ViewVC Help
Powered by ViewVC 1.3.0-beta1