/[LeafOK_CVS]/lbbs/src/article_cache.c
ViewVC logotype

Diff of /lbbs/src/article_cache.c

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

Revision 1.29 by sysadm, Sat Oct 18 13:22:52 2025 UTC Revision 1.41 by sysadm, Sat Jan 3 10:27:14 2026 UTC
# Line 1  Line 1 
1  /***************************************************************************  /* SPDX-License-Identifier: GPL-3.0-or-later */
2                                             article_cache.c  -  description  /*
3                                                           -------------------   * article_cache
4          Copyright            : (C) 2004-2025 by Leaflet   *   - convert article content from DB to local cache with LML conversion and line offset index
5          Email                : leaflet@leafok.com   *
6   ***************************************************************************/   * Copyright (C) 2004-2026  Leaflet <leaflet@leafok.com>
7     */
8  /***************************************************************************  
9   *                                                                         *  #ifdef HAVE_CONFIG_H
10   *   This program is free software; you can redistribute it and/or modify  *  #include "config.h"
11   *   it under the terms of the GNU General Public License as published by  *  #endif
  *   the Free Software Foundation; either version 3 of the License, or     *  
  *   (at your option) any later version.                                   *  
  *                                                                         *  
  ***************************************************************************/  
12    
13  #include "article_cache.h"  #include "article_cache.h"
14  #include "lml.h"  #include "lml.h"
# Line 27  Line 23 
23  #include <sys/mman.h>  #include <sys/mman.h>
24  #include <sys/stat.h>  #include <sys/stat.h>
25    
26  #define ARTICLE_HEADER_MAX_LEN 4096  enum _article_cache_constant_t
27  #define ARTICLE_CONTENT_MAX_LEN 1024 * 1024 * 4 // 4MB  {
28  #define ARTICLE_FOOTER_MAX_LEN 4096          ARTICLE_HEADER_MAX_LEN = 4096,
29  #define SUB_DT_MAX_LEN 50          ARTICLE_FOOTER_MAX_LEN = 4096,
30            SUB_DT_MAX_LEN = 50,
31    };
32    
33  static const char *BBS_article_footer_color[] = {  static const char *BBS_article_footer_color[] = {
34          "\033[31m",          "\033[31m",
# Line 49  inline static int article_cache_path(cha Line 47  inline static int article_cache_path(cha
47  {  {
48          if (file_path == NULL || cache_dir == NULL || p_article == NULL)          if (file_path == NULL || cache_dir == NULL || p_article == NULL)
49          {          {
50                  log_error("NULL pointer error\n");                  log_error("NULL pointer error");
51                  return -1;                  return -1;
52          }          }
53    
# Line 69  int article_cache_generate(const char *c Line 67  int article_cache_generate(const char *c
67          char header[ARTICLE_HEADER_MAX_LEN];          char header[ARTICLE_HEADER_MAX_LEN];
68          size_t header_len;          size_t header_len;
69          long header_line_cnt;          long header_line_cnt;
70            size_t body_len;
71            long body_line_cnt;
72          char footer[ARTICLE_FOOTER_MAX_LEN];          char footer[ARTICLE_FOOTER_MAX_LEN];
73          size_t footer_len;          size_t footer_len;
74          long footer_line_cnt;          long footer_line_cnt;
# Line 76  int article_cache_generate(const char *c Line 76  int article_cache_generate(const char *c
76    
77          if (cache_dir == NULL || p_article == NULL || content == NULL)          if (cache_dir == NULL || p_article == NULL || content == NULL)
78          {          {
79                  log_error("NULL pointer error\n");                  log_error("NULL pointer error");
80                  return -1;                  return -1;
81          }          }
82    
83          if (content_f == NULL && (content_f = malloc(ARTICLE_CONTENT_MAX_LEN)) == NULL)          if (content_f == NULL && (content_f = malloc(ARTICLE_CONTENT_MAX_LEN)) == NULL)
84          {          {
85                  log_error("malloc(content_f) error: OOM\n");                  log_error("malloc(content_f) error: OOM");
86                  return -1;                  return -1;
87          }          }
88    
89          if (article_cache_path(data_file, sizeof(data_file), cache_dir, p_article) < 0)          if (article_cache_path(data_file, sizeof(data_file), cache_dir, p_article) < 0)
90          {          {
91                  log_error("article_cache_path(dir=%s, cid=%d) error\n", cache_dir, p_article->cid);                  log_error("article_cache_path(dir=%s, cid=%d) error", cache_dir, p_article->cid);
92                  return -1;                  return -1;
93          }          }
94    
# Line 103  int article_cache_generate(const char *c Line 103  int article_cache_generate(const char *c
103    
104          if ((fd = open(data_file, O_WRONLY | O_CREAT | O_TRUNC, 0640)) == -1)          if ((fd = open(data_file, O_WRONLY | O_CREAT | O_TRUNC, 0640)) == -1)
105          {          {
106                  log_error("open(%s) error (%d)\n", data_file, errno);                  log_error("open(%s) error (%d)", data_file, errno);
107                  return -2;                  return -2;
108          }          }
109    
# Line 111  int article_cache_generate(const char *c Line 111  int article_cache_generate(const char *c
111    
112          // Generate article header / footer          // Generate article header / footer
113          localtime_r(&(p_article->sub_dt), &tm_sub_dt);          localtime_r(&(p_article->sub_dt), &tm_sub_dt);
114          strftime(str_sub_dt, sizeof(str_sub_dt), "%c", &tm_sub_dt);          strftime(str_sub_dt, sizeof(str_sub_dt), "%c %Z", &tm_sub_dt);
115    
116          snprintf(header, sizeof(header), "发布者: %s (%s), 版块: %s (%s)\n标  题: %s\n发布于: %s (%s)\n\n",          snprintf(header, sizeof(header), "发布者: %s (%s), 版块: %s (%s)\n标  题: %s\n发布于: %s (%s)\n\n",
117                           p_article->username, p_article->nickname, p_section->sname, p_section->stitle, p_article->title, BBS_name, str_sub_dt);                           p_article->username, p_article->nickname, p_section->sname, p_section->stitle, p_article->title, BBS_name, str_sub_dt);
118    
119          snprintf(footer, sizeof(footer),          snprintf(footer, sizeof(footer),
120                           "\n--\n%s※ 来源: %s http://%s [FROM: %s]\033[m\n\n",                           "\n--\n%s※ 来源: %s https://%s [FROM: %s]\033[m\n\n",
121                           BBS_article_footer_color[p_article->aid % BBS_article_footer_color_count],                           BBS_article_footer_color[p_article->aid % BBS_article_footer_color_count],
122                           BBS_name, BBS_server, sub_ip);                           BBS_name, BBS_server, sub_ip);
123    
124          header_len = strnlen(header, sizeof(header));          header_len = strnlen(header, sizeof(header));
125          footer_len = strnlen(footer, sizeof(footer));          footer_len = strnlen(footer, sizeof(footer));
126    
127          header_line_cnt = split_data_lines(header, SCREEN_COLS, cache.line_offsets, MAX_SPLIT_FILE_LINES, 1, NULL);          header_line_cnt = split_data_lines(header, SCREEN_COLS, cache.line_offsets,
128                                                                               MAX_SPLIT_FILE_LINES, 1, NULL);
129    
130          if (header_len != cache.line_offsets[header_line_cnt])          if (header_len != cache.line_offsets[header_line_cnt])
131          {          {
132  #ifdef _DEBUG                  log_debug("Header of article(aid=%d) is truncated from %ld to %ld\n, body_line=%ld, body_line_limit=%ld",
133                  log_error("Header of article(aid=%d) is truncated from %ld to %ld\n", p_article->aid, header_len, cache.line_offsets[header_line_cnt]);                                    p_article->aid, header_len, cache.line_offsets[header_line_cnt],
134  #endif                                    header_line_cnt, MAX_SPLIT_FILE_LINES);
135                  header_len = (size_t)cache.line_offsets[header_line_cnt];                  header_len = (size_t)cache.line_offsets[header_line_cnt];
136          }          }
137    
138          // Apply LML render to content body          // Apply LML render to content body
139          cache.data_len = header_len + (size_t)lml_render(content, content_f, ARTICLE_CONTENT_MAX_LEN, 0);          body_len = (size_t)lml_render(content, content_f, ARTICLE_CONTENT_MAX_LEN, SCREEN_COLS, 0);
140            cache.data_len = header_len + body_len;
141    
142          cache.line_total = header_line_cnt +          body_line_cnt = split_data_lines(content_f, SCREEN_COLS + 1, &(cache.line_offsets[header_line_cnt]),
143                                             split_data_lines(content_f, SCREEN_COLS, cache.line_offsets + header_line_cnt, MAX_SPLIT_FILE_LINES - header_line_cnt, 1, NULL);                                                                           MAX_SPLIT_FILE_LINES - header_line_cnt, 1, NULL);
144            cache.line_total = header_line_cnt + body_line_cnt;
145          if (cache.data_len - header_len != (size_t)cache.line_offsets[cache.line_total])  
146          {          if (body_len != (size_t)cache.line_offsets[cache.line_total])
147  #ifdef _DEBUG          {
148                  log_error("Body of article(aid=%d) is truncated from %ld to %ld\n",                  log_debug("Body of article(aid=%d) is truncated from %ld to %ld, body_line=%ld, body_line_limit=%ld",
149                                    p_article->aid, cache.data_len - header_len, cache.line_offsets[cache.line_total]);                                    p_article->aid, body_len, cache.line_offsets[cache.line_total],
150  #endif                                    body_line_cnt, MAX_SPLIT_FILE_LINES - header_line_cnt);
151                  cache.data_len = header_len + (size_t)(cache.line_offsets[cache.line_total]);                  cache.data_len = header_len + (size_t)(cache.line_offsets[cache.line_total]);
152          }          }
153    
# Line 154  int article_cache_generate(const char *c Line 156  int article_cache_generate(const char *c
156                  cache.line_offsets[i] += (long)header_len;                  cache.line_offsets[i] += (long)header_len;
157          }          }
158    
159          footer_line_cnt = split_data_lines(footer, SCREEN_COLS, cache.line_offsets + cache.line_total, MAX_SPLIT_FILE_LINES - cache.line_total, 1, NULL);          footer_line_cnt = split_data_lines(footer, SCREEN_COLS, &(cache.line_offsets[cache.line_total]),
160                                                                               MAX_SPLIT_FILE_LINES - cache.line_total, 1, NULL);
161    
162          if (footer_len != cache.line_offsets[cache.line_total + footer_line_cnt])          if (footer_len != cache.line_offsets[cache.line_total + footer_line_cnt])
163          {          {
164  #ifdef _DEBUG                  log_debug("Footer of article(aid=%d) is truncated from %ld to %ld, footer_line=%ld, footer_line_limit=%ld",
165                  log_error("Footer of article(aid=%d) is truncated from %ld to %ld\n",                                    p_article->aid, footer_len, cache.line_offsets[cache.line_total + footer_line_cnt],
166                                    p_article->aid, footer_len, cache.line_offsets[cache.line_total + footer_line_cnt]);                                    footer_line_cnt, MAX_SPLIT_FILE_LINES - cache.line_total);
 #endif  
167                  footer_len = (size_t)(cache.line_offsets[cache.line_total + footer_line_cnt]);                  footer_len = (size_t)(cache.line_offsets[cache.line_total + footer_line_cnt]);
168          }          }
169    
# Line 176  int article_cache_generate(const char *c Line 178  int article_cache_generate(const char *c
178    
179          if (write(fd, &cache, cache.mmap_len - cache.data_len) == -1)          if (write(fd, &cache, cache.mmap_len - cache.data_len) == -1)
180          {          {
181                  log_error("write(%s, cache) error (%d)\n", data_file, errno);                  log_error("write(%s, cache) error (%d)", data_file, errno);
182                  close(fd);                  close(fd);
183                  return -3;                  return -3;
184          }          }
185          if (write(fd, header, header_len) == -1)          if (write(fd, header, header_len) == -1)
186          {          {
187                  log_error("write(%s, header) error (%d)\n", data_file, errno);                  log_error("write(%s, header) error (%d)", data_file, errno);
188                  close(fd);                  close(fd);
189                  return -3;                  return -3;
190          }          }
191          if (write(fd, content_f, cache.data_len - header_len - footer_len) == -1)          if (write(fd, content_f, cache.data_len - header_len - footer_len) == -1)
192          {          {
193                  log_error("write(%s, content) error (%d)\n", data_file, errno);                  log_error("write(%s, content) error (%d)", data_file, errno);
194                  close(fd);                  close(fd);
195                  return -3;                  return -3;
196          }          }
197          if (write(fd, footer, footer_len) == -1)          if (write(fd, footer, footer_len) == -1)
198          {          {
199                  log_error("write(%s, footer) error (%d)\n", data_file, errno);                  log_error("write(%s, footer) error (%d)", data_file, errno);
200                  close(fd);                  close(fd);
201                  return -3;                  return -3;
202          }          }
203    
204          if (close(fd) == -1)          if (close(fd) == -1)
205          {          {
206                  log_error("close(%s) error (%d)\n", data_file, errno);                  log_error("close(%s) error (%d)", data_file, errno);
207                  return -2;                  return -2;
208          }          }
209    
# Line 227  int article_cache_load(ARTICLE_CACHE *p_ Line 229  int article_cache_load(ARTICLE_CACHE *p_
229    
230          if (p_cache == NULL || cache_dir == NULL || p_article == NULL)          if (p_cache == NULL || cache_dir == NULL || p_article == NULL)
231          {          {
232                  log_error("NULL pointer error\n");                  log_error("NULL pointer error");
233                  return -1;                  return -1;
234          }          }
235    
236          if (article_cache_path(data_file, sizeof(data_file), cache_dir, p_article) < 0)          if (article_cache_path(data_file, sizeof(data_file), cache_dir, p_article) < 0)
237          {          {
238                  log_error("article_cache_path(dir=%s, cid=%d) error\n", cache_dir, p_article->cid);                  log_error("article_cache_path(dir=%s, cid=%d) error", cache_dir, p_article->cid);
239                  return -1;                  return -1;
240          }          }
241    
242          if ((fd = open(data_file, O_RDONLY)) == -1)          if ((fd = open(data_file, O_RDONLY)) == -1)
243          {          {
244                  log_error("open(%s) error (%d)\n", data_file, errno);                  log_error("open(%s) error (%d)", data_file, errno);
245                  return -2;                  return -2;
246          }          }
247    
248          if (fstat(fd, &sb) < 0)          if (fstat(fd, &sb) < 0)
249          {          {
250                  log_error("fstat(fd) error (%d)\n", errno);                  log_error("fstat(fd) error (%d)", errno);
251                  return -2;                  return -2;
252          }          }
253    
# Line 254  int article_cache_load(ARTICLE_CACHE *p_ Line 256  int article_cache_load(ARTICLE_CACHE *p_
256          p_mmap = mmap(NULL, mmap_len, PROT_READ, MAP_SHARED, fd, 0L);          p_mmap = mmap(NULL, mmap_len, PROT_READ, MAP_SHARED, fd, 0L);
257          if (p_mmap == MAP_FAILED)          if (p_mmap == MAP_FAILED)
258          {          {
259                  log_error("mmap(%s) error (%d)\n", data_file, errno);                  log_error("mmap(%s) error (%d)", data_file, errno);
260                  return -2;                  return -2;
261          }          }
262    
263          if (close(fd) == -1)          if (close(fd) == -1)
264          {          {
265                  log_error("close(%s) error (%d)\n", data_file, errno);                  log_error("close(%s) error (%d)", data_file, errno);
266                  return -2;                  return -2;
267          }          }
268    
269          if (((ARTICLE_CACHE *)p_mmap)->mmap_len != mmap_len)          if (((ARTICLE_CACHE *)p_mmap)->mmap_len != mmap_len)
270          {          {
271                  log_error("Inconsistent mmap len of article (cid=%d), %ld != %ld\n", p_article->cid, p_cache->mmap_len, mmap_len);                  log_error("Inconsistent mmap len of article (cid=%d), %ld != %ld", p_article->cid, p_cache->mmap_len, mmap_len);
272                  return -3;                  return -3;
273          }          }
274    
# Line 283  int article_cache_unload(ARTICLE_CACHE * Line 285  int article_cache_unload(ARTICLE_CACHE *
285  {  {
286          if (p_cache == NULL || p_cache->p_mmap == NULL)          if (p_cache == NULL || p_cache->p_mmap == NULL)
287          {          {
288                  log_error("NULL pointer error\n");                  log_error("NULL pointer error");
289                  return -1;                  return -1;
290          }          }
291    
292          if (munmap(p_cache->p_mmap, p_cache->mmap_len) < 0)          if (munmap(p_cache->p_mmap, p_cache->mmap_len) < 0)
293          {          {
294                  log_error("munmap() error (%d)\n", errno);                  log_error("munmap() error (%d)", errno);
295                  return -2;                  return -2;
296          }          }
297    

Legend:
Removed lines/characters  
Changed lines/characters
  Added lines/characters
webmaster@leafok.com
 ViewVC Help
Powered by ViewVC 1.3.0-beta1