/[LeafOK_CVS]/lbbs/src/article_cache.c
ViewVC logotype

Diff of /lbbs/src/article_cache.c

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

Revision 1.2 by sysadm, Fri May 30 12:51:00 2025 UTC Revision 1.35 by sysadm, Wed Nov 5 03:17:12 2025 UTC
# Line 1  Line 1 
1  /***************************************************************************  /* SPDX-License-Identifier: GPL-3.0-or-later */
2                                             article_cache.c  -  description  /*
3                                                           -------------------   * article_cache
4          Copyright            : (C) 2004-2025 by Leaflet   *   - convert article content from DB to local cache with LML conversion and line offset index
5          Email                : leaflet@leafok.com   *
6   ***************************************************************************/   * Copyright (C) 2004-2025  Leaflet <leaflet@leafok.com>
7     */
 /***************************************************************************  
  *                                                                         *  
  *   This program is free software; you can redistribute it and/or modify  *  
  *   it under the terms of the GNU General Public License as published by  *  
  *   the Free Software Foundation; either version 3 of the License, or     *  
  *   (at your option) any later version.                                   *  
  *                                                                         *  
  ***************************************************************************/  
8    
9  #include "article_cache.h"  #include "article_cache.h"
10    #include "lml.h"
11  #include "log.h"  #include "log.h"
12  #include <errno.h>  #include <errno.h>
 #include <stdio.h>  
13  #include <fcntl.h>  #include <fcntl.h>
14    #include <stdio.h>
15  #include <stdlib.h>  #include <stdlib.h>
16    #include <string.h>
17    #include <time.h>
18  #include <unistd.h>  #include <unistd.h>
19  #include <sys/mman.h>  #include <sys/mman.h>
20  #include <sys/stat.h>  #include <sys/stat.h>
 #include <strings.h>  
 #define _POSIX_C_SOURCE 200809L  
 #include <string.h>  
21    
22  #define ARTICLE_HEADER_MAX_LEN 4096  enum _article_cache_constant_t
23    {
24            ARTICLE_HEADER_MAX_LEN = 4096,
25            ARTICLE_FOOTER_MAX_LEN = 4096,
26            SUB_DT_MAX_LEN = 50,
27    };
28    
29    static const char *BBS_article_footer_color[] = {
30            "\033[31m",
31            "\033[32m",
32            "\033[33m",
33            "\033[34m",
34            "\033[35m",
35            "\033[36m",
36            "\033[37m",
37    };
38    static const int BBS_article_footer_color_count = 7;
39    
40    static char *content_f; // static buffer in large size
41    
42  inline static int article_cache_path(char *file_path, size_t buf_len, const char *cache_dir, const ARTICLE *p_article)  inline static int article_cache_path(char *file_path, size_t buf_len, const char *cache_dir, const ARTICLE *p_article)
43  {  {
44          if (file_path == NULL || cache_dir == NULL || p_article == NULL)          if (file_path == NULL || cache_dir == NULL || p_article == NULL)
45          {          {
46                  log_error("article_cache_path() NULL pointer error\n");                  log_error("NULL pointer error\n");
47                  return -1;                  return -1;
48          }          }
49    
# Line 42  inline static int article_cache_path(cha Line 52  inline static int article_cache_path(cha
52          return 0;          return 0;
53  }  }
54    
55  int article_cache_generate(const char *cache_dir, const ARTICLE *p_article, const char *content, int overwrite)  int article_cache_generate(const char *cache_dir, const ARTICLE *p_article, const SECTION_LIST *p_section,
56                                                       const char *content, const char *sub_ip, int overwrite)
57  {  {
58          char data_file[FILE_PATH_LEN];          char data_file[FILE_PATH_LEN];
59          int fd;          int fd;
60          ARTICLE_CACHE cache;          ARTICLE_CACHE cache;
61          size_t buf_size;          struct tm tm_sub_dt;
62            char str_sub_dt[SUB_DT_MAX_LEN + 1];
63            char header[ARTICLE_HEADER_MAX_LEN];
64            size_t header_len;
65            long header_line_cnt;
66            char footer[ARTICLE_FOOTER_MAX_LEN];
67            size_t footer_len;
68            long footer_line_cnt;
69            long i;
70    
71          if (cache_dir == NULL || p_article == NULL || content == NULL)          if (cache_dir == NULL || p_article == NULL || content == NULL)
72          {          {
73                  log_error("article_cache_generate() NULL pointer error\n");                  log_error("NULL pointer error\n");
74                    return -1;
75            }
76    
77            if (content_f == NULL && (content_f = malloc(ARTICLE_CONTENT_MAX_LEN)) == NULL)
78            {
79                    log_error("malloc(content_f) error: OOM\n");
80                  return -1;                  return -1;
81          }          }
82    
# Line 70  int article_cache_generate(const char *c Line 95  int article_cache_generate(const char *c
95                  }                  }
96          }          }
97    
         buf_size = ARTICLE_HEADER_MAX_LEN + strlen(content) + 1;  
         cache.p_data = malloc(buf_size);  
         if (cache.p_data == NULL)  
         {  
                 log_error("malloc(size=%ld) error OOM\n", buf_size);  
                 return -1;  
         }  
   
98          if ((fd = open(data_file, O_WRONLY | O_CREAT | O_TRUNC, 0640)) == -1)          if ((fd = open(data_file, O_WRONLY | O_CREAT | O_TRUNC, 0640)) == -1)
99          {          {
100                  log_error("open(%s) error (%d)\n", data_file, errno);                  log_error("open(%s) error (%d)\n", data_file, errno);
101                  return -2;                  return -2;
102          }          }
103    
104          // TODO: Generate article header          memset(&cache, 0, sizeof(cache));
105          cache.data_len = (size_t)snprintf(cache.p_data,  
106                                                                            ARTICLE_HEADER_MAX_LEN + strlen(content) + 1,          // Generate article header / footer
107                                                                            "%s",          localtime_r(&(p_article->sub_dt), &tm_sub_dt);
108                                                                            content);          strftime(str_sub_dt, sizeof(str_sub_dt), "%c %Z", &tm_sub_dt);
109    
110            snprintf(header, sizeof(header), "发布者: %s (%s), 版块: %s (%s)\n标  题: %s\n发布于: %s (%s)\n\n",
111                             p_article->username, p_article->nickname, p_section->sname, p_section->stitle, p_article->title, BBS_name, str_sub_dt);
112    
113            snprintf(footer, sizeof(footer),
114                             "\n--\n%s※ 来源: %s http://%s [FROM: %s]\033[m\n\n",
115                             BBS_article_footer_color[p_article->aid % BBS_article_footer_color_count],
116                             BBS_name, BBS_server, sub_ip);
117    
118            header_len = strnlen(header, sizeof(header));
119            footer_len = strnlen(footer, sizeof(footer));
120    
121          bzero(cache.line_offsets, sizeof(cache.line_offsets));          header_line_cnt = split_data_lines(header, SCREEN_COLS, cache.line_offsets, MAX_SPLIT_FILE_LINES, 1, NULL);
122          cache.line_total = split_data_lines(cache.p_data, SCREEN_COLS, cache.line_offsets, MAX_SPLIT_FILE_LINES);  
123          if (cache.line_total >= MAX_SPLIT_FILE_LINES)          if (header_len != cache.line_offsets[header_line_cnt])
124            {
125    #ifdef _DEBUG
126                    log_error("Header of article(aid=%d) is truncated from %ld to %ld\n", p_article->aid, header_len, cache.line_offsets[header_line_cnt]);
127    #endif
128                    header_len = (size_t)cache.line_offsets[header_line_cnt];
129            }
130    
131            // Apply LML render to content body
132            cache.data_len = header_len + (size_t)lml_render(content, content_f, ARTICLE_CONTENT_MAX_LEN, SCREEN_COLS, 0);
133    
134            cache.line_total = header_line_cnt +
135                                               split_data_lines(content_f, SCREEN_COLS + 1, cache.line_offsets + header_line_cnt, MAX_SPLIT_FILE_LINES - header_line_cnt, 1, NULL);
136    
137            if (cache.data_len - header_len != (size_t)cache.line_offsets[cache.line_total])
138            {
139    #ifdef _DEBUG
140                    log_error("Body of article(aid=%d) is truncated from %ld to %ld\n",
141                                      p_article->aid, cache.data_len - header_len, cache.line_offsets[cache.line_total]);
142    #endif
143                    cache.data_len = header_len + (size_t)(cache.line_offsets[cache.line_total]);
144            }
145    
146            for (i = header_line_cnt; i <= cache.line_total; i++)
147          {          {
148                  log_error("split_data_lines(%s) truncated over limit lines\n", data_file);                  cache.line_offsets[i] += (long)header_len;
149          }          }
150    
151          if (write(fd, &cache, sizeof(cache)) == -1)          footer_line_cnt = split_data_lines(footer, SCREEN_COLS, cache.line_offsets + cache.line_total, MAX_SPLIT_FILE_LINES - cache.line_total, 1, NULL);
152    
153            if (footer_len != cache.line_offsets[cache.line_total + footer_line_cnt])
154            {
155    #ifdef _DEBUG
156                    log_error("Footer of article(aid=%d) is truncated from %ld to %ld\n",
157                                      p_article->aid, footer_len, cache.line_offsets[cache.line_total + footer_line_cnt]);
158    #endif
159                    footer_len = (size_t)(cache.line_offsets[cache.line_total + footer_line_cnt]);
160            }
161    
162            for (i = 0; i <= footer_line_cnt; i++)
163            {
164                    cache.line_offsets[cache.line_total + i] += (long)cache.data_len;
165            }
166    
167            cache.data_len += footer_len;
168            cache.line_total += footer_line_cnt;
169            cache.mmap_len = sizeof(cache) - sizeof(long) * (MAX_SPLIT_FILE_LINES - (size_t)(cache.line_total) - 1) + cache.data_len;
170    
171            if (write(fd, &cache, cache.mmap_len - cache.data_len) == -1)
172          {          {
173                  log_error("write(%s, cache) error (%d)\n", data_file, errno);                  log_error("write(%s, cache) error (%d)\n", data_file, errno);
174                  close(fd);                  close(fd);
175                  return -3;                  return -3;
176          }          }
177          if (write(fd, cache.p_data, cache.data_len) == -1)          if (write(fd, header, header_len) == -1)
178          {          {
179                  log_error("write(%s, data) error (%d)\n", data_file, errno);                  log_error("write(%s, header) error (%d)\n", data_file, errno);
180                    close(fd);
181                    return -3;
182            }
183            if (write(fd, content_f, cache.data_len - header_len - footer_len) == -1)
184            {
185                    log_error("write(%s, content) error (%d)\n", data_file, errno);
186                    close(fd);
187                    return -3;
188            }
189            if (write(fd, footer, footer_len) == -1)
190            {
191                    log_error("write(%s, footer) error (%d)\n", data_file, errno);
192                  close(fd);                  close(fd);
193                  return -3;                  return -3;
194          }          }
# Line 116  int article_cache_generate(const char *c Line 199  int article_cache_generate(const char *c
199                  return -2;                  return -2;
200          }          }
201    
         free(cache.p_data);  
   
202          return 0;          return 0;
203  }  }
204    
205    void article_cache_cleanup(void)
206    {
207            if (content_f)
208            {
209                    free(content_f);
210                    content_f = NULL;
211            }
212    }
213    
214  int article_cache_load(ARTICLE_CACHE *p_cache, const char *cache_dir, const ARTICLE *p_article)  int article_cache_load(ARTICLE_CACHE *p_cache, const char *cache_dir, const ARTICLE *p_article)
215  {  {
216          char data_file[FILE_PATH_LEN];          char data_file[FILE_PATH_LEN];
217          int fd;          int fd;
218            struct stat sb;
219            void *p_mmap;
220            size_t mmap_len;
221    
222          if (p_cache == NULL || cache_dir == NULL || p_article == NULL)          if (p_cache == NULL || cache_dir == NULL || p_article == NULL)
223          {          {
224                  log_error("article_cache_load() NULL pointer error\n");                  log_error("NULL pointer error\n");
225                  return -1;                  return -1;
226          }          }
227    
# Line 144  int article_cache_load(ARTICLE_CACHE *p_ Line 237  int article_cache_load(ARTICLE_CACHE *p_
237                  return -2;                  return -2;
238          }          }
239    
240          if (read(fd, (void *)p_cache, sizeof(ARTICLE_CACHE)) == -1)          if (fstat(fd, &sb) < 0)
241          {          {
242                  log_error("read(%s, cache) error (%d)\n", data_file, errno);                  log_error("fstat(fd) error (%d)\n", errno);
243                  close(fd);                  return -2;
                 return -3;  
244          }          }
245    
246          p_cache->p_data = malloc(p_cache->data_len + 1);          mmap_len = (size_t)sb.st_size;
         if (p_cache->p_data == NULL)  
         {  
                 log_error("malloc(size=%ld) error OOM\n", p_cache->data_len + 1);  
                 close(fd);  
                 return -1;  
         }  
247    
248          if (read(fd, p_cache->p_data, p_cache->data_len) == -1)          p_mmap = mmap(NULL, mmap_len, PROT_READ, MAP_SHARED, fd, 0L);
249            if (p_mmap == MAP_FAILED)
250          {          {
251                  log_error("read(%s, data) error (%d)\n", data_file, errno);                  log_error("mmap(%s) error (%d)\n", data_file, errno);
252                  close(fd);                  return -2;
                 return -3;  
253          }          }
         p_cache->p_data[p_cache->data_len] = '\0';  
254    
255          if (close(fd) == -1)          if (close(fd) == -1)
256          {          {
# Line 173  int article_cache_load(ARTICLE_CACHE *p_ Line 258  int article_cache_load(ARTICLE_CACHE *p_
258                  return -2;                  return -2;
259          }          }
260    
261            if (((ARTICLE_CACHE *)p_mmap)->mmap_len != mmap_len)
262            {
263                    log_error("Inconsistent mmap len of article (cid=%d), %ld != %ld\n", p_article->cid, p_cache->mmap_len, mmap_len);
264                    return -3;
265            }
266    
267            memset(p_cache, 0, sizeof(*p_cache));
268            memcpy((void *)p_cache, p_mmap, (size_t)(((ARTICLE_CACHE *)p_mmap)->mmap_len - ((ARTICLE_CACHE *)p_mmap)->data_len));
269    
270            p_cache->p_mmap = p_mmap;
271            p_cache->p_data = (char *)p_mmap + (p_cache->mmap_len - p_cache->data_len);
272    
273          return 0;          return 0;
274  }  }
275    
276  int article_cache_unload(ARTICLE_CACHE *p_cache)  int article_cache_unload(ARTICLE_CACHE *p_cache)
277  {  {
278          if (p_cache == NULL || p_cache->p_data == NULL)          if (p_cache == NULL || p_cache->p_mmap == NULL)
279          {          {
280                  log_error("article_cache_unload() NULL pointer error\n");                  log_error("NULL pointer error\n");
281                  return -1;                  return -1;
282          }          }
283    
284          free(p_cache->p_data);          if (munmap(p_cache->p_mmap, p_cache->mmap_len) < 0)
285            {
286                    log_error("munmap() error (%d)\n", errno);
287                    return -2;
288            }
289    
290            p_cache->p_mmap = NULL;
291          p_cache->p_data = NULL;          p_cache->p_data = NULL;
292    
293          return 0;          return 0;

Legend:
Removed lines/characters  
Changed lines/characters
  Added lines/characters
webmaster@leafok.com
 ViewVC Help
Powered by ViewVC 1.3.0-beta1