BookParser.js 20 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605
  1. import sax from '../../../../server/core/BookConverter/sax';
  2. import {sleep} from '../../../share/utils';
  3. export default class BookParser {
  4. constructor() {
  5. // defaults
  6. this.p = 30;// px, отступ параграфа
  7. this.w = 300;// px, ширина страницы
  8. this.wordWrap = false;// перенос по слогам
  9. //заглушка
  10. this.measureText = (text, style) => {// eslint-disable-line no-unused-vars
  11. return text.length*20;
  12. };
  13. }
  14. async parse(data, callback) {
  15. if (!callback)
  16. callback = () => {};
  17. callback(0);
  18. if (data.indexOf('<FictionBook') < 0) {
  19. throw new Error('Неверный формат файла');
  20. }
  21. //defaults
  22. let fb2 = {
  23. firstName: '',
  24. middleName: '',
  25. lastName: '',
  26. bookTitle: '',
  27. };
  28. let path = '';
  29. let tag = '';
  30. let center = false;
  31. let bold = false;
  32. let paraIndex = -1;
  33. let paraOffset = 0;
  34. let para = []; /*array of
  35. {
  36. index: Number,
  37. offset: Number, //сумма всех length до этого параграфа
  38. length: Number, //длина text без тегов
  39. text: String //текст параграфа (или title или epigraph и т.д) с вложенными тегами
  40. }
  41. */
  42. const newParagraph = (text, len) => {
  43. paraIndex++;
  44. let p = {
  45. index: paraIndex,
  46. offset: paraOffset,
  47. length: len,
  48. text: text,
  49. };
  50. para[paraIndex] = p;
  51. paraOffset += p.length;
  52. };
  53. const growParagraph = (text, len) => {
  54. let p = para[paraIndex];
  55. if (p) {
  56. paraOffset -= p.length;
  57. if (p.length == 1 && p.text[0] == ' ' && len > 0) {
  58. p.length = 0;
  59. p.text = p.text.substr(1);
  60. }
  61. p.length += len;
  62. p.text += text;
  63. } else {
  64. p = {
  65. index: paraIndex,
  66. offset: paraOffset,
  67. length: len,
  68. text: text
  69. };
  70. }
  71. para[paraIndex] = p;
  72. paraOffset += p.length;
  73. };
  74. const onStartNode = (elemName) => {// eslint-disable-line no-unused-vars
  75. if (elemName == '?xml')
  76. return;
  77. tag = elemName;
  78. path += '/' + elemName;
  79. if ((tag == 'p' || tag == 'empty-line') && path.indexOf('/fictionbook/body/section') == 0) {
  80. newParagraph(' ', 1);
  81. }
  82. if (tag == 'emphasis' || tag == 'strong') {
  83. growParagraph(`<${tag}>`, 0);
  84. }
  85. if (tag == 'title') {
  86. newParagraph(' ', 1);
  87. bold = true;
  88. center = true;
  89. }
  90. if (tag == 'subtitle') {
  91. newParagraph(' ', 1);
  92. bold = true;
  93. }
  94. };
  95. const onEndNode = (elemName) => {// eslint-disable-line no-unused-vars
  96. if (tag == elemName) {
  97. if (tag == 'emphasis' || tag == 'strong') {
  98. growParagraph(`</${tag}>`, 0);
  99. }
  100. if (tag == 'title') {
  101. bold = false;
  102. center = false;
  103. }
  104. if (tag == 'subtitle')
  105. bold = false;
  106. path = path.substr(0, path.length - tag.length - 1);
  107. let i = path.lastIndexOf('/');
  108. if (i >= 0) {
  109. tag = path.substr(i + 1);
  110. } else {
  111. tag = path;
  112. }
  113. }
  114. };
  115. const onTextNode = (text) => {// eslint-disable-line no-unused-vars
  116. text = text.replace(/&nbsp;|[\t\n\r]/g, ' ');
  117. if (text != ' ' && text.trim() == '')
  118. text = text.trim();
  119. if (text == '')
  120. return;
  121. switch (path) {
  122. case '/fictionbook/description/title-info/author/first-name':
  123. fb2.firstName = text;
  124. break;
  125. case '/fictionbook/description/title-info/author/middle-name':
  126. fb2.middleName = text;
  127. break;
  128. case '/fictionbook/description/title-info/author/last-name':
  129. fb2.lastName = text;
  130. break;
  131. case '/fictionbook/description/title-info/genre':
  132. fb2.genre = text;
  133. break;
  134. case '/fictionbook/description/title-info/date':
  135. fb2.date = text;
  136. break;
  137. case '/fictionbook/description/title-info/book-title':
  138. fb2.bookTitle = text;
  139. break;
  140. case '/fictionbook/description/title-info/id':
  141. fb2.id = text;
  142. break;
  143. }
  144. if (path.indexOf('/fictionbook/description/title-info/annotation') == 0) {
  145. if (!fb2.annotation)
  146. fb2.annotation = '';
  147. if (tag != 'annotation')
  148. fb2.annotation += `<${tag}>${text}</${tag}>`;
  149. else
  150. fb2.annotation += text;
  151. }
  152. let tOpen = (center ? '<center>' : '');
  153. tOpen += (bold ? '<strong>' : '');
  154. let tClose = (center ? '</center>' : '');
  155. tClose += (bold ? '</strong>' : '');
  156. if (path.indexOf('/fictionbook/body/title') == 0) {
  157. newParagraph(`${tOpen}${text}${tClose}`, text.length, true);
  158. }
  159. if (path.indexOf('/fictionbook/body/section') == 0) {
  160. switch (tag) {
  161. case 'p':
  162. growParagraph(`${tOpen}${text}${tClose}`, text.length);
  163. break;
  164. default:
  165. growParagraph(`${tOpen}${text}${tClose}`, text.length);
  166. }
  167. }
  168. };
  169. const onProgress = async(prog) => {
  170. await sleep(1);
  171. callback(prog);
  172. };
  173. await sax.parse(data, {
  174. onStartNode, onEndNode, onTextNode, onProgress
  175. });
  176. this.fb2 = fb2;
  177. this.para = para;
  178. this.textLength = paraOffset;
  179. callback(100);
  180. await sleep(10);
  181. return {fb2};
  182. }
  183. findParaIndex(bookPos) {
  184. let result = undefined;
  185. //дихотомия
  186. let first = 0;
  187. let last = this.para.length - 1;
  188. while (first < last) {
  189. let mid = first + Math.floor((last - first)/2);
  190. if (bookPos <= this.para[mid].offset + this.para[mid].length - 1)
  191. last = mid;
  192. else
  193. first = mid + 1;
  194. }
  195. if (last >= 0) {
  196. const ofs = this.para[last].offset;
  197. if (bookPos >= ofs && bookPos < ofs + this.para[last].length)
  198. result = last;
  199. }
  200. return result;
  201. }
  202. splitToStyle(s) {
  203. let result = [];/*array of {
  204. style: {bold: Boolean, italic: Boolean, center: Boolean},
  205. text: String,
  206. }*/
  207. let style = {};
  208. const onTextNode = async(text) => {// eslint-disable-line no-unused-vars
  209. result.push({
  210. style: Object.assign({}, style),
  211. text: text
  212. });
  213. };
  214. const onStartNode = async(elemName) => {// eslint-disable-line no-unused-vars
  215. switch (elemName) {
  216. case 'strong':
  217. style.bold = true;
  218. break;
  219. case 'emphasis':
  220. style.italic = true;
  221. break;
  222. case 'center':
  223. style.center = true;
  224. break;
  225. }
  226. };
  227. const onEndNode = async(elemName) => {// eslint-disable-line no-unused-vars
  228. switch (elemName) {
  229. case 'strong':
  230. style.bold = false;
  231. break;
  232. case 'emphasis':
  233. style.italic = false;
  234. break;
  235. case 'center':
  236. style.center = false;
  237. break;
  238. }
  239. };
  240. sax.parseSync(s, {
  241. onStartNode, onEndNode, onTextNode
  242. });
  243. //длинные слова (или белиберду без пробелов) тоже разобьем
  244. const maxWordLength = this.maxWordLength;
  245. const parts = result;
  246. result = [];
  247. for (const part of parts) {
  248. let p = part;
  249. let i = 0;
  250. let spaceIndex = -1;
  251. while (i < p.text.length) {
  252. if (p.text[i] == ' ')
  253. spaceIndex = i;
  254. if (i - spaceIndex >= maxWordLength && i < p.text.length - 1 &&
  255. this.measureText(p.text.substr(spaceIndex + 1, i - spaceIndex), p.style) >= this.w - this.p) {
  256. result.push({style: p.style, text: p.text.substr(0, i + 1)});
  257. p = {style: p.style, text: p.text.substr(i + 1)};
  258. spaceIndex = -1;
  259. i = -1;
  260. }
  261. i++;
  262. }
  263. result.push(p);
  264. }
  265. return result;
  266. }
  267. splitToSlogi(word) {
  268. let result = [];
  269. const glas = new Set(['а', 'А', 'о', 'О', 'и', 'И', 'е', 'Е', 'ё', 'Ё', 'э', 'Э', 'ы', 'Ы', 'у', 'У', 'ю', 'Ю', 'я', 'Я']);
  270. const soglas = new Set([
  271. 'б', 'в', 'г', 'д', 'ж', 'з', 'й', 'к', 'л', 'м', 'н', 'п', 'р', 'с', 'т', 'ф', 'х', 'ц', 'ч', 'ш', 'щ',
  272. 'Б', 'В', 'Г', 'Д', 'Ж', 'З', 'Й', 'К', 'Л', 'М', 'Н', 'П', 'Р', 'С', 'Т', 'Ф', 'Х', 'Ч', 'Ц', 'Ш', 'Щ'
  273. ]);
  274. const znak = new Set(['ь', 'Ь', 'ъ', 'Ъ', 'й', 'Й']);
  275. const alpha = new Set([...glas, ...soglas, ...znak]);
  276. let slog = '';
  277. let slogLen = 0;
  278. const len = word.length;
  279. word += ' ';
  280. for (let i = 0; i < len; i++) {
  281. slog += word[i];
  282. if (alpha.has(word[i]))
  283. slogLen++;
  284. if (slogLen > 1 && i < len - 2 && (
  285. //гласная, а следом не 2 согласные буквы
  286. (glas.has(word[i]) && !(soglas.has(word[i + 1]) &&
  287. soglas.has(word[i + 2])) && alpha.has(word[i + 1]) && alpha.has(word[i + 2])
  288. ) ||
  289. //предыдущая не согласная буква, текущая согласная, а следом согласная и согласная|гласная буквы
  290. (alpha.has(word[i - 1]) && !soglas.has(word[i - 1]) &&
  291. soglas.has(word[i]) && soglas.has(word[i + 1]) &&
  292. (glas.has(word[i + 2]) || soglas.has(word[i + 2])) &&
  293. alpha.has(word[i + 1]) && alpha.has(word[i + 2])
  294. ) ||
  295. //мягкий или твердый знак или Й
  296. (znak.has(word[i]) && alpha.has(word[i + 1]) && alpha.has(word[i + 2])) ||
  297. (word[i] == '-')
  298. ) &&
  299. //нельзя оставлять окончания на ь, ъ, й
  300. !(znak.has(word[i + 2]) && !alpha.has(word[i + 3]))
  301. ) {
  302. result.push(slog);
  303. slog = '';
  304. slogLen = 0;
  305. }
  306. }
  307. if (slog)
  308. result.push(slog);
  309. return result;
  310. }
  311. parsePara(paraIndex) {
  312. const para = this.para[paraIndex];
  313. if (!this.force &&
  314. para.parsed &&
  315. para.parsed.w === this.w &&
  316. para.parsed.p === this.p &&
  317. para.parsed.wordWrap === this.wordWrap &&
  318. para.parsed.maxWordLength === this.maxWordLength &&
  319. para.parsed.font === this.font
  320. )
  321. return para.parsed;
  322. const parsed = {
  323. w: this.w,
  324. p: this.p,
  325. wordWrap: this.wordWrap,
  326. maxWordLength: this.maxWordLength,
  327. font: this.font,
  328. };
  329. const lines = []; /* array of
  330. {
  331. begin: Number,
  332. end: Number,
  333. first: Boolean,
  334. last: Boolean,
  335. parts: array of {
  336. style: {bold: Boolean, italic: Boolean, center: Boolean},
  337. text: String,
  338. }
  339. }*/
  340. let parts = this.splitToStyle(para.text);
  341. let line = {begin: para.offset, parts: []};
  342. let partText = '';//накапливаемый кусок со стилем
  343. let str = '';//измеряемая строка
  344. let prevStr = '';//строка без крайнего слова
  345. let prevW = 0;
  346. let j = 0;//номер строки
  347. let style = {};
  348. let ofs = 0;//смещение от начала параграфа para.offset
  349. // тут начинается самый замес, перенос по слогам и стилизация
  350. for (const part of parts) {
  351. const words = part.text.split(' ');
  352. style = part.style;
  353. let sp1 = '';
  354. let sp2 = '';
  355. for (let i = 0; i < words.length; i++) {
  356. const word = words[i];
  357. ofs += word.length + (i < words.length - 1 ? 1 : 0);
  358. if (word == '' && i > 0 && i < words.length - 1)
  359. continue;
  360. str += sp1 + word;
  361. let p = (j == 0 ? parsed.p : 0);
  362. let w = this.measureText(str, style) + p;
  363. let wordTail = word;
  364. if (w > parsed.w && prevStr != '') {
  365. if (parsed.wordWrap) {//по слогам
  366. let slogi = this.splitToSlogi(word);
  367. if (slogi.length > 1) {
  368. let s = prevStr + sp1;
  369. let ss = sp1;
  370. let pw;
  371. const slogiLen = slogi.length;
  372. for (let k = 0; k < slogiLen - 1; k++) {
  373. let slog = slogi[0];
  374. let ww = this.measureText(s + slog + (slog[slog.length - 1] == '-' ? '' : '-'), style) + p;
  375. if (ww <= parsed.w) {
  376. s += slog;
  377. ss += slog;
  378. } else
  379. break;
  380. pw = ww;
  381. slogi.shift();
  382. }
  383. if (pw) {
  384. prevW = pw;
  385. partText += ss + (ss[ss.length - 1] == '-' ? '' : '-');
  386. wordTail = slogi.join('');
  387. }
  388. }
  389. }
  390. if (partText != '')
  391. line.parts.push({style, text: partText});
  392. if (line.parts.length) {//корявенько, коррекция при переносе, отрефакторить не вышло
  393. let t = line.parts[line.parts.length - 1].text;
  394. if (t[t.length - 1] == ' ') {
  395. line.parts[line.parts.length - 1].text = t.trimRight();
  396. prevW -= this.measureText(' ', style);
  397. }
  398. }
  399. line.end = para.offset + ofs - wordTail.length - 1;
  400. if (line.end - line.begin < 0)
  401. console.error(`Parse error, empty line in paragraph ${paraIndex}`);
  402. line.width = prevW;
  403. line.first = (j == 0);
  404. line.last = false;
  405. lines.push(line);
  406. line = {begin: line.end + 1, parts: []};
  407. partText = '';
  408. sp2 = '';
  409. str = wordTail;
  410. j++;
  411. }
  412. prevStr = str;
  413. partText += sp2 + wordTail;
  414. sp1 = ' ';
  415. sp2 = ' ';
  416. prevW = w;
  417. }
  418. if (partText != '')
  419. line.parts.push({style, text: partText});
  420. partText = '';
  421. }
  422. if (line.parts.length) {//корявенько, коррекция при переносе
  423. let t = line.parts[line.parts.length - 1].text;
  424. if (t[t.length - 1] == ' ') {
  425. line.parts[line.parts.length - 1].text = t.trimRight();
  426. prevW -= this.measureText(' ', style);
  427. }
  428. line.end = para.offset + para.length - 1;
  429. if (line.end - line.begin < 0)
  430. console.error(`Parse error, empty line in paragraph ${paraIndex}`);
  431. line.width = prevW;
  432. line.first = (j == 0);
  433. line.last = true;
  434. lines.push(line);
  435. } else {//подстраховка
  436. if (lines.length) {
  437. line = lines[lines.length - 1];
  438. const end = para.offset + para.length - 1;
  439. if (line.end != end)
  440. console.error(`Parse error, wrong end in paragraph ${paraIndex}`);
  441. line.end = end;
  442. }
  443. }
  444. parsed.lines = lines;
  445. para.parsed = parsed;
  446. return parsed;
  447. }
  448. findLineIndex(bookPos, lines) {
  449. let result = undefined;
  450. //дихотомия
  451. let first = 0;
  452. let last = lines.length - 1;
  453. while (first < last) {
  454. let mid = first + Math.floor((last - first)/2);
  455. if (bookPos <= lines[mid].end)
  456. last = mid;
  457. else
  458. first = mid + 1;
  459. }
  460. if (last >= 0) {
  461. if (bookPos >= lines[last].begin && bookPos <= lines[last].end)
  462. result = last;
  463. }
  464. return result;
  465. }
  466. getLines(bookPos, n) {
  467. const result = [];
  468. let paraIndex = this.findParaIndex(bookPos);
  469. if (paraIndex === undefined)
  470. return result;
  471. if (n > 0) {
  472. let parsed = this.parsePara(paraIndex);
  473. let i = this.findLineIndex(bookPos, parsed.lines);
  474. if (i === undefined)
  475. return result;
  476. while (n > 0) {
  477. result.push(parsed.lines[i]);
  478. i++;
  479. if (i >= parsed.lines.length) {
  480. paraIndex++;
  481. if (paraIndex < this.para.length)
  482. parsed = this.parsePara(paraIndex);
  483. else
  484. return result;
  485. i = 0;
  486. }
  487. n--;
  488. }
  489. } else if (n < 0) {
  490. n = -n;
  491. let parsed = this.parsePara(paraIndex);
  492. let i = this.findLineIndex(bookPos, parsed.lines);
  493. if (i === undefined)
  494. return result;
  495. while (n > 0) {
  496. result.push(parsed.lines[i]);
  497. i--;
  498. if (i < 0) {
  499. paraIndex--;
  500. if (paraIndex >= 0)
  501. parsed = this.parsePara(paraIndex);
  502. else
  503. return result;
  504. i = parsed.lines.length - 1;
  505. }
  506. n--;
  507. }
  508. }
  509. if (!result.length)
  510. result = null;
  511. return result;
  512. }
  513. }