BookParser.js 21 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636
  1. import he from 'he';
  2. import sax from '../../../../server/core/BookConverter/sax';
  3. import {sleep} from '../../../share/utils';
  4. export default class BookParser {
  5. constructor() {
  6. // defaults
  7. this.p = 30;// px, отступ параграфа
  8. this.w = 300;// px, ширина страницы
  9. this.wordWrap = false;// перенос по слогам
  10. //заглушка
  11. this.measureText = (text, style) => {// eslint-disable-line no-unused-vars
  12. return text.length*20;
  13. };
  14. }
  15. async parse(data, callback) {
  16. if (!callback)
  17. callback = () => {};
  18. callback(0);
  19. if (data.indexOf('<FictionBook') < 0) {
  20. throw new Error('Неверный формат файла');
  21. }
  22. //defaults
  23. let fb2 = {
  24. firstName: '',
  25. middleName: '',
  26. lastName: '',
  27. bookTitle: '',
  28. };
  29. let path = '';
  30. let tag = '';
  31. let center = false;
  32. let bold = false;
  33. let italic = false;
  34. let paraIndex = -1;
  35. let paraOffset = 0;
  36. let para = []; /*array of
  37. {
  38. index: Number,
  39. offset: Number, //сумма всех length до этого параграфа
  40. length: Number, //длина text без тегов
  41. text: String //текст параграфа (или title или epigraph и т.д) с вложенными тегами
  42. }
  43. */
  44. const newParagraph = (text, len) => {
  45. paraIndex++;
  46. let p = {
  47. index: paraIndex,
  48. offset: paraOffset,
  49. length: len,
  50. text: text,
  51. };
  52. para[paraIndex] = p;
  53. paraOffset += p.length;
  54. };
  55. const growParagraph = (text, len) => {
  56. if (paraIndex < 0) {
  57. newParagraph(text, len);
  58. return;
  59. }
  60. let p = para[paraIndex];
  61. if (p) {
  62. paraOffset -= p.length;
  63. if (p.length == 1 && p.text[0] == ' ' && len > 0) {
  64. p.length = 0;
  65. p.text = p.text.substr(1);
  66. }
  67. p.length += len;
  68. p.text += text;
  69. } else {
  70. p = {
  71. index: paraIndex,
  72. offset: paraOffset,
  73. length: len,
  74. text: text
  75. };
  76. }
  77. para[paraIndex] = p;
  78. paraOffset += p.length;
  79. };
  80. const onStartNode = (elemName) => {// eslint-disable-line no-unused-vars
  81. if (elemName == '?xml')
  82. return;
  83. tag = elemName;
  84. path += '/' + elemName;
  85. if ((tag == 'p' || tag == 'empty-line' || tag == 'v') && path.indexOf('/fictionbook/body/section') == 0) {
  86. newParagraph(' ', 1);
  87. }
  88. if (tag == 'emphasis' || tag == 'strong') {
  89. growParagraph(`<${tag}>`, 0);
  90. }
  91. if (tag == 'title') {
  92. newParagraph(' ', 1);
  93. bold = true;
  94. center = true;
  95. }
  96. if (tag == 'subtitle') {
  97. newParagraph(' ', 1);
  98. bold = true;
  99. }
  100. if (tag == 'epigraph') {
  101. italic = true;
  102. }
  103. if (tag == 'stanza') {
  104. newParagraph(' ', 1);
  105. }
  106. };
  107. const onEndNode = (elemName) => {// eslint-disable-line no-unused-vars
  108. if (tag == elemName) {
  109. if (tag == 'emphasis' || tag == 'strong') {
  110. growParagraph(`</${tag}>`, 0);
  111. }
  112. if (tag == 'title') {
  113. bold = false;
  114. center = false;
  115. }
  116. if (tag == 'subtitle') {
  117. bold = false;
  118. }
  119. if (tag == 'epigraph') {
  120. italic = false;
  121. }
  122. if (tag == 'stanza') {
  123. newParagraph(' ', 1);
  124. }
  125. path = path.substr(0, path.length - tag.length - 1);
  126. let i = path.lastIndexOf('/');
  127. if (i >= 0) {
  128. tag = path.substr(i + 1);
  129. } else {
  130. tag = path;
  131. }
  132. }
  133. };
  134. const onTextNode = (text) => {// eslint-disable-line no-unused-vars
  135. text = he.decode(text);
  136. text = text.replace(/>/g, '&gt;');
  137. text = text.replace(/</g, '&lt;');
  138. if (text != ' ' && text.trim() == '')
  139. text = text.trim();
  140. if (text == '')
  141. return;
  142. text = text.replace(/[\t\n\r]/g, ' ');
  143. switch (path) {
  144. case '/fictionbook/description/title-info/author/first-name':
  145. fb2.firstName = text;
  146. break;
  147. case '/fictionbook/description/title-info/author/middle-name':
  148. fb2.middleName = text;
  149. break;
  150. case '/fictionbook/description/title-info/author/last-name':
  151. fb2.lastName = text;
  152. break;
  153. case '/fictionbook/description/title-info/genre':
  154. fb2.genre = text;
  155. break;
  156. case '/fictionbook/description/title-info/date':
  157. fb2.date = text;
  158. break;
  159. case '/fictionbook/description/title-info/book-title':
  160. fb2.bookTitle = text;
  161. break;
  162. case '/fictionbook/description/title-info/id':
  163. fb2.id = text;
  164. break;
  165. }
  166. if (path.indexOf('/fictionbook/description/title-info/annotation') == 0) {
  167. if (!fb2.annotation)
  168. fb2.annotation = '';
  169. if (tag != 'annotation')
  170. fb2.annotation += `<${tag}>${text}</${tag}>`;
  171. else
  172. fb2.annotation += text;
  173. }
  174. let tOpen = (center ? '<center>' : '');
  175. tOpen += (bold ? '<strong>' : '');
  176. tOpen += (italic ? '<emphasis>' : '');
  177. let tClose = (center ? '</center>' : '');
  178. tClose += (bold ? '</strong>' : '');
  179. tClose += (italic ? '</emphasis>' : '');
  180. if (path.indexOf('/fictionbook/body/title') == 0) {
  181. newParagraph(`${tOpen}${text}${tClose}`, text.length, true);
  182. }
  183. if (path.indexOf('/fictionbook/body/section') == 0) {
  184. switch (tag) {
  185. case 'p':
  186. growParagraph(`${tOpen}${text}${tClose}`, text.length);
  187. break;
  188. default:
  189. growParagraph(`${tOpen}${text}${tClose}`, text.length);
  190. }
  191. }
  192. };
  193. const onProgress = async(prog) => {
  194. await sleep(1);
  195. callback(prog);
  196. };
  197. await sax.parse(data, {
  198. onStartNode, onEndNode, onTextNode, onProgress
  199. });
  200. this.fb2 = fb2;
  201. this.para = para;
  202. this.textLength = paraOffset;
  203. callback(100);
  204. await sleep(10);
  205. return {fb2};
  206. }
  207. findParaIndex(bookPos) {
  208. let result = undefined;
  209. //дихотомия
  210. let first = 0;
  211. let last = this.para.length - 1;
  212. while (first < last) {
  213. let mid = first + Math.floor((last - first)/2);
  214. if (bookPos <= this.para[mid].offset + this.para[mid].length - 1)
  215. last = mid;
  216. else
  217. first = mid + 1;
  218. }
  219. if (last >= 0) {
  220. const ofs = this.para[last].offset;
  221. if (bookPos >= ofs && bookPos < ofs + this.para[last].length)
  222. result = last;
  223. }
  224. return result;
  225. }
  226. splitToStyle(s) {
  227. let result = [];/*array of {
  228. style: {bold: Boolean, italic: Boolean, center: Boolean},
  229. text: String,
  230. }*/
  231. let style = {};
  232. const onTextNode = async(text) => {// eslint-disable-line no-unused-vars
  233. result.push({
  234. style: Object.assign({}, style),
  235. text: text
  236. });
  237. };
  238. const onStartNode = async(elemName) => {// eslint-disable-line no-unused-vars
  239. switch (elemName) {
  240. case 'strong':
  241. style.bold = true;
  242. break;
  243. case 'emphasis':
  244. style.italic = true;
  245. break;
  246. case 'center':
  247. style.center = true;
  248. break;
  249. }
  250. };
  251. const onEndNode = async(elemName) => {// eslint-disable-line no-unused-vars
  252. switch (elemName) {
  253. case 'strong':
  254. style.bold = false;
  255. break;
  256. case 'emphasis':
  257. style.italic = false;
  258. break;
  259. case 'center':
  260. style.center = false;
  261. break;
  262. }
  263. };
  264. sax.parseSync(s, {
  265. onStartNode, onEndNode, onTextNode
  266. });
  267. //длинные слова (или белиберду без пробелов) тоже разобьем
  268. const maxWordLength = this.maxWordLength;
  269. const parts = result;
  270. result = [];
  271. for (const part of parts) {
  272. let p = part;
  273. let i = 0;
  274. let spaceIndex = -1;
  275. while (i < p.text.length) {
  276. if (p.text[i] == ' ')
  277. spaceIndex = i;
  278. if (i - spaceIndex >= maxWordLength && i < p.text.length - 1 &&
  279. this.measureText(p.text.substr(spaceIndex + 1, i - spaceIndex), p.style) >= this.w - this.p) {
  280. result.push({style: p.style, text: p.text.substr(0, i + 1)});
  281. p = {style: p.style, text: p.text.substr(i + 1)};
  282. spaceIndex = -1;
  283. i = -1;
  284. }
  285. i++;
  286. }
  287. result.push(p);
  288. }
  289. return result;
  290. }
  291. splitToSlogi(word) {
  292. let result = [];
  293. const glas = new Set(['а', 'А', 'о', 'О', 'и', 'И', 'е', 'Е', 'ё', 'Ё', 'э', 'Э', 'ы', 'Ы', 'у', 'У', 'ю', 'Ю', 'я', 'Я']);
  294. const soglas = new Set([
  295. 'б', 'в', 'г', 'д', 'ж', 'з', 'й', 'к', 'л', 'м', 'н', 'п', 'р', 'с', 'т', 'ф', 'х', 'ц', 'ч', 'ш', 'щ',
  296. 'Б', 'В', 'Г', 'Д', 'Ж', 'З', 'Й', 'К', 'Л', 'М', 'Н', 'П', 'Р', 'С', 'Т', 'Ф', 'Х', 'Ч', 'Ц', 'Ш', 'Щ'
  297. ]);
  298. const znak = new Set(['ь', 'Ь', 'ъ', 'Ъ', 'й', 'Й']);
  299. const alpha = new Set([...glas, ...soglas, ...znak]);
  300. let slog = '';
  301. let slogLen = 0;
  302. const len = word.length;
  303. word += ' ';
  304. for (let i = 0; i < len; i++) {
  305. slog += word[i];
  306. if (alpha.has(word[i]))
  307. slogLen++;
  308. if (slogLen > 1 && i < len - 2 && (
  309. //гласная, а следом не 2 согласные буквы
  310. (glas.has(word[i]) && !(soglas.has(word[i + 1]) &&
  311. soglas.has(word[i + 2])) && alpha.has(word[i + 1]) && alpha.has(word[i + 2])
  312. ) ||
  313. //предыдущая не согласная буква, текущая согласная, а следом согласная и согласная|гласная буквы
  314. (alpha.has(word[i - 1]) && !soglas.has(word[i - 1]) &&
  315. soglas.has(word[i]) && soglas.has(word[i + 1]) &&
  316. (glas.has(word[i + 2]) || soglas.has(word[i + 2])) &&
  317. alpha.has(word[i + 1]) && alpha.has(word[i + 2])
  318. ) ||
  319. //мягкий или твердый знак или Й
  320. (znak.has(word[i]) && alpha.has(word[i + 1]) && alpha.has(word[i + 2])) ||
  321. (word[i] == '-')
  322. ) &&
  323. //нельзя оставлять окончания на ь, ъ, й
  324. !(znak.has(word[i + 2]) && !alpha.has(word[i + 3]))
  325. ) {
  326. result.push(slog);
  327. slog = '';
  328. slogLen = 0;
  329. }
  330. }
  331. if (slog)
  332. result.push(slog);
  333. return result;
  334. }
  335. parsePara(paraIndex) {
  336. const para = this.para[paraIndex];
  337. if (!this.force &&
  338. para.parsed &&
  339. para.parsed.w === this.w &&
  340. para.parsed.p === this.p &&
  341. para.parsed.wordWrap === this.wordWrap &&
  342. para.parsed.maxWordLength === this.maxWordLength &&
  343. para.parsed.font === this.font
  344. )
  345. return para.parsed;
  346. const parsed = {
  347. w: this.w,
  348. p: this.p,
  349. wordWrap: this.wordWrap,
  350. maxWordLength: this.maxWordLength,
  351. font: this.font,
  352. };
  353. const lines = []; /* array of
  354. {
  355. begin: Number,
  356. end: Number,
  357. first: Boolean,
  358. last: Boolean,
  359. parts: array of {
  360. style: {bold: Boolean, italic: Boolean, center: Boolean},
  361. text: String,
  362. }
  363. }*/
  364. let parts = this.splitToStyle(para.text);
  365. let line = {begin: para.offset, parts: []};
  366. let partText = '';//накапливаемый кусок со стилем
  367. let str = '';//измеряемая строка
  368. let prevStr = '';//строка без крайнего слова
  369. let prevW = 0;
  370. let j = 0;//номер строки
  371. let style = {};
  372. let ofs = 0;//смещение от начала параграфа para.offset
  373. // тут начинается самый замес, перенос по слогам и стилизация
  374. for (const part of parts) {
  375. const words = part.text.split(' ');
  376. style = part.style;
  377. let sp1 = '';
  378. let sp2 = '';
  379. for (let i = 0; i < words.length; i++) {
  380. const word = words[i];
  381. ofs += word.length + (i < words.length - 1 ? 1 : 0);
  382. if (word == '' && i > 0 && i < words.length - 1)
  383. continue;
  384. str += sp1 + word;
  385. let p = (j == 0 ? parsed.p : 0);
  386. let w = this.measureText(str, style) + p;
  387. let wordTail = word;
  388. if (w > parsed.w && prevStr != '') {
  389. if (parsed.wordWrap) {//по слогам
  390. let slogi = this.splitToSlogi(word);
  391. if (slogi.length > 1) {
  392. let s = prevStr + sp1;
  393. let ss = sp1;
  394. let pw;
  395. const slogiLen = slogi.length;
  396. for (let k = 0; k < slogiLen - 1; k++) {
  397. let slog = slogi[0];
  398. let ww = this.measureText(s + slog + (slog[slog.length - 1] == '-' ? '' : '-'), style) + p;
  399. if (ww <= parsed.w) {
  400. s += slog;
  401. ss += slog;
  402. } else
  403. break;
  404. pw = ww;
  405. slogi.shift();
  406. }
  407. if (pw) {
  408. prevW = pw;
  409. partText += ss + (ss[ss.length - 1] == '-' ? '' : '-');
  410. wordTail = slogi.join('');
  411. }
  412. }
  413. }
  414. if (partText != '')
  415. line.parts.push({style, text: partText});
  416. if (line.parts.length) {//корявенько, коррекция при переносе, отрефакторить не вышло
  417. let t = line.parts[line.parts.length - 1].text;
  418. if (t[t.length - 1] == ' ') {
  419. line.parts[line.parts.length - 1].text = t.trimRight();
  420. prevW -= this.measureText(' ', style);
  421. }
  422. }
  423. line.end = para.offset + ofs - wordTail.length - 1 - (i < words.length - 1 ? 1 : 0);
  424. if (line.end - line.begin < 0)
  425. console.error(`Parse error, empty line in paragraph ${paraIndex}`);
  426. line.width = prevW;
  427. line.first = (j == 0);
  428. line.last = false;
  429. lines.push(line);
  430. line = {begin: line.end + 1, parts: []};
  431. partText = '';
  432. sp2 = '';
  433. str = wordTail;
  434. j++;
  435. }
  436. prevStr = str;
  437. partText += sp2 + wordTail;
  438. sp1 = ' ';
  439. sp2 = ' ';
  440. prevW = w;
  441. }
  442. if (partText != '')
  443. line.parts.push({style, text: partText});
  444. partText = '';
  445. }
  446. if (line.parts.length) {//корявенько, коррекция при переносе
  447. let t = line.parts[line.parts.length - 1].text;
  448. if (t[t.length - 1] == ' ') {
  449. line.parts[line.parts.length - 1].text = t.trimRight();
  450. prevW -= this.measureText(' ', style);
  451. }
  452. line.end = para.offset + para.length - 1;
  453. if (line.end - line.begin < 0)
  454. console.error(`Parse error, empty line in paragraph ${paraIndex}`);
  455. line.width = prevW;
  456. line.first = (j == 0);
  457. line.last = true;
  458. lines.push(line);
  459. } else {//подстраховка
  460. if (lines.length) {
  461. line = lines[lines.length - 1];
  462. const end = para.offset + para.length - 1;
  463. if (line.end != end)
  464. console.error(`Parse error, wrong end in paragraph ${paraIndex}`);
  465. line.end = end;
  466. }
  467. }
  468. parsed.lines = lines;
  469. para.parsed = parsed;
  470. return parsed;
  471. }
  472. findLineIndex(bookPos, lines) {
  473. let result = undefined;
  474. //дихотомия
  475. let first = 0;
  476. let last = lines.length - 1;
  477. while (first < last) {
  478. let mid = first + Math.floor((last - first)/2);
  479. if (bookPos <= lines[mid].end)
  480. last = mid;
  481. else
  482. first = mid + 1;
  483. }
  484. if (last >= 0) {
  485. if (bookPos >= lines[last].begin && bookPos <= lines[last].end)
  486. result = last;
  487. }
  488. return result;
  489. }
  490. getLines(bookPos, n) {
  491. let result = [];
  492. let paraIndex = this.findParaIndex(bookPos);
  493. if (paraIndex === undefined)
  494. return result;
  495. if (n > 0) {
  496. let parsed = this.parsePara(paraIndex);
  497. let i = this.findLineIndex(bookPos, parsed.lines);
  498. if (i === undefined)
  499. return result;
  500. while (n > 0) {
  501. result.push(parsed.lines[i]);
  502. i++;
  503. if (i >= parsed.lines.length) {
  504. paraIndex++;
  505. if (paraIndex < this.para.length)
  506. parsed = this.parsePara(paraIndex);
  507. else
  508. return result;
  509. i = 0;
  510. }
  511. n--;
  512. }
  513. } else if (n < 0) {
  514. n = -n;
  515. let parsed = this.parsePara(paraIndex);
  516. let i = this.findLineIndex(bookPos, parsed.lines);
  517. if (i === undefined)
  518. return result;
  519. while (n > 0) {
  520. result.push(parsed.lines[i]);
  521. i--;
  522. if (i < 0) {
  523. paraIndex--;
  524. if (paraIndex >= 0)
  525. parsed = this.parsePara(paraIndex);
  526. else
  527. return result;
  528. i = parsed.lines.length - 1;
  529. }
  530. n--;
  531. }
  532. }
  533. if (!result.length)
  534. result = null;
  535. return result;
  536. }
  537. }