ConvertBase.js 4.1 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123
  1. const fs = require('fs-extra');
  2. const iconv = require('iconv-lite');
  3. const he = require('he');
  4. const LimitedQueue = require('../../LimitedQueue');
  5. const textUtils = require('./textUtils');
  6. const utils = require('../../utils');
  7. const xmlParser = require('../../xmlParser');
  8. const queue = new LimitedQueue(3, 20, 2*60*1000);//2 минуты ожидание подвижек
  9. class ConvertBase {
  10. constructor(config) {
  11. this.config = config;
  12. this.calibrePath = `${config.dataDir}/calibre/ebook-convert`;
  13. this.sofficePath = '/usr/bin/soffice';
  14. }
  15. async run(data, opts) {// eslint-disable-line no-unused-vars
  16. //override
  17. }
  18. async checkExternalConverterPresent() {
  19. if (!await fs.pathExists(this.calibrePath))
  20. throw new Error('Внешний конвертер calibre не найден');
  21. if (!await fs.pathExists(this.sofficePath))
  22. throw new Error('Внешний конвертер LibreOffice не найден');
  23. }
  24. async execConverter(path, args, onData, abort) {
  25. onData = (onData ? onData : () => {});
  26. let q = null;
  27. try {
  28. q = await queue.get(() => {onData();});
  29. } catch (e) {
  30. throw new Error('Слишком большая очередь конвертирования. Пожалуйста, попробуйте позже.');
  31. }
  32. abort = (abort ? abort : () => false);
  33. const myAbort = () => {
  34. return q.abort() || abort();
  35. }
  36. try {
  37. if (myAbort())
  38. throw new Error('abort');
  39. const result = await utils.spawnProcess(path, {
  40. killAfter: 3600,//1 час
  41. args,
  42. onData: (data) => {
  43. if (queue.freed > 0)
  44. q.resetTimeout();
  45. onData(data);
  46. },
  47. //будем периодически проверять работу конвертера и если очереди нет, то разрешаем работу пинком onData
  48. onUsage: (stats) => {
  49. if (queue.freed > 0 && stats.cpu >= 10) {
  50. q.resetTimeout();
  51. onData('.');
  52. }
  53. },
  54. onUsageInterval: 10,
  55. abort: myAbort
  56. });
  57. if (result.code != 0) {
  58. const error = `${result.code}|FORLOG|, exec: ${path}, args: ${args.join(' ')}, stdout: ${result.stdout}, stderr: ${result.stderr}`;
  59. throw new Error(`Внешний конвертер завершился с ошибкой: ${error}`);
  60. }
  61. return result;
  62. } catch(e) {
  63. if (e.status == 'killed') {
  64. throw new Error('Слишком долгое ожидание конвертера');
  65. } else if (e.status == 'abort') {
  66. throw new Error('abort');
  67. } else if (e.status == 'error') {
  68. throw new Error(e.error);
  69. } else {
  70. throw new Error(e);
  71. }
  72. } finally {
  73. q.ret();
  74. }
  75. }
  76. decode(data) {
  77. let selected = textUtils.getEncoding(data);
  78. if (selected.toLowerCase() != 'utf-8')
  79. return iconv.decode(data, selected);
  80. else
  81. return data;
  82. }
  83. repSpaces(text) {
  84. return text.replace(/ |[\t\n\r]/g, ' ');
  85. }
  86. escapeEntities(text) {
  87. return he.escape(he.decode(text.replace(/ /g, ' ')));
  88. }
  89. isDataXml(data) {
  90. const str = data.slice(0, 100).toString().trim();
  91. return (str.indexOf('<?xml version="1.0"') == 0 || str.indexOf('<?xml version=\'1.0\'') == 0 );
  92. }
  93. formatFb2(fb2) {
  94. const out = xmlParser.formatXml({
  95. FictionBook: {
  96. _attrs: {xmlns: 'http://www.gribuser.ru/xml/fictionbook/2.0', 'xmlns:l': 'http://www.w3.org/1999/xlink'},
  97. _a: [fb2],
  98. }
  99. }, 'utf-8', this.repSpaces);
  100. return out.replace(/<p>\s*?<\/p>/g, '<empty-line/>');
  101. }
  102. }
  103. module.exports = ConvertBase;