Вам не нужно направление сортировки в индексах БД

На любом собесе по system design и хайлоаду вас наверняка спросят про пагинацию. И вопрос этот с подвохом, т.к. на хайлоаде БД очень большие, с миллионами записей. Например, спросят как сделать бесконечную ленту последних постов с подгрузкой. И тут главное не обос****ться как я сделал на своем собесе 😂

Итак, что мы знаем про курсоры? В PostgreSQL есть самые настоящие курсосы! Они так и называются CURSOR. В постгресе они работают только внутри транзакций.

BEGIN;
DECLARE zhopa_cursor CURSOR FOR
  SELECT id, title, created_at FROM posts;

-- Получаем 10 строк:
FETCH 10 FROM zhopa_cursor;

-- Получаем еще следующие 10 строк сразу после места, где остановились до этого:
FETCH 10 FROM zhopa_cursor;

CLOSE zhopa_cursor;
COMMIT;

Обратите внимание, что обязательны транзакция и конкретное имя для курсора. Можно ли это использовать в вебе? Нет. Но я на собесе начал заливать про эти курсоры постгреса и про хранение имен курсоров, хотя непонятно как это все реализовать для веба. Типа не закрывать некоторое время транзакцию и держать открытой некоторое время пока идут http запросы? 😂

Короче, в веб разработке есть так называемые курсоры, которые никакими курсорами на самом деле не являются. Это обычные WHERE условия в SQL! Но за каким-то х***м это называется курсором.

Вот SQL получения первого списка постов для ленты:

SELECT id, title, created_at
FROM posts
ORDER BY created_at DESC, id DESC
LIMIT 20;

Далее браузер в http запросе для получения следующих 20 постов передает payload:

"last_created_at": "2026-01-15 12:30:00+00",
"last_id": 12345,

И бэк делает SQL запрос:

SELECT id, title, created_at
FROM posts
WHERE (created_at, id) < ($1, $2)
ORDER BY created_at DESC, id DESC
LIMIT 20;

Вот эта строка:

WHERE (created_at, id) < ($1, $2)

это и есть как бы наш курсор, хотя нифига это не курсор.

Такой запрос с псевдо-курсором намного быстрее, чем юзанье OFFSET когда постгрес читает все подходящие записи в таблице и тут же скипает часть их.

Если поискать ответ на этот вопрос, можно быстро запутаться. Одни источники называют Камиллу дю Гаст, другие — герцогиню д’Юзес.

Дело в том, что в конце XIX века единая система выдачи водительских удостоверений только формировалась, а документы того времени сохранились не полностью. Поэтому до сих пор историки спорят, кого считать самой первой женщиной, официально получившей право управлять автомобилем.

Чаще всего это звание отдают французской аристократке Анне де Рошешуар де Мортемар, герцогине д’Юзес. Именно ее получение водительского удостоверения считается наиболее достоверно подтвержденным.

Но прославилась герцогиня не только этим.

Вскоре после получения прав она стала первой женщиной, оштрафованной за превышение скорости. Она ехала со скоростью 15 км/ч там, где разрешалось не больше 12 км/ч. Сегодня это кажется смешным, а в конце XIX века автомобиль был настолько необычным, что даже такая скорость считалась опасной.

С тех пор прошло больше века. Женщина за рулем давно никого не удивляет, а вот вопрос о том, кто была самой первой, до сих пор вызывает споры. И, пожалуй, это один из тех редких случаев, когда история сохранила сразу две достойные кандидатуры.

Электрические самокаты заполонили все крупные города в России. Народ на них носится по тротуарам, распугивая прохожих. В большинстве случаев это арендные электросамокаты, но у некоторых людей они собственные.

Какую максимальную скорость они могут развивать? ДНС предлагает самокат со скоростью аж 45 км/ч. Немало!

Целая детективная история разыгралась на моём сервере.

Дано: небольшой арендуемый у хостера сервер с Debian 12 и последней PostgreSQL 16. Постгрес стоит без всяких докеров.

Месяц назад начал тормозить сервак. Думаю, что за ерунда, захожу по SSH, ввожу:

top

и вверху поверх всякой мелочи вижу это:

 PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
2251 postgres  20   0 2445140   2,3g      4 S 400,7  14,7   6:20.66 kswapd0

Жрёт все ресурсы, процессор загружен полностью.
Зарождается слабая мысль о криптомайнерах, но пока не понимаю, как вирус проник на сервер. Пароль у рута сложный, да и тут про постгрес написано.

В общем, думаю - ну, заглючил PostgreSQL, наверное. Убиваю процесс и перезагружаю сервак (это всегда полезно):

kill 2251
reboot

Захожу по SSH снова - чисто. Ну, думаю, всё ок.

Потом опять тормоза через некоторое время. Смотрю - эта хрень опять запущена. И странно как-то всё, причём тут юзер postgres?

Полез гуглить. Про этот kswapd и нагрузку на проц много разрозненных сообщений. Народ про него пишет и 2013, и в 2017, а у меня вообще-то 2024 на дворе, а ведь в те годы не было ещё криптовалют.
Может это не криптомайнер, а что-то другое?

Пытаюсь понять, кто запускает процесс. Делаю:

ls -l /proc/2251/exe

выводит:

lrwxrwxrwx 1 postgres postgres 0 июл 23 13:12 /proc/2251/exe -> /var/lib/postgresql/.configrc5/a/kswapd0

Такс... Находится в каталоге postgresql. А вдруг это важная часть сервера базы данных? Названо ведь так "по-умному" - configrc5.

Решаю просто переименовать каталог:

kill 2251
cd /var/lib/postgresql
mv .configrc5 _renamed_.configrc5
reboot

После этого всё хорошо... но только пару недель :)

Через эти пару недель опять веселуха с загрузкой всех ядер процессора.
Смотрю - каталог снова создан. Значит точно криптовалютный вирус. Но как зараза проникла на сервер?

Наконец-то до моей глупой головы дошло посмотреть логи SSH:

journalctl -t sshd

Опытные линуксоиды знают, что так смотреть не имеет смысла. Там толпы кул-хацкеров пытаются подключиться к серверу, но обламываются.
Фильтрую только логи успешного входа по SSH:

journalctl -t sshd --since "2024-08-01" --until "2024-08-16 10:00:00" | grep "Accepted "

И там среди моих заходов вижу эту падлюку:

Jul 06 11:40:07 debian sshd[589266]: Accepted password for postgres from 103.94.113.2 port 33482 ssh2
Jul 10 08:18:00 debian sshd[723300]: Accepted publickey for postgres from 162.217.64.26 port 60366 ssh2: RSA SHA256:MkYY9qiVsFGBC5WkjoClCkwEFW5iSjcGQF7m4n4H7Cw
Aug 02 07:45:44 debian sshd[258599]: Accepted publickey for postgres from 206.189.36.236 port 47140 ssh2: RSA SHA256:MkYY9qiVsFGBC5WkjoClCkwEFW5iSjcGQF7m4n4H7Cw
Aug 02 07:50:53 debian sshd[258915]: Accepted publickey for postgres from 157.245.42.37 port 50478 ssh2: RSA SHA256:MkYY9qiVsFGBC5WkjoClCkwEFW5iSjcGQF7m4n4H7Cw
Aug 14 10:23:08 debian sshd[99132]: Accepted publickey for postgres from 82.165.79.77 port 40086 ssh2: RSA SHA256:MkYY9qiVsFGBC5WkjoClCkwEFW5iSjcGQF7m4n4H7Cw
Aug 14 10:47:37 debian sshd[99723]: Accepted publickey for postgres from 103.146.52.138 port 55110 ssh2: RSA SHA256:MkYY9qiVsFGBC5WkjoClCkwEFW5iSjcGQF7m4n4H7Cw

Ёлы-палы! Сначала чувак вошёл по паролю, а потом уже входил по ключу.

Ради интереса проверил айпишники:
103.94.113.2 - India
162.217.64.26 - USA
206.189.36.236 - Singapore
103.146.52.138 - Hong Kong
Целый ботнет. Или VPN-ы. Не знаю, да и это не важно.

Начинаю вспоминать, что когда ставил PostgreSQL, создавал примитивный пароль. Или вообще не задавал его - точно не помню.

Срочно меняю пароль юзеру postgres:

passwd postgres

и ставлю запрет входа SSH для определённых юзеров:

nano /etc/ssh/sshd_config

DenyUsers postgres no-reply blah

В идеале, конечно вообще всем запретить, а оставить только для разрешённых.

Перезагружаем SSH демона:

systemctl restart sshd

Кстати, это зараза прописала SSH-ключ в:

/var/lib/postgresql/.ssh/authorized_keys

ssh-rsa AAAAB3NzaC1yc2EAAAABJQAAAQEArDp4cun2lhr4KUhBGE7VvAcwdli2a8dbnrTOrbMz1+5O73fcBOx8NVbUT0bUanUV9tJ2/9p7+vD0EpZ3Tz/+0kX34uAx1RV/75GVOmNx+9EuWOnvNoaJe0QXxziIg9eLBHpgLMuakb5+BgTFB+rKJAw9u9FSTDengvS8hX1kNFS4Mjux0hJOK8rvcEmPecjdySYMb66nylAKGwCEE6WEQHmd1mUPgHwGQ0hWCwsQk13yCGPK5w6hYp5zYkFnvlC8hGmd4Ww+u97k6pfTGTUbJk14ujvcD9iUKQTTWYYjIIu5PmUux5bsZ0R4WFwdIe6+i6rBLAsPKgAySVKPRK+oRw== mdrfckr

Разумеется это надо сразу удалять.

В часы пик на некоторых оживленных улицах Южной Кореи людей так много, что обычный тротуар начинает напоминать автомобильную дорогу. Кто-то спешит на работу, кто-то идет, уткнувшись в телефон, кто-то гуляет с детьми или катит чемодан. Из-за этого люди постоянно сталкиваются, обгоняют друг друга и создают заторы.

Чтобы хоть немного упорядочить этот хаос, в некоторых местах появились необычные дорожки. На тротуаре нанесли разметку, разделив его на две полосы: одну — для тех, кто идет быстро, другую — для тех, кто предпочитает неспешный темп.

Это не закон и не обязательное правило. Никто не выписывает штраф за то, что вы случайно оказались «не в своей» полосе. Скорее это рекомендация, которая помогает людям меньше мешать друг другу. Особенно хорошо такая система работает возле станций метро, вокзалов и других мест с очень плотным потоком пешеходов.

Оформление отличается в зависимости от города и конкретной улицы: где-то полосы выделены цветом, где-то — стрелками или надписями на асфальте.

Щупаю Claude Opus 4.7 по тарифу Max. Штука очень мощная, ускоряет работу, если правильно пользоваться, особенно приятно Клоду поручить рутину.

Агент Claude работает из терминала. Даже если это extension в IDE, то он постоянно отправляет запросы в bash, всё время спрашивая разрешение.

В заголовке поста был вопрос: может ли Claude Code удалить посторонние файлы или выполнить rm -rf? Ответ - да, может. Вообще не проблема для него. Вся защита от опасных команд смехотворна. Вот это вот ни от чего не защитит:

{
  "permissions": {
    "allow": [
      "Bash(npm run *)",
      "Bash(git commit *)",
      "Bash(git * main)",
      "Bash(* --version)",
      "Bash(* --help *)"
    ],
    "deny": [
      "Bash(git push *)"
    ]
  }
}

Кто знает линукс, тот знает, что можно легко запайпить вторую команду или написать её так, что простым сравнением не найдётся, то есть обфусцировать. Ещё Клод Код часто запускает пайтоновские скрипты для автоматизации своих действий, всё хранит в tmp каталоге. А что он там написал в пайтоновском скрипте - не показывается. Пайтоном можно делать всё что угодно. И объёмные скрипты на баше он активно генерирует, а потом просит их запустить.

В общем, тут или доверять Клоду полностью или делать вид, что ты "защитился" с помощью строчек в permissions.

Пугалка становится реальностью, а маркетинговая чушь от авторов нейросетей не такая уж и чушь.

Неделю пишу код, взяв в помощники Claude Opus 4.7 от Anthropic (через расширение для VS Code). Тариф самый дорогой, поэтому токены не экономлю. Общее ощущение - восторг. Пишу и бэк и фронт.

Клод отлично понимает, что мне нужно, когда я ему чётко говорю, что сделать. Важно кратко, но точно указать, что именно нужно ему сделать и в каком стиле написать. По поводу стиля - почти всегда хватает написать что-то вроде "пиши по аналогии с другими методами". Русский язык понимает прекрасно, нет смысла писать на английском.

Значительная экономия времени. То, на что я бы потратил 3 дня, с Claude Code я сделал за 3 часа. Тесты так вообще пишет очень быстро, и даже сам запускает для перепроверки, а это такая унылая рутина. С тестами надо обязательно указать моменты, которые мы проверяем, чтобы тесты были реально тестами, а не бессмысленными заглушками.

Я перестал бояться потери навыков. :) Стал больше концентрироваться на архитектуре. Чем меньше ему даёшь работы по объёму, тем лучше код, т.е. задачи надо декомпозировать. Конечно, Клод не знает всего огромного контекста проекта и того, что у тебя в голове. Он просто быстрый и умный исполнитель. Но иногда даже видит вещи, которые я сам бы не увидел; часто пишет лучше, чем я бы сам написал, находя опасные моменты, дописывая там дополнительные проверки на пограничные случаи.

Тут важно самому не лениться и тщательно перечитывать сгенерированный код. Т.е. бОльшую часть времени работы ты делаешь код-ревью. Здесь можно сорваться и всё сразу коммитить. Так делать нельзя!!! Надо перепроверять! Claude Code - это очень толковый усердный мидл, который не знает усталости (тариф максимальный). Он ошибается, а ты ему говоришь, где исправить. Изредка сам вручную меняешь, иногда так быстрее.

Так вот, мой вердикт - джуны и мидлы теперь не нужны. Реально, парой сеньоров можно заменить команду из 6 человек. Лично моя работа ускорилась. Понимаю, что теперь ситуация для рынка IT-вакансий крайне фиговая. Останутся только профессионалы, а джуны вообще больше будут не нужны. Мидлы нужны максимум, чтобы вырастить нового сеньора.

Делает ли Клод ошибки? Конечно, делает, кто ж их не делает. Кожаные мешки тоже ошибаются, но ревью кода никто не отменял.

Не знаю, какие цены будут дальше на агента, говорят же, что все нейросети дико убыточны. Но один клод-код на максимальном тарифе всё равно дешевле зп мидла и уж тем более джуна. Всё это вызывает смесь восторга с какой-то оторопью.

Рынок будет сильно меняться. Не все осознали мощь платных нейросетевых агентов, я тоже раньше скептически относился. Кто не в теме, уйдёт с рынка рано или поздно. В общем, IT (по крайней мере программирование) теперь будет только для синьоров-помидоров.

На проекте разрешили попробовать сменить ESLint на Oxlint. После первого запуска я выпал, даже не понял, что программа отработала 😄 Настолько съело быстро, что не замечаешь, т.е. нажимаешь Enter и уже сразу результат. Ты вообще не ждешь. 😎

Короче, не будем пробовать менять, будем полностью менять на о-экс-линт без попробовать. Зачем нужен еслинт теперь? Каждый коммит - медленная проверка, линтер в ci/cd - медленная проверка. У нас теперь все будет летать.

Сколько выполняется линтинг на eslint? Запускаю через time:

time npm run lint

real    0m10,108s
user    0m12,620s
sys     0m1,264s

Выполняется 12-13 секунд. Секунд!!! Это 12000-13000 мс.

Запускаю прикрученный oxlint:

npm run lint2

Found 0 warnings and 0 errors.
Finished in 67ms on 1044 files with 57 rules using 16 threads.

Офигеть не встать. У меня получилось в 180 раз быстрее.
Поддерживает из коробки Typescript. Куча встроенных правил уже есть, кучу хрен знает каких плагинов добавлять не нужно. Можно комментировать строки по аналогии с еслинтом. Разрешить консоль на следующей строке:

// oxlint-disable-next-line no-console

Изучаю его дальше, но наши челы уже согласны переходить. Но пока заметил серьезный минус - нет стилистических правил. Например, правила 'no-multi-spaces' из классического еслинта нет, нужно каким-то кривым образом прикручивать, а нам это правило нужно. Есть рекомендация использовать в oxlint еслинтовый пакет @stylistic/eslint-plugin, но это уже похоже не бред. И поставить его нельзя отдельно нормально, в peer dependencies сидит eslint. 😄 С этим засада, короче.

Я поставил @stylistic/eslint-plugin и отдельно eslint, подключил правило '@stylistic/no-multi-spaces' в oxlint - время проверки выросло:

Found 0 warnings and 1 error.
Finished in 495ms on 1044 files with 58 rules using 16 threads.

Уже 495 мс - это из-за жса.
Подключил все правила из @stylistic/eslint-plugin (примерно 80 штук), стало выполняться за 1 секунду.

Есть ещё Oxfmt для форматирования. Им теоретически можно решить проблему стилизации, но это в первую очередь принудительный форматтер, а не линтер, а нам нужен именно линтер. Форматтер не всегда хорошая штука.